Real-time Monocular 2D and 3D Perception of Endoluminal Scenes for Controlling Flexible Robotic Endoscopic Instruments

Título: Percepção Monocular 2D e 3D em Tempo Real de Cenas Endoluminais para Controle de Instrumentos Robóticos Flexíveis

1. Problema e Motivação

A cirurgia endoluminal (através de orifícios naturais como boca, ânus e uretra) oferece uma opção minimamente invasiva para o tratamento de cânceres iniciais no trato gastrointestinal e urinário. No entanto, a prática atual enfrenta limitações significativas:

• Instrumentação Básica: Os instrumentos cirúrgicos convencionais carecem de destreza e capacidade de retração tecidual eficaz, resultando em ressecções tumorais de baixa qualidade.
• Curva de Aprendizado: A manipulação de endoscópios longos e flexíveis exige habilidades técnicas elevadas, criando uma curva de aprendizado íngreme e altas taxas de recorrência tumoral.
• Desafios dos Robôs Contínuos: Embora os robôs contínuos (com estruturas curvilíneas e infinitas juntas elásticas) ofereçam flexibilidade superior para espaços confinados, eles apresentam desafios de controle. A falta de acoplamento rígido entre atuadores e efetores finais dificulta a modelagem cinemática.
• Percepção Limitada: A percepção 3D em tempo real da forma do robô e da geometria do ambiente é difícil. Sensores físicos (como FBG ou EM) são caros, invasivos e podem reduzir a vida útil do instrumento. Métodos de imagem externa (CT, MRI) são caros e não oferecem feedback em tempo real. A maioria dos sistemas usa endoscópios monoculares, o que torna a estimativa de profundidade e estado do robô extremamente desafiadora.

2. Metodologia

O artigo propõe uma plataforma de percepção visual integrada baseada em aprendizado de máquina, utilizando apenas imagens de endoscópio monocular. A abordagem é dividida em três módulos principais e um ambiente de simulação:

• A. Simulação Realista (Geração de Dados):

  • Desenvolvimento de um simulador físico baseado em Unity que modela instrumentos robóticos flexíveis e cenas endoluminais.
  • Utilização de modelos 3D de órgãos (cólon) com texturas realistas extraídas de dados clínicos (C3VD, Colon10K) via mapeamento de textura 3D.
  • Geração de dados sintéticos com rótulos de profundidade e estado do robô (ângulos de curvatura e rotação) para treinar os algoritmos, superando a escassez de dados reais rotulados.

• B. Segmentação 2D de Instrumentos (Eficiente em Anotação):

  • Uso de um modelo de fundação de visão (Segment Anything Model - SAM) pré-treinado como "professor" para gerar máscaras de ground truth.
  • Treinamento de uma rede leve (student, baseada em U-Net) via knowledge distillation (distilação de conhecimento) para segmentar os instrumentos flexíveis com alta precisão e baixa latência.
  • Aumento de dados semântico-guiado para melhorar a robustez em diferentes cenários cirúrgicos.

• C. Estimativa de Estado do Robô 3D:

  • Estimação probabilística do estado do robô contínuo (quatro parâmetros: ângulos de curvatura e rotação/rolagem).
  • Utilização de uma distribuição de Fisher matricial para modelar os parâmetros de rotação, permitindo que o modelo preveja não apenas o estado, mas também a incerteza associada a essa previsão. Isso é crucial para a segurança, indicando quando o modelo não tem confiança na estimativa.

• D. Estimativa de Profundidade Monocular 3D:

  • Desenvolvimento de um modelo de profundidade que combina um modelo de fundação (Depth Anything) com um módulo de melhoria (PRMod).
  • Modelagem de Iluminação: Introdução de um campo de renderização por pixel (PPR) que modela a atenuação da luz e a direção da fonte de luz do endoscópio em relação à superfície do tecido.
  • Aprendizado de Transferência Sintético-para-Real: Uso de uma estratégia Teacher-Student. O modelo Teacher é treinado com dados sintéticos supervisionados. O modelo Student é treinado em dados reais não rotulados usando uma função de perda auto-supervisionada baseada na correlação entre a intensidade da imagem e o campo PPR, guiado pelo Teacher.

3. Principais Contribuições

1. Framework Integrado: Primeiro trabalho a abordar de forma abrangente a percepção de robôs contínuos usando apenas visão monocular, fornecendo feedback em tempo real para 2D (segmentação), 3D (estado do robô) e profundidade.
2. Simulador Físico Realista: Criação de uma plataforma de simulação que gera dados sintéticos com instrumentos flexíveis e interações tecido-ferramenta realistas, preenchendo uma lacuna crítica para o treinamento de algoritmos de percepção.
3. Algoritmos Robustos:
   • Segmentação eficiente baseada em distilação de modelos de fundação.
   • Estimativa de estado probabilística que quantifica a incerteza.
   • Estimativa de profundidade que considera a física da iluminação endoscópica para medir distâncias entre instrumento e tecido.
4. Validação em Sistema Robótico: Integração e avaliação do framework em um protótipo de robô contínuo real, demonstrando ganhos práticos na cirurgia.

4. Resultados

As avaliações foram realizadas em dados ex-vivo (tecidos de porco) e no sistema robótico real:

• Segmentação 2D: O modelo alcançou um Dice Score de ~95% e uma precisão de 95%, superando significativamente métodos baseados apenas em dados sintéticos ou copy-paste. A taxa de inferência foi de 52.1 fps, permitindo tempo real.
• Estimativa de Estado 3D: O método reduziu o erro angular médio para ~2.6° a 6.6° (dependendo do parâmetro), superando métodos baseados em keypoints, esqueletos e representações de rotação tradicionais (quaternions, 6D). A estimativa de incerteza mostrou-se correlacionada com a precisão (maior incerteza = maior erro).
• Estimativa de Profundidade: O modelo alcançou um RMSE de 4.020 mm em dados sintéticos, superando modelos de fundação e métodos state-of-the-art. A reconstrução 3D permitiu visualizar claramente a deformação do tecido e a interação com o instrumento.
• Avaliação do Sistema (Cirurgia Real):
  • Calibração Remota: A calibração automática baseada na estimativa de estado reduziu o tempo de manipulação em >71% para cirurgiões experientes e ~72% para inexperientes em tarefas de seguimento de trajetória.
  • Monitoramento 3D: O sistema permitiu visualizar a forma do robô e a incerteza em tempo real, ajudando a evitar colisões e melhorar a consciência situacional.
  • Inferência de Distância: O sistema conseguiu inferir com precisão a distância entre a ponta do instrumento e o tecido, facilitando o toque e a manipulação segura.

5. Significado e Impacto

Este trabalho representa um avanço significativo na cirurgia robótica endoluminal ao:

• Eliminar a dependência de sensores físicos caros e invasivos, utilizando apenas a câmera endoscópica existente.
• Aumentar a segurança e eficiência cirúrgica ao fornecer ao cirurgião uma compreensão 3D completa do ambiente e do estado do robô, reduzindo o tempo de procedimento e a carga cognitiva.
• Estabelecer um novo paradigma para o desenvolvimento de algoritmos de percepção em robótica médica, demonstrando que a combinação de simulação realista, modelos de fundação e aprendizado de transferência pode superar as limitações de dados reais rotulados.
• Pavimentar o caminho para cirurgias endoluminais mais precisas, menos traumáticas e potencialmente autônomas, especialmente em espaços anatômicos confinados e complexos.

O estudo reconhece limitações, como a falta de validação in-vivo em humanos e a dificuldade em estimar profundidade em regiões totalmente oclusas, mas propõe direções claras para trabalhos futuros, incluindo fusão Bayesiana com modelos cinemáticos e simulação de tecidos deformáveis.