Point Cloud Segmentation for Autonomous Clip Positioning in Laparoscopic Cholecystectomy on a Phantom

Resumo Técnico: Segmentação de Nuvem de Pontos para Posicionamento Autônomo de Clipe em Colecistectomia Laparoscópica

Declaração do Problema
O artigo aborda o desafio de implantar sistemas robóticos autônomos em ambientes de alto risco, como a Cirurgia Assistida por Robô (RAS), especificamente durante a fase de clipagem na colecistectomia laparoscópica (LC). Neste procedimento, os clipes cirúrgicos devem ser colocados no ducto cístico e na artéria com precisão submilimétrica (os vasos têm 5 mm de diâmetro, enquanto os clipes têm 6,5 mm de largura). Os autores identificam três obstáculos primários:

1. Precisão vs. Interpretabilidade: Abordagens generalistas de ponta a ponta (ex: aprendizado por reforço ou regressão direta) frequentemente carecem da precisão necessária e não são interpretáveis, o que torna os cirurgiões relutantes em confiar nelas.
2. Escassez de Dados: Domínios médicos sofrem com a falta de dados rotulados; obter nuvens de pontos cirúrgicas do mundo real rotuladas manualmente é difícil e caro.
3. Lacuna Sim-to-Real (Simulação para Realidade): Métodos baseados em RGB tradicional lutam contra a natureza homogênea e especular dos ambientes cirúrgicos, enquanto a estimativa de profundidade a partir de câmeras padrão costuma ser ruidosa.

Metodologia
Os autores propõem um sistema híbrido de visão-planejamento que prioriza a interpretabilidade e a precisão sobre o controle totalmente autônomo de ponta a ponta. O sistema opera em um fantoma físico representando uma vesícula biliar, ducto cístico e artéria dissecados.

• Pipeline de Visão: Em vez de regredir diretamente as coordenadas 3D, o sistema trata o problema como uma tarefa de segmentação de nuvem de pontos.
  • Entrada: Uma nuvem de pontos sem cor capturada por uma câmera 3D de alta precisão (Zivid One+ M).
  • Segmentação: Uma rede baseada em PointTransformer segmenta a nuvem de pontos em regiões alvo (ducto cístico e artéria).
  • Extração de Alvo: As regiões alvo segmentadas são esqueletizadas e ajustadas a B-splines. Três pontos de alvo são derivados dessas splines via interpolação. Esta abordagem faz a média de múltiplos pontos para robustez e permite que o sistema calcule um ângulo de aproximação ideal (tangente à spline).
  • Human-in-the-Loop (Humano no Ciclo): Um operador humano revisa a spline gerada e os pontos de alvo através de uma interface de usuário (UI). Ele pode ajustar as posições ao longo da spline ou alterar a ordem de execução antes de o robô agir.
• Planejamento de Movimento: O sistema gera trajetórias em um espaço de tarefa definido pela restrição de Centro Remoto de Movimento (RCM) inerente aos trocateres laparoscópicos (3 rotações e 1 translação). A trajetória é verificada pelo operador humano antes da execução.
• Estratégia de Aprendizado (Abordando a Escassez de Dados):
  • Pré-treinamento: O modelo é pré-treinado em 128.000 nuvens de pontos sintéticas geradas no Blender. Crucialmente, os dados sintéticos incluem classes semânticas adicionais (ex: fígado, vesícula biliar, tecido adiposo) não presentes na tarefa de ajuste fino no mundo real, para ajudar o modelo a aprender a estrutura da cena.
  • Ajuste Fino (Fine-tuning): O modelo é ajustado em apenas 60 nuvens de pontos reais rotuladas manualmente.
  • Logit-Merging (Fusão de Logits): Para lidar com o descompasso entre as 7 classes do pré-treinamento e as 3 classes do ajuste fino, os autores introduzem o "Logit-Merging", onde os logits das classes não-alvo são somados antes da conversão para softmax. Isso se mostrou superior à fusão no espaço de probabilidade.
  • Aumento de Dados Inovador: Duas técnicas de aumento específicas foram desenvolvidas:
    • VariableJitter: Ajusta dinamicamente a escala de ruído por nuvem de pontos para reduzir a lacuna entre os dados sintéticos ruidosos e os dados precisos da câmera Zivid real.
    • RandomPatches: Remove aleatoriamente patches de pontos para simular oclusões (ex: do anel RCM ou do grasper).

Principais Contribuições

1. Primeiro Sistema de Posicionamento de Clipe Autônomo: O artigo apresenta o primeiro sistema robótico que demonstra o posicionamento autônomo de clipes em um fantoma físico em cirurgia laparoscópica.
2. Direcionamento Baseado em Segmentação: Os autores demonstram que segmentar regiões alvo e ajustar B-splines é superior à regressão direta de alvo, alcançando maior precisão e interpretabilidade.
3. Técnicas de Eficiência de Dados: O estudo valida que o pré-treinamento em dados sintéticos com classes semânticas extras (fundidas via Logit-Merging) melhora significativamente o desempenho em conjuntos de dados reais pequenos.
4. Inovações de Aumento: A introdução do VariableJitter e RandomPatches mostra-se crítica para generalizar através da lacuna sim-to-real e lidar com oclusões.
5. Validação: O sistema é validado em um conjunto de teste real e distinto, com estudos de ablação confirmando a necessidade de cada componente (pré-treinamento, aumentos específicos e escolhas de arquitetura).

Resultos
O sistema foi avaliado em seis novos fantomas de vesícula biliar com morfologias variadas não vistas durante o treinamento.

• Localização de Alvo: O sistema alcançou uma taxa de sucesso de 95% na localização de alvos dentro de uma tolerância de 0,75 mm (metade do espaço livre entre o vaso e o clipe).
• Execução: Em experimentos robóticos reais, o sistema alcançou uma taxa de sucesso de 100% para o posicionamento autônomo de clipes (36/36 clipes aplicados corretamente).
• Achados de Ablação:
  • A regressão direta de alvo falhou, alcançando apenas 1% de sucesso com um erro médio de ~5,7 mm.
  • A remoção do pré-treinamento resultou em 7,6% de sucesso.
  • O uso de "Probability-Merging" em vez de "Logit-Merging" reduziu a taxa de sucesso para 41,4%.
  • A remoção do VariableJitter ou RandomPatches reduziu as taxas de sucesso para ~60% e ~58%, respectivamente.
  • A arquitetura PointTransformer superou o PointNet++ e o Stratified Transformer neste regime específico de baixos dados.

Significância e Alegações
Os autores afirmam que este trabalho representa um passo significativo para traduzir as promessas do aprendizado de máquina para a realidade clínica na robótica cirúrgica. Ao mudar de políticas de "caixa preta" de ponta a ponta para uma abordagem baseada em segmentação com supervisão humana, o sistema satisfaz os requisitos duplos de alta precisão (precisão submilimétrica) e interpretabilidade (planos verificáveis e alvos ajustáveis). O artigo enfatiza que seu método é aplicável a outras tarefas cirúrgicas e não cirúrgicas que exigem identificação precisa de alvos e navegação, particularmente em ambientes com escassez de dados.

Limitações Reconhecidas
Os autores observam que a câmera de alta precisão Zivid usada é grande demais para implantação clínica. Experimentos com câmeras estéreo menores (ZED Mini) falharam devido à precisão insuficiente. Além disso, o planejador de movimento atual não lida com desvio de colisão dinâmico, dependendo do operador humano para verificar a segurança e replanejar caso o ambiente mude.