A 4D Representation for Training-Free Agentic Reasoning from Monocular Laparoscopic Video

Título: Uma Representação 4D para Raciocínio Agente Sem Treinamento a partir de Vídeo Laparoscópico Monocular

1. Problema e Motivação

A inteligência artificial (IA) na cirurgia de tecidos moles enfrenta desafios significativos no raciocínio espaço-temporal. Embora os modelos de visão-linguagem (VLMs) de 2D tenham progredido na compreensão de vídeos cirúrgicos, a complexidade espacial das cenas cirúrgicas sugere que sistemas de raciocínio se beneficiariam de representações explícitas em 4D (3D + tempo).

• Limitações Atuais: A maioria dos sistemas opera em espaço 2D ou utiliza representações 3D estáticas que carecem de consistência temporal ou exigem treinamento específico (fine-tuning).
• Desafio Específico: A reconstrução 4D a partir de vídeos laparoscópicos monoculares é difícil devido a características visuais adversas (como reflexos especulares) e movimento limitado da câmera.
• Objetivo: Desenvolver um sistema onde agentes de IA possam realizar raciocínio baseado em ferramentas (agentic reasoning) sem treinamento adicional, fundamentando suas respostas em tempo e espaço 3D reais.

2. Metodologia

O trabalho propõe um framework que combina modelos de visão computacional de ponta com Modelos de Linguagem Multimodal Grandes (MLLMs) para criar um "kit de ferramentas" espaço-temporal.

A. Geração de Representação Semântica 4D Rastreada (Sem Treinamento):
O sistema processa um vídeo laparoscópico monocular para criar uma nuvem de pontos 4D semântica e rastreada ($P_{semantic}$):

1. Estimativa de Profundidade e Câmera: Uso do Depth Anything 3 (DA3) para estimar profundidade métrica e parâmetros da câmera.
2. Segmentação Semântica: Uso do SASVi para máscaras de segmentação.
3. Rastreamento de Pontos: Uso do Cotracker 3 para rastrear pontos 2D ao longo do tempo.
4. Fusão 4D:
   • Os pontos rastreados são elevados para 3D usando a profundidade e parâmetros da câmera, criando uma nuvem de pontos de controle esparsa.
   • A densidade é aumentada associando pixels aos pontos de controle mais próximos via interpolação.
   • Semântica e Consistência: As segmentações são convertidas em instâncias. Um algoritmo de "união-encontrar" (union-find) funde instâncias que pertencem à mesma classe semântica e têm alta sobreposição 3D, garantindo persistência temporal (ex: um instrumento que sai e volta à cena é tratado corretamente).

B. Mecanismos de Refinamento (Críticos para Robustez):
Para lidar com erros inerentes a vídeos monoculares, o método implementa:

• Atribuição de Pontos em 3D: Unprojetar pixels antes de atribuir aos pontos de controle para evitar que pontos de fundo e primeiro plano fiquem "flutuando" entre si.
• Filtragem de Saltos Fundo/Primeiro Plano: Remover pontos que sofrem mudanças abruptas no eixo Z (evitando que um ponto de tecido salte para um instrumento e vice-versa devido a erros de rastreamento 2D).
• Manutenção de Profundidade (Depth Maintenance): Se um ponto for ocluído ou sair do campo de visão, sua profundidade não é atualizada com novas observações (que seriam do objeto oclusor), mas sim mantida da última observação válida. Isso preserva a continuidade geométrica.
• Filtragem de Gradiente de Profundidade: Para corrigir bordas suavizadas pelo modelo de profundidade, garantindo limites de objetos mais nítidos.
• Rastreamento Bidirecional: Inicialização do rastreamento a partir do quadro central do clipe, rastreando para frente e para trás, maximizando a cobertura de pontos relevantes.

C. Agente de Raciocínio e Ferramentas Espaço-Temporais:

• Um MLLM (neste caso, Qwen3-VL) atua como um agente que não é fine-tuned.
• O agente recebe a representação 4D como um conjunto de ferramentas.
• Ferramentas Disponíveis: O agente pode solicitar e interpretar:
  • Distâncias mínimas entre instâncias semânticas.
  • Pontuações de sobreposição 3D e posições.
  • Movimento relativo entre instâncias ao longo do tempo.
  • Trajetórias 4D por instância.
  • Busca de Quadros (Frame Fetching): Capacidade de solicitar quadros de vídeo específicos em timesteps para desambiguar ações (ex: diferenciar "tocar" de "coagular").

3. Resultados e Avaliação

O método foi avaliado em um novo conjunto de dados derivado do Cholec-80, contendo 134 consultas clinicamente relevantes anotadas por cirurgiões, divididas em:

• Espaciais: Onde ocorre a interação em 3D (em um instante).
• Temporais: Quando ocorre a interação (ponto no tempo ou intervalo).
• Direcionais: Em que direção o tecido é manipulado.

Principais Achados (Tabela 1):

• Desempenho Espacial: O método proposto superou significativamente as melhores linhas de base 2D, reduzindo o erro de localização em quase 50%. Curiosamente, fornecer semântica direta ao modelo 2D (via Set-of-Mark) inibiu seu desempenho de fundamentação.
• Desempenho Temporal: O agente foi superior na localização de pontos no tempo (PIT), embora tenha tido desempenho variável em intervalos. O uso de ferramentas 4D simplificou a tarefa, apesar do ruído na reconstrução.
• Desempenho Direcional: O agente melhorou em 79% em relação à melhor linha de base, beneficiando-se significativamente do acesso a trajetórias 4D.
• Ablações:
  • A remoção da filtragem de saltos degradou o desempenho, especialmente em tarefas temporais.
  • A remoção da manutenção de profundidade prejudicou todas as tarefas, introduzindo inconsistências semânticas.
  • A inicialização de rastreamento multi-visor (início, meio e fim) não melhorou o desempenho, provavelmente devido ao acúmulo de ruído nas nuvens de pontos independentes.
  • O modelo de 8B parâmetros teve desempenho inferior ao de 32B, principalmente devido a dificuldades em interpretar as respostas das ferramentas.

4. Contribuições e Significância

• Raciocínio Agente Sem Treinamento: Demonstra que é possível "montar" inteligência espaço-temporal combinando MLLMs 2D gerais e modelos de visão computacional 3D sem necessidade de treinamento específico para a tarefa cirúrgica.
• Representação 4D Explícita: Introduz uma representação semântica 4D rastreada a partir de vídeo monocular que é interpretável e integrável com imagens pré-operatórias.
• Novo Benchmark: Apresenta um conjunto de dados e tarefas focadas em "fundamentação 4D" (4D grounding), especificamente no manuseio de tecidos (pontos de preensão 3D e direções de manipulação), uma lacuna crítica em benchmarks de IA cirúrgica.
• Viabilidade Clínica: O sistema opera em um único GPU (H200) e utiliza modelos foundation modernos, sugerindo um caminho viável para sistemas de assistência inteligente e robótica autônoma que compreendem o contexto anatômico e temporal da cirurgia.

Em resumo, o trabalho prova que a inteligência espaço-temporal em cirurgias pode ser alcançada através da orquestração de ferramentas de visão computacional e raciocínio de linguagem, superando as limitações das abordagens puramente 2D.