Resumo Técnico: Representações Endoscópicas com Consistência Geométrica para Navegação Guiada por Imagem via Adaptação de Modelos de Fundação Estruturados

1. Definição do Problema

A navegação precisa baseada em visão em endoscopia monocular (ex: broncoscopia, cirurgia de seios da face, colonoscopia) é dificultada pela falta de pistas de profundidade, texturas de tecido fracas, deformações não rígidas e variações significativas de aparência entre diferentes domínios clínicos. Esses fatores complicam a estimativa de pose, a predição de profundidade e o alinhamento imagem-anatomia. Embora modelos de fundação (FMs) recentes ofereçam representações pré-treinadas poderosas, eles frequentemente carecem de características com consistência geométrica necessárias para o raciocínio espacial estável. Além disso, adaptar esses grandes modelos para cenas endoscópicas é difícil devido à escassez de conjuntos de dados clínicos rotulados em larga escala que contenham supervisão geométrica precisa (ex: poses de câmera, estrutura 3D, profundidade densa). Mételos existentes ou focam na percepção semântica sem impor consistência geométrica ou dependem de pré-treinamento específico de domínio que permanece sensível a mudanças de domínio causadas por hardware e iluminação.

2. Metodologia

Os autores propõem um framework unificado para aprender representações de imagem com consistência geométrica e robustez de domínio através de três componentes principais:

A. Pipeline de Dados Sintéticos com Aleatorização de Domínio de Múltiplos Níveis

Para superar a falta de rótulos geométricos clínicos, o framework utiliza um conjunto de dados sintéticos construído especificamente, gerado a partir de modelos anatômicos derivados de TC.

• Geração: Vistas endoscópicas virtuais são renderizadas ao longo de trajetórias de câmera amostradas para produzir imagens pareadas com profundidade (ground-truth) e poses relativas.
• Aumentação: Para reduzir a lacuna sim-to-real, o pipeline utiliza CycleGAN para tradução de aparência realista e inclui quatro modalidades de imagem (RGB, RGB sintético, profundidade renderizada e predições de disparidade prontas para uso).
• Aleatorização: O treinamento envolve extensa aleatorização, incluindo transformações fotométricas, desfoque, ruído, deformações de thin-plate spline e reordenação de pares para garantir invariância de domínio.

B. Adaptação Semântica-Geométrica com Consciência Hierárquica (HGSA)

Em vez de realizar o ajuste fino (fine-tuning) uniforme de todo o modelo de fundação, os autores introduzem o HGSA, uma estratégia de adaptação estruturada que insere adaptadores de baixo posto (LoRA) seletivamente em camadas específicas de um Vision Transformer pré-treinado.

• Busca Hierárquica: O framework emprega uma busca de grosso a fino para determinar a configuração ideal do adaptador, incluindo:
  1. Posicionamento de Camada: Identificação de quais camadas do transformer ($L_a$) mais se beneficiam da adaptação (ex: as camadas 5–12 foram consideradas ideais).
  2. Módulos Alvo: Seleção de quais projeções de atenção ($V, QV, QVK, QVKO$) devem ser modificadas.
  3. Capacidade: Ajuste do posto do adaptador ($r$) e do fator de escala ($\alpha$).
• Racional: Esta abordagem alinha a adaptação com a hierarquia inerente do transformer, incentivando as camadas intermediárias a aprender correspondências geométricas enquanto preservam a abstração semântica nas camadas mais profundas.

C. Objetivos de Supervisão com Consciência de Hierarquia

O objetivo de treinamento combina três termos de perda para impor tanto a consistência geométrica quanto a robustez semântica:

1. Correspondência de Características com Consciência de Geometria ($L_{ms}$): Aplicada a características intermediárias, esta perda utiliza uma perda de token densa multiescala combinando PatchNCE e perda de reprojeção de cosseno. Ela deforma as características de uma visão para outra usando campos de fluxo de ground-truth derivados da profundidade sintética, imponendo consistência espacial.
2. Regularização de Representação com Consciência Semântica ($L_{InfoNCE}$): Aplicada a tokens globais em camadas mais profundas, esta perda contrastiva de nível de instância alinha os embeddings de cena de visões pareadas, garantindo consistência semântica entre domínios.
3. Destilação de Professor ($L_{Gram}$): Uma regularização baseada em Gram utilizando um modelo professor DINO congelado para preservar a estrutura de correlação das características de patch, evitando que o modelo foque excessivamente em semântica global em detrimento da fidelidade espacial.

3. Principais Contribuições

O artigo reivindica as seguintes contribuições:

• Pipeline Unificado: Um framework de ponta a ponta integrando um conjunto de dados geométrico sintético, o mecanismo HGSA e objetivos de hierarquia e camada para aprender representações endoscópicas que são tanto geometricamente consistentes quanto robustas de domínio.
• Eficácia do HGSA: Experimentos controlados demonstrando que o HGSA é uma estratégia de adaptação eficaz que melhora a qualidade da representação. As representações resultantes suportam tarefas de navegação downstream (estimativa de pose e profundidade) e permanecem úteis em diferentes domínios endoscópicos.
• Generalização e Escalabilidade:
  • Transferência Sim-to-Real: Demonstrou forte transferência de dados de broncoscopia sintética para vídeos de pacientes reais sem necessidade de adaptação adicional do codificador.
  • Transferência Cross-Domain: Mostrou a capacidade de adaptar codificadores treinados em broncoscopia para conjuntos de dados de seios da face e colonoscopia sob supervisão limitada.
  • Escalabilidade: Validou que o framework escala favoravelmente com modelos de backbone maiores (ViT-S a ViT-L) e o aumento do tamanho dos dados de treinamento.

4. Resultados Experimentais

O framework foi avaliado em conjuntos de dados de broncoscopia, seios da face e colonoscopia usando linear probing e tarefas de navegação downstream.

• Qualidade da Representação (Probing):

  • Configurações HGSA (especificamente Cfg 7.4.8: camadas 5–12, módulos QVKO, posto 32, escala 64) alcançaram o maior escore combinado de probing ($S_{probe}$), equilibrando precisão semântica (classificação de cena) e precisão geométrica (estimativa de profundidade).
  • Estudos de ablação confirmaram que a remoção de qualquer componente (HGSA, supervisão de deformação, perdas contrastivas) degradou o desempenho, sendo que a $L_{InfoNCE}$ é crítica para a separabilidade semântica e a $L_{ms}$ para a consistência geométrica.
  • Métricas de correspondência geométrica ao nível de token (PCK@1, Similaridade de Cosseno) mostraram que o método proposto superou tanto o DINO vanilla quanto os baselines de LoRA total.

• Tarefas de Navegação Downstream:

  • Estimativa de Pose: Em vídeos reais de broncoscopia, o codificador proposto alcançou um alinhamento de imagem-renderização superior (métricas NC, DS, SI) comparado aos baselines, indicando uma otimização de pose mais precisa.
  • Estimativa de Profundidade: O método produziu mapas de profundidade estruturalmente mais consistentes.
  • Transferência Cross-Domain: Ao ser adaptado para seios da face e colonoscopia com dados alvo limitados, o framework superou consistentemente os baselines de vanilla e LoRA total na estimativa de profundidade. As melhorias na estimativa de pose foram significativas para colonoscopia, mas mais modestas para seios da face, atribuídas ao tamanho limitado do conjunto de dados de seios da face para ajuste fino.

• Escalabilidade: O desempenho melhorou monotonicamente com backbones maiores (ViT-L > ViT-B > ViT-S) e maiores subconjuntos de dados de treinamento (100% > 50% > 25%), sugerindo que não houve saturação precoce.

5. Significância e Alegações

Os autores posicionam este trabalho como uma abordagem prática para o aprendizado de representação endoscópica que aborda a lacuna crítica entre modelos de fundação de propósito geral e os requisitos geométricos específicos para navegação cirúrgica.

• Utilidade Prática: O framework fornece um caminho escalável para ferramentas de navegação robustas sem exigir anotações clínicas densas, aproveitando dados sintéticos e adaptação estruturada.
• Alegações Modestas sobre Generalização: Os autores explicitamente observam que, embora o framework mostre transferibilidade promissora para seios da face e colonoscopia, os resultados baseiam-se em adaptação de domínio alvo limitada, em vez de generalização zero-shot. Eles reconhecem que as variações de desempenho (ex: endoscopia de seios da face) destacam a necessidade de dados adicionais ou adaptação direcionada em domínios específicos.
• Insight Central: O artigo argumenta que a "adaptação com consciência de hierarquia e guiada por geometria" é essencial para transformar características visuais genéricas em representações capazes de suportar um raciocínio estável e geometricamente consistente no ambiente desafiador da endoscopia.