3D Consistency Optimization for Self-Supervised Monocular Video Depth Estimation

Resumo Técnico: Otimização de Consistência 3D para Estimativa de Profundidade Monocular Autossupervisionada em Vídeo

Definição do Problema
A estimativa de profundidade monocular confiável em vídeo é essencial para o raciocínio 3D descendente e IA incorporada na navegação endoscópica, incluindo reconstrução densa, orientação assistida por robôs e compreensão de cenas cirúrgicas. No entanto, a implantação clínica é dificultada por restrições de hardware; a maioria dos endoscópios padrão é monocular e carece de rastreamento confiável da pose da câmera. As abordagens autossupervisionadas existentes tipicamente tratam os quadros de vídeo como entidades independentes ou dependem de uma regularização temporal fraca. Esses métodos falham em capturar a geometria 3D holística da cena cirúrgica, levando a previsões geometricamente inconsistentes, deriva severa entre quadros (cross-frame drift) e cintilação temporal (flickering). Esses erros acumulam-se rapidamente em condições endoscópicas desafiadoras, comprometendo a confiabilidade de qualquer reconstrução 3D subsequente.

Metodologia
Os autores propõem uma mudança de paradigma que reformula a estimativa de profundidade de vídeo sequencial como um problema de reconstrução 3D multivista não restrito. Em vez de processar quadros isoladamente, o método trata um vídeo endoscópico como uma coleção de observações multivistas ancoradas a uma cena 3D compartilhada. Esta abordagem aproveita os vieses geométricos de modelos de fundação 3D recentes sem exigir poses de câmera de verdade (ground-truth).

O framework consiste em duas etapas principais:

1. Rede de Compreensão de Geometria 3D:

   • Arquitetura: A rede utiliza um Transformer de Atenção Alternada que intercala atenção intra-visão ao nível do quadro com atenção inter-visão global para impor coerência espaço-temporal. As imagens de entrada são tokenizadas usando recursos do DINOv2.
   • Representação da Cena: A cena subjacente é representada por um conjunto de primitivas de Gaussianas 3D ($P$), parametrizadas por centros 3D, opacidade, covariância anisotrópica e coeficientes de harmônicos esféricos.
   • Cabeças (Heads): A rede emprega três cabeças especializadas:
     • Cabeça de Câmera: Prediz as poses extrínsecas por quadro ($T_t$) e as intrínsecas ($K$).
     • Cabeça de Profundidade: Prediz um mapa de profundidade inicial por pixel ($D^{init}_t$) usado exclusivamente para retroprojetar pixels da imagem no espaço 3D, fornecendo inicialização para os centros das Gaussianas.
     • Cabeça de Gaussiana: Funde recursos do transformer com recursos de aparência de CNN rasa para predizer os demais atributos das Gaussianas.
   • Renderização: Um mecanismo de Gaussian Splatting diferenciável renderiza imagens RGB esperadas ($\hat{I}_t$) e mapas de profundidade ($\hat{D}_t$) a partir das Gaussianas 3D e dos parâmetros de câmera preditos.

2. Estrutura de Otimização de Consistência 3D:
   A rede é treinada via um objetivo autossupervisionado que otimiza conjuntamente os mapas de profundidade e as poses da câmera, impondo três restrições sinérgicas sobre os resultados renderizados:

   • Consistência Fotométrica ao Nível da Imagem ($L_{rgb}$): Minimiza a diferença $L_1$ entre o quadro de entrada $I_t$ e a imagem renderizada $\hat{I}_t$, garantindo consistência de aparência e estrutura.
   • Alinhamento Geométrico em Coordenadas de Mundo ($L_{3D}$): Este é o mecanismo central para eliminar a deriva espacial. Ele desprojeta pontos de profundidade renderizados do quadro $t$ para um sistema de coordenadas de mundo unificado e os reprojeta nos quadros vizinhos ($t'$). Uma perda de consistência é computada entre a profundidade reprojetada e a profundidade renderizada do quadro alvo, estritamente sobre conjuntos de pixels válidos (lidando com oclusões e projeções fora dos limites). Uma penalidade Huber robusta é aplicada para mitigar o movimento de tecidos dinâmicos e outliers.
   • Consistência de Gradiente Temporal Multiescala ($L_{temp}$): Para suprimir a cintilação temporal enquanto preserva descontinuidades conscientes da geometria, esta perda penaliza o descompasso absoluto de gradientes espaciais entre quadros adjacentes através de múltiplas escalas.

O objetivo de treinamento final é uma soma ponderada dessas três perdas. Crucialmente, esta é uma otimização estritamente de tempo de treinamento; durante a inferência, o modelo prediz a profundidade em uma única passagem de alimentação direta (feed-forward) sem otimização em tempo de teste.

Principais Contribuições

1. Novo Paradigma: Os autores introduzem um framework autossupervisionado que reformula a estimativa de profundidade monocular de vídeo como um problema de otimização de consistência 3D multivista livre de pose, desbloqueando o potencial de modelos de fundação 3D para endoscopia clínica.
2. Estratégia de Otimização Unificada: Eles propõem uma estratégia que apresenta alinhamento explícito em coordenadas de mundo e restrições de gradiente temporal multiescala. Isso ancora efetivamente os quadros sequenciais a uma geometria globalmente coerente, eliminando a deriva 3D entre quadros.
3. Desempenho de Estado da Arte: O método alcança precisão superior em benchmarks públicos e demonstra generalização zero-shot robusta para ambientes clínicos não restringidos.

Resultados
O framework foi avaliado em dois conjuntos de dados cirúrgicos públicos: SCARED (com profundidade e poses de verdade) e Hamlyn (procedimentos in vivo complexos, usado para avaliação zero-shot).

• Desempenho Quantitativo: No conjunto de dados SCARED, o método proposto superou as bases recentes (EndoDAC, VDA, EndoDAV e AnySplat) em todas as métricas. Especificamente, reduziu o Erro Absoluto Relativo (Abs Rel) de 0.100 (AnySplat) para 0.060 e o RMSE de 10.400 para 5.503, enquanto alcançou uma precisão $\delta_1$ de 0.978.
• Generalização Zero-Shot: No conjunto de dados Hamlyn, o método também alcançou os melhores resultados em todas as métricas, reduzindo o Abs Rel de 0.299 para 0.108 e o RMSE de 29.938 para 10.535.
• Análise Qualitativa: Comparações visuais mostraram que o método preserva melhor a estrutura da cena e evita os erros anormais e as inconsistências temporais (cintilação) observados em métodos existentes, particularmente em cenários com grande movimento.
• Estudos de Ablação: Experimentos confirmaram que todos os três componentes de perda ($L_{rgb}$, $L_{3D}$, $L_{temp}$) fornecem benefícios complementares. A inclusão das restrições geométricas ($L_{3D}$) e temporais ($L_{temp}$) aumentou significativamente a precisão espacial e a estabilidade em comparação com as bases. Além disso, aplicar o módulo de otimização de consistência a diferentes backbones (VDA e AnySplat) melhorou consistentemente seu desempenho.

Significância
O artigo afirma que, ao transformar a estimação de profundidade monocular de vídeo mal posta em um problema robusto de reconstrução 3D multivista, o framework proposto efetivamente preenche a lacuna entre os poderosos modelos de fundação 3D e a endoscopia clínica livre de pose. Os resultados demonstram que impor explicitamente a consistência 3D global e a coerência temporal permite uma estimativa de profundidade confiável em salas de operação reais, reduzindo significativamente a deriva geométrica e a instabilidade temporal em comparação com os métodos de estado da arte. Este avanço pavimenta o caminho para aplicações descendentes mais confiáveis em cirurgia minimamente invasiva, como reconstrução densa e orientação assistida por robôs.