ExtraGS: Enhancing Endoscopic View Extrapolation via Diffusion-Guided 3D Gaussian Splatting

Resumo Técnico: ExtraGS

Definição do Problema
A cirurgia minimamente invasiva (MIS) assistida por robô depende fortemente da percepção endoscópica, porém os endoscópios convencionais sofrem com um campo de visão (FOV) restrito devido a limitações de hardware e espaços anatômicos estreitos. Essa limitação cria pontos cegos visuais, podendo levar a diagnósticos perdidos e forçando os cirurgiões a depender da memória espacial. Embora técnicas recentes de renderização neural, como Neural Radiance Fields (NeRF) e 3D Gaussian Splatting (3DGS), permitam a síntese de novos olhares a partir de vídeos endoscópicos, elas enfrentam dificuldades significativas durante a extrapolação de visão. Quando uma câmera virtual se move para longe da trajetória de treinamento em direção a regiões anatômicas não observadas, a falta de entradas de imagem reais impede que perdas fotométricas padrão e prioridades geométricas forneçam supervisão eficaz. Consequentemente, esses métodos produzem distorções geométricas severas, artefatos caóticos e incompletude estrutural, tornando as visões extrapoladas clinicamente não confiáveis.

Metodologia: Estrutura ExtraGS
Os autores propõem o ExtraGS, um framework que melhora a extrapolação de visão endoscópica integrando 3D Gaussian Splatting guiado por difusão. O pipeline consiste em quatro estágios primários:

1. Inicialização da Cena e Estimativa de Região Viável:
   O processo começa pela otimização de uma representação de Gaussian 3D grosseira ($G_c$) usando imagens RGB e de profundidade endoscópicas esparsas. A partir desta reconstrução, uma malha de superfície é extraída para definir um volume delimitador. Um grid de ocupação é então construído para distinguir entre regiões anatômicas ocupadas e espaço livre, restringindo a exploração subsequente da câmera virtual a áreas viáveis e não observadas dentro da cena.

2. Amostragem de Câmera Virtual Guiada por Incerteza:
   Para explorar ativamente os pontos cegos e maximizar o ganho de informação, o método emprega uma nova estratégia de amostragem de câmera virtual dentro da região viável. Esta estratégia é adaptada para cenas endoscópicas e incorpora:

   • Exploração consciente da iluminação: Prioriza direções alinhadas com as regiões mais escuras da imagem atual, pois estas áreas são frequentemente sub-restritas e propensas a erros de reconstrução.
   • Controle de pose consciente de dobras: Penaliza mudanças abruptas de viewpoint para garantir um movimento de câmera suave, evitando instabilidade em estruturas anatômicas complexas e dobradas.
   • Ganho de cobertura: Rastreia o número de pares nova-direção-Gaussian observados para garantir uma cobertura abrangente da cena.

3. Melhoria de Visão Guiada por Difusão:
   As renderizações iniciais dos viewpoints virtuais amostrados frequentemente contêm artefatos (ex: buracos, "floaters", desfoque). Em vez de depender apenas de interpolação, o framework utiliza um modelo de difusão de vídeo 2D como uma prior para refinar essas imagens. O modelo de difusão recebe a renderização grosseira e a visão de entrada real mais próxima (como uma âncora visual) para gerar pseudo-observações de alta fidelidade. Este passo efetivamente "alucina" estruturas anatômicas plausíveis para as regiões não observadas, preservando pistas confiáveis dos dados reais.

4. Ajuste Fino Conjunto Ponderado por Confiança:
   Para evitar que as pseudo-observações geradas degradem regiões já bem reconstruídas, os autores introduzem uma estratégia de otimização ponderada por confiança. Isso envolve dois níveis de ponderação:

   • Confiança ao nível da imagem: Baseada em Gaussian Intersection over Union (G-IoU), medindo a sobreposição entre os Gaussians visíveis na visão virtual versus a visão de referência. Uma menor sobreposição resulta em maior peso, enfatizando informações complementares.
   • Confiança ao nível do pixel: Baseada em diferenças perceptuais (LPIPS) entre a renderização grosseira e a imagem aprimorada pela difusão, focando o refinamento nos pixels onde o modelo de difusão realizou correções significativas.
     O modelo 3DGS é então ajustado finamente de forma conjunta utilizando tanto as observações reais originais quanto as pseudo-observações ponderadas por confiança.

Principais Contribuições

• Framework ExtraGS: Uma integração inovadora de priors de difusão 2D em 3DGS endoscópico para resolver problemas severos de artefatos durante a extrapolação de visão de grande base.
• Amostragem Guiada por Incerteza: Um mecanismo que visa ativamente os pontos cegos anatômicos usando estratégias conscientes de iluminação e dobras para maximizar o ganho de informação.
• Ajuste Fino Ponderado por Confiança: Uma estratégia de ponderação de dois níveis que incorpora conteúdo gerado por difusão para preencher áreas não observadas enquanto preserva a integridade das estruturas 3D reconstruídas com precisão.
• Desempenho de Estado da Arte: Avaliações abrangentes demonstrando desempenho superior tanto em síntese de nova visão quanto em tarefas de extrapolação de grande base comparado a métodos existentes.

Resultos Experimentais
O método foi avaliado no conjunto de dados C3VDv2, um dataset de colonoscopia caracterizado por estruturas tubulares estreitas, dobras repetitivas e auto-oclusões. Os autores compararam o ExtraGS contra o 3DGS padrão, GaussianPancakes e UCNeRF sob dois cenários desafiadores: disponibilidade de visão esparsa (Cecum t1) e trajetórias distantes/complexas (Ascending t2).

• Desempenho Quantitativo: O ExtraGS alcançou o maior Peak Signal-to-Noise Ratio (PSNR) e Índice de Similaridade Estrutural (SSIM) em ambos os cenários. Por exemplo, no cenário esparso Cecum t1, o ExtraGS alcançou um PSNR de 20.23 dB e SSIM de 0.769, superando o UCNeRF (19.22 dB, 0.541) e o 3DGS padrão (18.74 dB, 0.673). No cenário de distância Ascending t2, manteve um PS de 18.75 dB e SSIM de 0.857, enquanto o GaussianPancakes sofreu uma queda severa para 10.39 dB.
• Desempenho Qualitativo: Comparações visuais mostraram que, enquanto os métodos de base exibiam artefatos ruidosos, excesso de suavização ou desfoque catastrófico, o ExtraGS reconstruiu com sucesso topologias de tecido complexas, redes vasculares finas e brilhos especulares com alta fidelidade.
• Estudos de Ablação: A remoção dos componentes conscientes de iluminação e dobras resultou em uma leve degradação de desempenho, confirmando a utilidade dessas escolhas de design específicas para ambientes endoscópicos.

Significância e Alegações
O artigo afirma que o ExtraGS reduz significativamente os artefatos de extrapolação e alcança o estado da arte na síntese de visão novel endoscópica. Ao alavancar priors generativos para fornecer supervisão em áreas não observadas, o framework expande efetivamente o campo de visão utilizável e melhora a confiabilidade da reconstrução. Os autores sugerem que essa capacidade possui valor potencial para o planejamento pré-operatório, navegação intraoperatória e diagnóstico retrospectivo em cirurgia minimamente invasiva assistida por robô.

No entanto, os autores permanecem modestos quanto ao escopo atual do trabalho. Eles declaram explicitamente que o framework assume cenas relativamente estáticas e ainda não foi validado para execução em tempo real, iluminação dinâmica, oclusão de instrumentos ou deformação de tecido. Portanto, os resultados atuais demonstram o potencial da abordagem, em vez de uma confiabilidade intraoperatória validada, sendo necessário trabalho futuro para abordar esses fatores dinâmicos para uma reconstrução 4D robusta.