NeRFscopy: Neural Radiance Fields for in-vivo Time-Varying Tissues from Endoscopy

O artigo apresenta o NeRFscopy, um pipeline auto-supervisionado baseado em Campos de Radiância Neural que realiza a síntese de novas visualizações e a reconstrução 3D de tecidos endoscópicos deformáveis a partir de vídeos monoculares, superando métodos existentes ao lidar com desafios como deformação, oclusão e trajetórias de câmera desconhecidas.

O essencial

Imagine que você está assistindo a um vídeo de uma cirurgia interna, feito por uma câmera minúscula (o endoscópio) que viaja dentro do corpo do paciente. O problema é que os órgãos, como o estômago ou os pulmões, são como gelatina viva: eles se movem, esticam, encolhem e mudam de forma o tempo todo. Além disso, a câmera é apenas uma lente (monocular), então é difícil para um computador entender a profundidade e a forma 3D real apenas olhando para uma imagem plana que muda constantemente.

Aqui entra o NeRFscopy, uma nova tecnologia criada por pesquisadores da Espanha para resolver esse quebra-cabeça. Vamos explicar como funciona usando analogias simples:

1. O Problema: A "Gelatina" que se Move

Pense no corpo humano durante uma cirurgia como uma sala cheia de balões de água que estão sendo apertados, torcidos e movidos por mãos invisíveis. Se você tentar tirar uma foto de um balão que está sendo espremido, a foto fica distorcida. Se você tentar fazer um modelo 3D disso apenas com uma câmera que se move junto com os balões, fica quase impossível saber o que é o balão e o que é o movimento da câmera.

Os métodos antigos tentavam "adivinhar" a forma, mas muitas vezes falhavam porque os tecidos são muito flexíveis e a iluminação muda (reflexos de luz, sangue, etc.).

2. A Solução: O "Modelo Mágico" (NeRFscopy)

Os autores criaram um sistema chamado NeRFscopy. Imagine que ele é como um escultor digital superinteligente que assiste ao vídeo da cirurgia e, frame a frame, tenta reconstruir a cena em 3D.

Como ele faz isso sem ter um "modelo pré-fabricado" do órgão?

• O Campo de Deformação (A "Argila" Inteligente): O sistema cria uma versão "padrão" (estática) do órgão, como se fosse uma estátua de argila. Depois, ele usa uma "mágica matemática" (chamada campo de deformação SE(3)) para entender como essa argila está sendo torcida e esticada em cada momento do vídeo. É como se ele soubesse que, se você apertar um lado do balão, o outro lado se expande de uma forma específica.
• A Iluminação e a Cor: O sistema não apenas vê a forma, mas também aprende como a luz bate nesses tecidos, mesmo que haja reflexos estranhos ou sombras. Ele "pinta" o modelo 3D com as cores reais do vídeo.

3. O Treinamento: Aprendendo sem Professor

O mais incrível é que esse sistema é auto-supervisionado. Isso significa que ele não precisa de um professor humano dizendo: "Isso é um pulmão, aquilo é um tumor".

• Ele assiste ao vídeo e tenta adivinhar o que está acontecendo.
• Se a imagem que ele "desenha" mentalmente não combina com o vídeo real, ele se corrige.
• Ele usa truques matemáticos (chamados de "termos de regularização") para garantir que a "argila" não se transforme em algo impossível (como um órgão que se parte ao meio magicamente). Ele força o modelo a ser suave e coerente, como a realidade biológica.

4. O Resultado: Viagens no Tempo e Espaço

O que o NeRFscopy consegue fazer de especial?

• Novas Visões: Depois de aprender a cena, ele pode gerar fotos de ângulos que nunca existiram no vídeo original. É como se você pudesse olhar para o coração do paciente de um ângulo que o cirurgião não teve acesso durante a operação.
• Reconstrução 3D Precisa: Ele cria um modelo 3D que os médicos podem girar, ampliar e estudar depois que a cirurgia acaba. Isso ajuda a planejar tratamentos futuros ou medir o tamanho de tumores com muito mais precisão.

Resumo da Ópera

O NeRFscopy é como um assistente de realidade virtual que assiste a um vídeo de cirurgia, entende como os órgãos se movem e se deformam, e cria um "gêmeo digital" 3D perfeito dessa cena.

Isso é revolucionário porque:

1. Não precisa de equipamentos caros: Funciona apenas com o vídeo comum da câmera de endoscopia.
2. Lida com o movimento: Entende que os órgãos são flexíveis, não rígidos como uma cadeira.
3. Ajuda os médicos: Permite que eles "viajem" dentro do corpo do paciente em 3D, mesmo depois que o paciente já saiu da sala de cirurgia, melhorando o diagnóstico e o tratamento.

Em suma, eles transformaram um vídeo plano e confuso de uma cirurgia em um mapa 3D interativo e preciso, usando apenas inteligência artificial e matemática avançada.

Resumo técnico

1. O Problema

A endoscopia é fundamental para diagnóstico e tratamento médico, mas a reconstrução 3D dinâmica e robusta de vídeos endoscópicos monoculares enfrenta desafios significativos:

• Natureza dos Tecidos: Os tecidos biológicos in vivo são deformáveis (não rígidos), tornando a modelagem complexa.
• Limitações da Câmera: O uso de câmeras monoculares, mudanças de iluminação, oclusões (por fluidos ou o próprio endoscópio), falta de textura e movimentos inesperados da câmera.
• Falhas de Métodos Existentes: Técnicas tradicionais de Structure from Motion (SfM) e métodos recentes como NeRF (Neural Radiance Fields) e 3D Gaussian Splatting foram originalmente desenvolvidos para cenas rígidas ou exigem calibração de câmera e conhecimento prévio, o que é difícil de obter em cenários cirúrgicos dinâmicos.

2. Metodologia: NeRFscopy

O artigo propõe o NeRFscopy, um pipeline auto-supervisionado para síntese de novas visões e reconstrução 3D de tecidos endoscópicos deformáveis a partir de um único vídeo monoculares.

Arquitetura Principal

O modelo baseia-se na representação implícita contínua de cenas através de uma Rede Neural Perceptron Multicamada (MLP), mas com adaptações críticas para cenários não rígidos:

• Campo Radiante Canônico e Campo de Deformação: O sistema utiliza um campo radiante canônico ($F_\Theta$) que representa a geometria e aparência em um estado de referência, combinado com um campo de deformação dependente do tempo ($G_\Phi$).
• Codificação SE(3): Diferentemente de métodos anteriores que usam campos de deslocamento simples, o NeRFscopy emprega um campo de deformação denso baseado em SE(3) (transformações rígidas de rotação e translação). Isso permite capturar rotações complexas e simultâneas em diferentes regiões do tecido com menos parâmetros do que um campo de deslocamento puro.
• Entrada de Profundidade: Para adaptar o modelo a entradas monoculares, o sistema utiliza algoritmos de estimativa de profundidade monoculares pré-treinados (como DPT, IID-SfmLearner ou Depth-Anything) para gerar mapas de profundidade relativos, guiando a amostragem perto da superfície do tecido.
• Suposição de Câmera Estática: Para evitar ambiguidade entre movimento da câmera e deformação do tecido, o método assume inicialmente que o movimento da câmera é nulo, focando na captura de tecidos não rígidos.

Função de Perda e Otimização

O modelo é treinado de forma auto-supervisionada minimizando uma função de perda composta por vários termos:

1. Perda Fotométrica ($L_C$): Diferença entre as cores renderizadas e as observadas.
2. Perda de Profundidade ($L_D$): Penaliza a divergência entre o mapa de profundidade previsto e o estimado.
3. Regularização de Deformação ($L_J$): Penaliza desvios na matriz Jacobiana do campo de deformação para garantir deformações locais suaves.
4. Regularização de Gradiente de Profundidade ($L_g$): Incentiva descontinuidades nítidas na profundidade estimada, alinhadas com as bordas da imagem.
5. Perda de Suavidade de Profundidade ($L_s$): Usa gradientes de segunda ordem para suavizar a profundidade em regiões homogêneas.
6. Regularização de Variação Total Temporal ($L_{tv}$): Garante coerência temporal entre quadros consecutivos, evitando mudanças abruptas na deformação.

3. Contribuições Chave

• Pipeline Auto-Supervisionado Genérico: Um método que não requer modelos pré-treinados, templates ou conhecimento a priori sobre a anatomia específica, aprendendo apenas a partir dos dados do vídeo.
• Modelagem SE(3) para Tecidos: A introdução de uma deformação baseada em transformações rígidas (SE(3)) para modelar tecidos moles, superando as limitações de campos de deslocamento simples em cenários com rotações complexas.
• Integração de Profundidade Monocular: O uso eficaz de estimadores de profundidade pré-treinados para guiar a amostragem e a reconstrução em vídeos endoscópicos reais.
• Síntese de Novas Visões: Capacidade de gerar visualizações 3D e novas perspectivas de estruturas anatômicas que não foram capturadas diretamente no vídeo original.

4. Resultados Experimentais

Os autores avaliaram o NeRFscopy em quatro vídeos reais de cirurgias (TECAB, lobectomia pulmonar, broncoscopia) e no conjunto de dados Endo-NeRF.

• Métricas Quantitativas: O método superou consistentemente abordagens concorrentes (como EndoNeRF, EndoSurf, LerPlane-32k e EndoGaussian) em métricas de qualidade de imagem (PSNR, SSIM e LPIPS).
  • No conjunto de dados Endo-NeRF, o NeRFscopy alcançou o maior PSNR (37.204) e o menor LPIPS (0.054), indicando superioridade na fidelidade da imagem e percepção visual.
• Análise de Componentes: Um estudo de ablação mostrou que a combinação de termos de gradiente e suavidade de profundidade melhorou significativamente a linha de base. A regularização temporal ($L_{tv}$) mostrou-se menos eficaz em alguns casos devido a artefatos de alta frequência nas entradas RGB, mas o modelo completo ainda superou os concorrentes.
• Qualidade Visual: As avaliações qualitativas demonstraram reconstruções 3D fisicamente plausíveis e sínteses de novas visões com alta fidelidade, mesmo em cenas com deformações severas e iluminação variável.

5. Significado e Impacto

O NeRFscopy representa um avanço significativo na compreensão de cenas 3D para aplicações médicas:

• Apoio Clínico: Facilita a visualização 3D de estruturas anatômicas, ajudando no planejamento cirúrgico, diagnóstico preciso de nódulos e acompanhamento da progressão de doenças.
• Versatilidade: Por ser um método genérico, pode ser aplicado a diversas intervenções (gastroscopia, laparoscopia, broncoscopia) sem necessidade de reconfiguração específica para cada tipo de tecido.
• Futuro: Embora o método atual não seja em tempo real (0.14 FPS), priorizando a eficácia, o trabalho abre caminho para futuras otimizações computacionais e a integração de movimento de câmera na formulação.

Em resumo, o NeRFscopy oferece uma solução robusta e precisa para a reconstrução 3D dinâmica de tecidos biológicos, superando as limitações dos métodos atuais de visão computacional em ambientes endoscópicos complexos.