🤖 AI

CoGE: Sim-to-Real Online Geometric Estimation for Monocular Colonoscopy

Este artigo apresenta o CoGE, um novo framework para estimativa geométrica monoculárica online em colonoscopia que aproveita um módulo de supervisão consciente da iluminação e um módulo de percepção consciente da estrutura para alcançar desempenho de última geração em dados do mundo real, sendo treinado exclusivamente com dados simulados.

Autores originais: Liangjing Shao, Beilei Cui, Hongliang Ren

Publicado 2026-05-14

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Liangjing Shao, Beilei Cui, Hongliang Ren

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine tentar navegar por um túnel escuro, estreito e sinuoso usando apenas uma única lanterna. Isso é essencialmente o que um cirurgião enfrenta durante uma colonoscopia. A câmera é um pequeno olho de um só olho, olhando para dentro de um tubo longo e fechado. Para se mover com segurança e encontrar o caminho certo, o cirurgião precisa entender a forma 3D do túnel — quão profundo ele é, onde as paredes curvam e onde estão os obstáculos.

Este artigo apresenta o CoGE, um novo "assistente inteligente" para essa câmera. Sua função é transformar instantaneamente o vídeo plano, em 2D, da câmera em um mapa 3D do interior do cólon.

Veja como o CoGE funciona, explicado por meio de analogias simples:

1. O Grande Problema: A "Fossa de Treinamento"

Geralmente, para ensinar um computador a ver em 3D, é necessário mostrar a ele milhares de vídeos reais nos quais você já sabe exatamente como é a forma 3D (a "verdade fundamental"). Mas, em um cólon real, não é possível medir facilmente a forma 3D exata porque o espaço é muito apertado e fechado.

Assim, os pesquisadores ensinaram o CoGE usando dados simulados (uma versão perfeita de um videogame gerada por computador de um cólon).

O Desafio: Um cólon de videogame parece muito diferente de um real. Os reais têm iluminação estranha, pontos brilhantes (reflexos) e texturas bagunçadas. É como ensinar um motorista a dirigir em uma pista perfeita e ensolarada, mas depois pedir que ele dirija imediatamente em uma cidade chuvosa e nebulosa. Normalmente, o motorista fica confuso.

2. A Solução: Três "Óculos" Especiais

O CoGE é especial porque consegue pegar esse treinamento do "videogame perfeito" e aplicá-lo ao "mundo real bagunçado" sem precisar de treinamento extra em dados reais. Ele faz isso usando três truques inteligentes:

Os "Óculos" de "Wavelet" (Vendo o Esqueleto):
Imagine olhar para uma foto de um cólon. Algumas partes são curvas suaves (baixa frequência), e outras são pequenas rugas ou bordas (alta frequência).
O CoGE usa uma técnica chamada Decomposição Wavelet. Pense nisso como colocar óculos especiais que separam a imagem em seu "esqueleto" (as grandes formas) e seus "detalhes" (as pequenas rugas). Ele aprende que o esqueleto de um cólon parece o mesmo, seja em um videogame ou na vida real, mesmo que a iluminação seja diferente. Isso ajuda a reconhecer a estrutura independentemente da bagunça.
Os "Óculos" do "Detetive de Luz" (Ignorando Reflexos):
Vídeos reais de colonoscopia são complicados porque a luz reflete em superfícies úmidas, criando pontos brancos brilhantes (reflexos especulares) que confundem a câmera.
O CoGE usa um módulo baseado na teoria de Retinex (uma maneira de entender como nossos olhos separam cor da luz). Ele age como um detetive que diz: "Esse ponto brilhante é apenas um reflexo, não uma parede real". Ele diz ao sistema: "Não confie no cálculo de profundidade neste ponto brilhante; é apenas um reflexo". Isso impede que o sistema seja enganado pela iluminação.
O "Filtro de Memória" (Esquecendo o Passado):
À medida que a câmera se move pelo longo cólon, ela acumula uma memória do que viu. Mas, às vezes, a memória fica entulhada com informações antigas e irrelevantes que não correspondem à visão atual.
O CoGE possui um Mecanismo de Esquecimento de Memória. Imagine que você está caminhando por um corredor e olha para trás, para uma porta que passou há 10 segundos. Se essa porta estiver agora bloqueada por uma nova parede, seu cérebro deve "esquecer" a porta antiga para focar na nova parede. O CoGE faz isso matematicamente: verifica sua memória, vê o que não é mais relevante e o apaga para não ficar confuso.

3. Os Resultados: Treinamento "Perfeito de Jogo", Desempenho "Mundo Real"

Os pesquisadores testaram o CoGE e descobriram algo incrível:

Eles o treinaram apenas em dados simulados (de videogame).
Eles o testaram em vídeos reais de colonoscopia (que ele nunca tinha visto antes).
O Resultado: O CoGE teve desempenho melhor do que outros métodos de ponta que foram treinados em grandes quantidades de dados reais. Ele conseguiu criar mapas 3D precisos e estimativas de profundidade em tempo real (mais de 15 quadros por segundo), o que é rápido o suficiente para um cirurgião usar enquanto se move.

Resumo

Em resumo, o CoGE é um sistema que aprende a ver profundidade 3D em um cólon estudando uma simulação perfeita. Ele usa "óculos" especiais para ignorar iluminação ruim, separar formas importantes do ruído e limpar sua memória. Isso permite que ele funcione perfeitamente no mundo real e bagunçado, sem precisar de dados de treinamento reais, caros e difíceis de obter.

Resumo Técnico: CoGE – Estimativa Geométrica Online Sim-to-Real para Colonoscopia Monocular

Declaração do Problema

A estimativa geométrica, abrangendo estimativa de profundidade e reconstrução de cena, é vital para fornecer aos cirurgiões percepção espacial 3D e navegação durante a colonoscopia. No entanto, adquirir verdadeiros dados geométricos (mapas de profundidade, nuvens de pontos, parâmetros de câmera) em colonoscopia do mundo real é proibitivamente difícil e caro devido à natureza estreita e fechada do cólon. Embora existam métodos auto-supervisionados, eles frequentemente apresentam desempenho inferior em comparação com modelos supervisionados. Por outro lado, modelos supervisionados geralmente exigem grandes conjuntos de dados com verdadeiros dados, que são escassos em configurações realistas. Embora softwares de simulação (por exemplo, VR-Caps) possam gerar verdadeiros dados geométricos, existe uma significativa "lacuna de características" entre dados simulados e dados realistas devido a artefatos e diversidade de iluminação. Além disso, abordagens existentes de sim-to-real frequentemente dependem de redes de tradução de estilo para pré-processar dados realistas, o que reduz a eficiência de inferência e pode degradar o desempenho entre cenas.

Metodologia

Os autores propõem CoGE, um framework baseado em modelo fundamental projetado para estimativa geométrica online monocultural, treinado exclusivamente em dados simulados, mas que performa efetivamente em cenas realistas. O framework opera em um par de observações (quadro anterior em cache $I_{t-1}$ e quadro atual $I_t$ ) para produzir mapas de pontos, poses de câmera, mapas de iluminação e mapas de confiança.

1. Percepção Consciente de Estrutura (SAP)

Para abordar a lacuna de características e extrair características estruturais comuns entre cenas simuladas e realistas, os autores incorporam um bloco de Percepção Consciente de Estrutura baseado em transformação wavelet.

Decomposição: Imagens de entrada são decompostas via Transformada Wavelet Discreta (DWT) em quatro sub-bandas: Baixa-Baixa (aproximação), Baixa-Alta (detalhes horizontais), Alta-Baixa (detalhes verticais) e Alta-Alta (detalhes diagonais).
Extração de Características: O modelo utiliza Atenção Múltipla de Cabeça Baseada em Janela (W-MHSA) para extrair características do componente de baixa frequência (Baixa-Baixa), enquanto emprega kernels convolucionais específicos ( $7\times1$ , $1\times7$ e $3\times3$ ) para extrair detalhes locais de alta frequência das outras bandas.
Fusão: Características de diferentes composições wavelet são fundidas e reconstruídas via DWT Inversa para formar a representação estrutural final.

2. Supervisão Consciente de Iluminação (IAS)

Para lidar com as condições de iluminação diversas e instáveis no cólon, é introduzido um módulo de Supervisão Consciente de Iluminação auto-supervisionado.

Teoria: Baseado na teoria de Retinex, o módulo assume que o componente intrínseco de uma imagem é invariante à iluminação no domínio do gradiente.
Mecanismo: O módulo IAS gera um mapa de influência de luz ( $L_t$ ) e um gráfico intrínseco ( $A_t$ ). Durante o treinamento, $L_t$ é usado para ajustar o mapa de confiança ( $C_t$ ) dos resultados estimados, controlando efetivamente a confiança do modelo com base na distribuição de luz para mitigar interferências de iluminação.

3. Mecanismo de Esquecimento de Memória

Dadas as longas sequências típicas em colonoscopia, o framework emprega um sistema de memória com um mecanismo de esquecimento para gerenciar informações redundantes.

Leitura: Características anteriores recuperam informações relevantes das caches de memória de chave ( $M_k$ ) e valor ( $M_v$ ).
Esquecimento: Um mecanismo baseado em threshold filtra tokens de memória. Se um token de memória tiver pesos de atenção abaixo de um threshold específico (5e-4) para menos de 5% dos tokens de características, ele é considerado irrelevante e deletado. Isso previne o acúmulo de memória redundante que poderia interferir com observações atuais.
Atualização: Nova memória é codificada a partir de características relacionadas à memória e concatenada com a cache filtrada.

4. Visão Geral da Arquitetura

O backbone utiliza seis blocos ViT-L seguidos pelo bloco SAP. O decodificador consiste em seis blocos utilizando atenção própria e atenção cruzada para processar características atuais e relacionadas à memória. Cabeças a jusante (DPT) produzem os mapas de pontos finais, poses de câmera e mapas de confiança.

Principais Contribuições

Percepção Consciente de Estrutura: Um bloco inovador utilizando transformação wavelet para extrair características estruturais e locais comuns (bordas) compartilhadas entre cenas de colonoscopia simuladas e realistas.
Supervisão Consciente de Iluminação: Um módulo que ajusta a confiança das estimativas geométricas com base na distribuição de luz, abordando o desafio da iluminação diversa na superfície do cólon.
Mecanismo de Esquecimento de Memória: Uma estratégia para filtrar tokens de memória redundantes e irrelevantes, reduzindo a interferência de observações passadas em longas sequências.
Desempenho Sim-to-Real: Um modelo treinado exclusivamente em dados simulados que alcança desempenho state-of-the-art tanto em cenas simuladas não vistas quanto em conjuntos de dados de colonoscopia realistas, sem exigir pré-processamento de tradução de estilo.

Resultados Experimentais

O modelo foi treinado em 24 sequências simuladas do VR-Caps (SimCol3D) e avaliado em conjuntos de dados realistas (C3VD, C3VDv2) e imagens internas.

Estimativa de Profundidade Monocular: No conjunto de dados SimCol, o CoGE alcançou um Abs Rel de 0,027 e uma precisão de $\delta < 1,25$ de 0,995, superando outros modelos fundamentais como STream3R, MonST3R e CUT3R. Em conjuntos de dados realistas (C3VD e C3VDv2), alcançou consistentemente as taxas de erro mais baixas (por exemplo, Abs Rel 0,083 no C3VD) e as métricas de precisão mais altas em comparação com métodos SOTA.
Reconstrução 3D: Utilizando Distância Euclidiana Média (mED) e a razão de pontos dentro de um threshold de erro específico ( $\delta < N$ ), o CoGE demonstrou precisão de reconstrução superior. Por exemplo, no C3VD, alcançou um mED de 3,957 e uma razão de $\delta < 4,0$ de 0,645, superando significativamente concorrentes como STream3R e CUT3R.
Estudos de Ablação: A remoção do bloco SAP, do módulo IAS ou do Mecanismo de Esquecimento de Memória resultou em degradação mensurável de desempenho em todos os conjuntos de dados, confirmando a necessidade de cada componente.

Significado e Alegações

O artigo afirma que o CoGE representa um avanço significativo na estimativa geométrica sim-to-real para endoscopia. Ao treinar exclusivamente em dados simulados, o método contorna a necessidade de verdadeiros dados geométricos do mundo real, que são caros e difíceis de obter. O framework conecta com sucesso a lacuna de domínio através de inovações arquitetônicas específicas (extração de estrutura baseada em wavelet e controle de confiança consciente de iluminação) em vez de depender de pré-processamento de transferência de estilo ineficiente.

Os autores observam que, embora o modelo alcance inferência em tempo real (>15 FPS), a inclusão dos blocos de percepção consciente de estrutura diminui ligeiramente a eficiência em comparação com modelos mais leves. Além disso, reconhecem que o desempenho pode degradar na presença de desfoque de movimento, mudanças dinâmicas agudas ou tecidos lesivos específicos, que permanecem como desafios para trabalhos futuros. A principal contribuição é demonstrar que a percepção 3D online de alta qualidade em colonoscopia é alcançável usando apenas dados de treinamento simulados quando o modelo é explicitamente projetado para lidar com commonalidades estruturais e variância de iluminação.