Resumo Técnico: REVEAL – Alinhamento de Incorporação Visual Endoscópica Baseado em Representação para Geração Latente

Declaração do Problema

O desenvolvimento de modelos generativos de fundação para endoscopia enfrenta dois obstáculos primários: o significativo hiato de domínio entre imagens naturais e dados endoscópicos clínicos, e o alto custo computacional associado ao treinamento de Diffusion Transformers (DiTs) de grande escala. Embora o alinhamento de representação tenha melhorado a eficiência na visão computacional geral, sua eficácia dentro do espaço de imagem endoscópica altamente especializado permanece não comprovada. Estratégias existentes frequentemente dependem de codificadores de visão de propósito geral (ex: modelos pré-treinados no ImageNet) que priorizam a riqueza semântica global. No entanto, cenas endoscópicas são definidas por texturas mucosas sutis, reflexos especulares e morfologias anatômicas intrincadas, onde rótulos semânticos globais fornecem sinal insuficiente. Depender de proxies semânticos fora do domínio acarreta o risco de uma fidelidade morfológica subótima e da falha em capturar as características clínicas matizadas do manifold endoscópico. Além disso, os modelos de fundação endoscópicos existentes são predominantemente discriminativos; nenhum trabalho anterior explorou o pré-treinamento generativo em larga escala como um caminho para representações visuais clínicas.

Metodologia

Os autores introduzem o REVEAL (Representation-driven Endoscopic Visual Embedding Alignment), um modelo generativo de fundação treinado no GastroNet-5M (GN-5M), um conjunto de dados multicêntrico composto por 5 milhões de frames endoscópicos não rotulados.

Arquitetura e Treinamento

O REVEAL opera como um modelo generativo latente dentro de um espaço latente comprimido, utilizando um Scalable Interpolant Transformer (SiT) como seu backbone. O framework emprega uma estratégia de treinamento de objetivo duplo:

1. Objetivo de Denoising (Redução de Ruído): O modelo aprende a reverter um processo de interpolação estocástica (Flow Matching) para sintetizar imagens a partir de ruído.
2. Alinhamento de Representação (REPA): Para injetar conhecimento específico do domínio, os estados ocultos do modelo estudante SiT são alinhados com um codificador de visão "professor" adaptado ao domínio e congelado. Isso é alcançado maximizando a similaridade de cosseno entre as características de nível de patch do professor e os estados ocultos do estudante.

Refinamentos Arquiteturais Chave

Baseando-se no framework iREPA, o REVEAL introduz modificações específicas para preservar detalhes anatômicos de alta frequência:

• Projeção Convolucional: Em vez de um MLP (Perceptron Multicamadas) padrão, uma camada convolucional leve é usada para o cabeçalho de projeção. Isso introduz um viés indutivo local, preservando as relações espaciais entre tokens de patches adjacentes e evitando a perda de texturas finas.
• Normalização Espacial: Uma camada de normalização espacial é aplicada às representações alvo para suprimir a variância global e aumentar a relação sinal-ruído das estruturas anatômicas locais, garantindo que o modelo foque em sinais estruturais distintos.

A função de perda total combina a perda de denoising e a perda de alinhamento ($\mathcal{L} = \mathcal{L}_{\text{Denoising}} + \lambda \cdot \mathcal{L}_{\text{REPA}}$), com $\lambda$ definido como 1.

Adaptação de Domínio

Crucialmente, o codificador professor não é um modelo de propósito geral, mas sim pré-treinado diretamente na distribuição endoscópica GN-5M. Os autores treinaram um DINOv3 ViT-B/16 no GN-5M usando um currículo de duas etapas para garantir que as representações alvo estejam inerentemente alinhadas com as características visuais únicas dos dados endoscópicos.

Principais Contribuições

1. Benchmark Sistemático de Design de Alinhamento: O artigo fornece um estudo de ablação extensivo avaliando a influência das escolhas de espaço latente (backends VAE), representações alvo e escalonamento de modelo (SiT-S a SiT-L) tanto na fidelidade morfológica quanto na convergência.
2. Avaliação de Robustez e Generalização: O modelo é avaliado através de múltiplos conjuntos de dados independentes, incluindo um benchmark de robustez corrompida (BE-C) que apresenta artefatos de imagem realistas (desfoque de movimento, desfoque de definição, superexposição, etc.), demonstrando generalização além da distribuição de treinamento.
3. Maior Modelo de Fundação Generativo para Endoscopia: O REVEAL representa o maior modelo de fundação generativo para endoscopia até o momento, treinado em 5 milhões de frames. Ele serve a um propósito duplo: um gerador de imagens de alta fidelidade e um extrator de características competitivo.

Resultados

Desempenho Generativo

• Fidelidade: A configuração ótima utiliza o espaço latente SD2 e o professor DINOv3-B (GN-5M). Escalonar o modelo para SiT-L/2 e treiná-lo no GN-5M completo alcançou uma Distância de Incepção de Fréchet (FID) de 5.32, superando significativamente modelos treinados em subconjuntos ou com professores de propósito geral.
• Síntese Qualitativa: O REVEAL produz imagens de alta fidelidade que capturam texturas de mucosa e reflexos especulares realistas. Ele mantém a coerência estrutural em tarefas de edição espacial, como inpainting e outpainting, respeitando as restrições geométricas do manifold gastrointestinal.

Desempenho Discriminativo (Extração de Características)

Apesar de ser um modelo generativo não explicitamente otimizado para classificação, os blocos SiT congelados do REVEAL servem como um poderoso extrator de características:

• Benchmarking: Nos benchmarks POLAR (classificação de pólipos) e BE (Esôfago de Barrett), o REVE-AL alcançou resultados competitivos, superando modelos de fundação endoscópicos estabelecidos como EndoViT e Endo-FM.
• Robustez: Sob condições de imagem corrompidas (BE-C), o REVEAL demonstrou robustez superior em comparação ao EndoViT, que degradou catastroficamente. O REVEAL manteve um desempenho competitivo, superando codificadores de propósito geral (SAM2, DINOv2, DINOv3) e modelos discriminativos específicos de domínio.

Significância e Alegações

O artigo postula que o alinhamento de representação com priors visuais adaptados ao domínio é o principal motor da fidelidade de síntese em imagens médicas. Os autores afirmam que:

• A Especificidade de Domínio é Crítica: Codificadores de dentro do domínio superam consistentemente as alternativas de propósito geral, provando que a dependência de proxies semânticos fora do domínio é insuficiente para capturar nuances clínicas.
• O Pré-treinamento Generativo é um Caminho Viável: O pré-treinamento generativo em larga escala é um caminho viável e complementar ao modelagem de imagem mascarada para construir representações visuais clínicas.
• Utilidade Dupla: O espaço latente alinhado oferece uma base versátil para tarefas downstream, incluindo síntese condicional para geração de patologias raras, segmentação via características generativas e detecção de fora de distribuição (out-of-distribution).
• Redução do Limiar: Ao fornecer um backbone de alta capacidade treinado em dados clínicos massivos, o REVEAL reduz o limiar computacional para o desenvolvimento de ferramentas clínicas especializadas, oferecendo uma fundação aberta e versátil para futuros sistemas inteligentes de gastroenterologia.

Os autores concluem que, embora o modelo não seja explicitamente treinado para tarefas discriminativas, sua capacidade de superar modelos discriminativos especializados tanto em condições limpas quanto corrompidas destaca o valor de aprender representações robustas e anatomicamente coerentes através do pré-treinamento generativo.