Resumo Técnico: GazeWorld – Um Modelo de Mundo de Leitura de Radiologista para Aprendizado de Representação de Imagens Médicas

1. Declaração do Problema

A tradução clínica da inteligência artificial em imagens médicas enfrenta dois desafios principais: a escassez de conjuntos de dados rotulados, diversificados e em grande escala devido a regulamentações de privacidade e ao alto custo da anotação por especialistas, e a falta de interpretabilidade nos modelos atuais, que frequentemente emitem rótulos diagnósticos sem expor as evidências subjacentes. Embora os dados de rastreamento ocular de radiologistas ofereçam uma solução promissora ao codificar o conhecimento prévio de especialistas e a sequência temporal de coleta de evidências, os métodos existentes utilizam esse sinal apenas parcialmente. As abordagens atuais geralmente tratam o olhar como um prior espacial estático (por exemplo, mapas de calor) ou como um alvo de previsão auxiliar desacoplado do processo de raciocínio diagnóstico. Consequentemente, a estrutura temporal de como os especialistas buscam, comparam e acumulam evidências permanece subutilizada para melhorar as representações diagnósticas.

2. Metodologia: GazeWorld

Os autores propõem o GazeWorld, um modelo de mundo de imagens médicas que reformula o processo diagnóstico do radiologista como uma trajetória através de um mundo perceptual definido pela imagem. Em vez de tratar o olhar como um mapa estático, o GazeWorld modela o processo de leitura como uma sequência autoregressiva, onde o radiologista navega pela imagem, extraindo evidências locais em cada fixação para informar a próxima região de interesse.

Arquitetura Central

O GazeWorld consiste em três componentes principais (ilustrados na Figura 1 do artigo):

1. Representações de Patch e Sequência de Fixação:

   • Um codificador visual online ($\phi$) mapeia uma imagem médica $X$ em um conjunto de representações semânticas em nível de patch $Z$.
   • Sequências de fixação de radiologistas $F$ são mapeadas para índices de patch únicos e ordenados $S = (s_1, \dots, s_L)$, preservando a ordem temporal das visitas enquanto funde visitas repetidas ao mesmo patch.

2. Ramo de Previsão da Próxima Fixação (Autoregressivo):

   • Seguindo o paradigma da Arquitetura de Predição de Embutimento Conjunto (JEPA), o modelo prevê a representação latente do patch próximo fixado com base em todos os patches visitados anteriormente.
   • Um codificador de fixação ($\psi$) combina o token visual de um patch visitado com embeddings espaciais, classificação temporal e duração da permanência.
   • Um preditor autoregressivo ($g_\theta$), implementado como um Transformer causal, processa o prefixo de tokens de fixação para prever a representação do próximo patch ($\hat{z}_{s_i}$).
   • O alvo de previsão é derivado de um codificador alvo de momento ($\bar{\phi}$), uma cópia com média móvel exponencial (EMA) do codificador online, garantindo alvos de espaço de representação estáveis sem retropropagar gradientes através do alvo.

3. Ramo de Completamento Espacial:

   • Para abordar regiões não visitadas, que podem ser clinicamente informativas (por exemplo, ignoradas porque são normais), um ramo de completamento espacial prevê representações para todos os patches não visitados em paralelo.
   • Um decodificador leve de atenção cruzada utiliza a representação completa do contexto do olhar (saída do preditor autoregressivo) para inferir as representações dos patches não visitados.

Objetivo de Pré-treinamento

O modelo é pré-treinado usando uma função de perda combinada:
$$L_{pre} = L_{AR} + \lambda L_{SC}$$
Onde $L_{AR}$ é a perda autoregressiva para previsão da próxima fixação e $L_{SC}$ é a perda de completamento espacial para regiões não visitadas. Este objetivo é auto-supervisionado, não exigindo rótulos diagnósticos, apenas pares imagem-texto e trajetórias de olhar.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

1. Formulação do Modelo de Mundo de Olhar: Os autores introduzem uma formulação inovadora do processo de leitura do radiologista como uma trajetória através de um mundo perceptual. Esta abordagem explora plenamente a estrutura temporal do olhar de especialistas como um sinal auto-supervisionado, indo além de mapas de calor estáticos e previsão de trajetória de escaneamento desacoplada.
2. Arquitetura GazeWorld: Eles instanciam essa formulação como GazeWorld, que combina unicamente a previsão autoregressiva ordenada por olhar no espaço latente com um ramo de completamento espacial. Isso molda a representação para capturar tanto o conteúdo diagnóstico quanto a estrutura sequencial do raciocínio de especialistas.
3. Utilidade Dual das Representações: As representações aprendidas demonstram que um único modelo pode suportar tanto diagnóstico preciso quanto decodificação interpretável de trajetórias de escaneamento. Um decodificador genérico treinado em recursos GazeWorld congelados supera preditores de trajetória de escaneamento construídos para esse fim, indicando que a representação codifica inerentemente a estrutura sequencial da busca visual de especialistas.

4. Resultados Experimentais

Os autores avaliaram o GazeWorld no diagnóstico de radiografias de tórax e na previsão de trajetórias de escaneamento em três benchmarks: CheXpert, RSNA Pneumonia e SIIM-ACR Pneumothorax.

Desempenho Diagnóstico

• Configurações Supervisionadas: Recursos GazeWorld congelados alcançaram o estado da arte (SOTA) em AUROC em todas as nove configurações supervisionadas (três conjuntos de dados $\times$ três frações de rótulos: 1%, 10%, 100%). Notavelmente, sob uma comparação controlada com EGMA (correspondendo backbone, inicialização e dados), o GazeWorld melhorou o AUROC de 1% no CheXpert de 71,21 para 78,37.
• Desempenho Zero-Shot: O GazeWorld alcançou a maior precisão zero-shot em todos os três benchmarks e as maiores pontuações F1 no CheXpert e SIIM-ACR, superando modelos como MedCLIP, EGMA e GLoRIA.
• Análise Qualitativa: Visualizações Grad-CAM indicaram que o GazeWorld produz ativações mais concentradas sobre anatomia clinicamente relevante em comparação com modelos de base.

Previsão de Trajetória de Escaneamento

• Experimento de Sondagem: Um decodificador genérico treinado em recursos GazeWorld congelados foi avaliado no benchmark GazeSearch (protocolo ChestSearch).
• Desempenho: Apesar de não ser explicitamente treinado para prever olhar, os recursos GazeWorld permitiram que um decodificador superasse o LogitGaze-Med, construído para esse fim, em mais de 16% em ScanMatch e 22% em SED (Distância Euclidiana da Trajetória de Escaneamento).
• Implicação: Isso sugere que o pré-treinamento do modelo de mundo codifica com sucesso a estrutura sequencial da leitura de especialistas na representação visual.

Estudos de Ablação

• Ordenação: Substituir trajetórias de escaneamento de especialistas por ordens de varredura raster ou aleatórias degradou significativamente o desempenho, confirmando que a ordem cronológica da coleta de evidências é crítica.
• Componentes: O componente autoregressivo (AR) sozinho forneceu desempenho forte, mas adicionar completamento espacial melhorou ainda mais os resultados. O completamento espacial sozinho foi mais fraco, sugerindo que depende do contexto autoregressivo para ser eficaz.
• Backbones: O método melhorou consistentemente o desempenho zero-shot quando aplicado sobre diferentes backbones visuais médicos (MGCA, EGMA, MedCLIP), indicando sua generalizabilidade.

5. Significado e Alegações

O artigo afirma que o GazeWorld demonstra um paradigma de pré-treinamento promissor para IA em imagens médicas ao modelar como os especialistas leem, e não apenas o que eles concluem. Ao tratar a imagem como um mundo e a sequência de fixações como uma trajetória, o modelo aprende a prever o próximo passo no raciocínio diagnóstico.

Os autores afirmam que esta abordagem:

• Reduz a dependência de grandes conjuntos de dados rotulados ao aproveitar o sinal rico e auto-supervisionado dos dados de rastreamento ocular.
• Fornece uma base para interpretabilidade que mapas de atenção estáticos não podem oferecer, pois as representações aprendidas retêm a estrutura sequencial do raciocínio de especialistas.
• Oferece um objetivo de refinamento complementar para modelos fundamentais médicos existentes, injetando dinâmicas de leitura de radiologistas em codificadores pré-treinados sem exigir um re-treinamento completo do zero.

O estudo é modestamente limitado a radiografias de tórax e a um único corpus de rastreamento ocular (MIMIC-EYE), com os autores observando que trabalhos futuros devem explorar conjuntos de dados maiores com múltiplos leitores e modalidades de imagem mais amplas.