Gaze2Report: Radiology Report Generation via Visual-Gaze Prompt Tuning of LLMs

O artigo apresenta o Gaze2Report, um framework que melhora a geração de laudos radiológicos ao utilizar um módulo de previsão de trajetória ocular e redes neurais gráficas para criar tokens visuais-gaze que ajustam modelos de linguagem, permitindo a geração de relatórios de alta qualidade sem a necessidade de dados de rastreamento ocular durante a inferência.

O essencial

Imagine que você é um radiologista experiente. Quando você olha para uma radiografia de tórax, seus olhos não vagam aleatoriamente. Eles vão direto para onde há algo estranho: uma mancha escura, um osso quebrado, um pulmão inchado. Esse "mapa" do movimento dos seus olhos é o que chamamos de gaze (olhar).

O problema é que, até agora, os computadores que tentam escrever relatórios médicos sozinhos eram como estudantes que olham para a foto, mas não sabem onde o professor prestou atenção. Eles tentam adivinhar o que escrever, muitas vezes perdendo detalhes importantes ou inventando coisas que não existem.

Aqui entra o Gaze2Report, a nova tecnologia apresentada por pesquisadores da Universidade Stony Brook. Vamos explicar como ela funciona usando uma analogia simples:

1. O Problema: O Aluno que não sabe onde olhar

Os métodos antigos de IA funcionavam como um aluno que recebe uma foto e uma instrução: "Descreva esta imagem". O aluno olha para a foto inteira, tenta adivinhar o que é importante e escreve. O resultado? Às vezes é bom, mas muitas vezes falta precisão clínica ou detalhes cruciais que um médico notaria imediatamente.

2. A Solução: O "Mapa do Tesouro" dos Olhos

Os pesquisadores perceberam que os olhos dos radiologistas são um "mapa do tesouro". Eles mostram exatamente onde a doença está.

• A Ideia: E se pudéssemos ensinar a IA a seguir o mesmo caminho que os olhos dos médicos?
• O Desafio: Em um hospital real, quando a IA precisa gerar um relatório para um paciente novo, não temos os dados do olhar do médico naquele momento (ninguém está usando óculos especiais para rastrear os olhos de cada paciente).

3. A Magia do Gaze2Report: O "Detetive de Olhos"

Aqui é onde a criatividade da equipe brilha. Eles criaram um sistema com duas partes principais:

• O Treinamento (A Escola): Durante o aprendizado, a IA vê milhares de radiografias acompanhadas dos movimentos reais dos olhos dos médicos. Ela usa uma rede neural especial (chamada GNN, que funciona como uma equipe de detetives conversando entre si) para entender: "Ah, quando o médico olhou aqui por 2 segundos, significa que há uma fratura ali".
• A Previsão (O Palpite Inteligente): Como a IA não terá os dados do olhar quando estiver trabalhando de verdade (na fase de teste), ela usa um "módulo de previsão". É como se a IA tivesse aprendido a adivinhar para onde um médico olharia, baseando-se na imagem. Ela cria um "mapa de olhar falso" que é surpreendentemente preciso.

4. O Escritor Inteligente (LLM)

Tudo isso é alimentado para um "cérebro" gigante de linguagem (um modelo de IA chamado Llama2).

• Imagine que você está dando uma instrução para um assistente: "Escreva um relatório detalhado. E olhe, preste atenção especial nestas áreas que o 'detetive de olhos' marcou como importantes."
• A IA combina a imagem, o "mapa de olhar" (real ou previsto) e a instrução para escrever o relatório final.

Por que isso é incrível? (Os Resultados)

O papel mostra que esse método funciona muito melhor do que os antigos:

1. Precisão: Os relatórios gerados são mais parecidos com os escritos por humanos reais.
2. Detalhes: A IA consegue identificar termos médicos específicos (como "pequeno derrame pleural" ou "calcificação na aorta") que os modelos antigos ignoravam.
3. Sem Dependência: O melhor de tudo é que, mesmo sem ter os dados do olhar do médico no momento da consulta, a IA consegue prever onde olhar e ainda assim escrever um relatório de alta qualidade.

Resumo em uma frase

O Gaze2Report é como ensinar uma máquina a "pensar" como um radiologista, não apenas olhando para a imagem, mas simulando para onde um médico experiente olharia, garantindo que o relatório final seja preciso, seguro e útil para salvar vidas.

Resumo técnico

1. Problema Identificado

Os métodos existentes de geração de relatórios radiológicos baseados em deep learning frequentemente falham em alinhar adequadamente as explicações estruturadas com as manifestações da doença. As principais limitações incluem:

• Falta de Priors Médicos: Os modelos ignoram o conhecimento médico informado pelo médico, focando apenas na imagem.
• Inadequação de Arquiteturas de Legenda: Abordagens de "legenda de imagem" (image captioning) são otimizadas para frases curtas e descritivas, não capturando a profundidade contextual e a precisão clínica necessária em relatórios médicos detalhados.
• Desafios da Integração de Eye Gaze (Rastreamento Ocular): Embora os dados de eye gaze ofereçam insights cruciais sobre a atenção visual do radiologista (indicando onde o médico foca para diagnosticar), sua integração em fluxos de trabalho de IA é dificultada pela complexidade da fusão multimodal e pelo alto custo/ausência desses dados durante a fase de inferência (quando o modelo é usado na prática clínica).

2. Metodologia: Gaze2Report

O Gaze2Report é uma nova arquitetura projetada para integrar dados de eye gaze na geração de relatórios, superando a barreira da ausência de dados de olhar durante a inferência. O framework consiste nos seguintes componentes principais:

• Geração de Tokens Visuais e de Olhar:
  • Visuais: Uma Vision Transformer (ViT) extrai características espaciais da imagem de raio-X, dividida em patches.
  • Olhar (Gaze): Um modelo auxiliar de previsão de trajetória de olhar (scanpath prediction), chamado MedGaze, simula pontos de fixação e durações temporais. A duração de fixação em cada patch é agregada para criar vetores de embedding que refletem a distribuição de atenção do radiologista.
• Interação Multimodal via GNN (Graph Neural Network):
  • Um grafo é construído onde cada nó representa um patch da imagem, contendo tokens visuais, tokens de olhar e codificações posicionais.
  • Uma GNN atualiza iterativamente as representações dos nós, permitindo que o modelo aprenda as relações espaciais e semânticas entre as regiões de interesse visual e as características da imagem.
  • O resultado é um embedding visual-gaze fundido (fused visual-gaze embedding).
• Prompt Tuning de LLM (Large Language Model):
  • Os embeddings fundidos são projetados no espaço de características do LLM (Llama2-7B).
  • Eles são concatenados com tokens de instrução ("Generate a report...") e tokens de relatório para formar um prompt multimodal unificado.
  • O modelo utiliza LoRA (Low-Rank Adaptation) para fine-tuning eficiente, ajustando apenas adaptadores de baixo rank em vez de todos os parâmetros do LLM.
• Previsão de Scanpath (Inferência sem Olhar):
  • Para resolver o problema da falta de dados de eye gaze na inferência, o sistema inclui um módulo de previsão de trajetória de olhar. Durante a inferência, o modelo gera uma trajetória simulada para criar os tokens de olhar, permitindo que o sistema opere sem dados reais de rastreamento ocular.

3. Principais Contribuições

1. Integração via GNN: Uso de Redes Neurais em Grafos para melhorar a interação entre modalidades visuais e de olhar, permitindo que o LLM avalie melhor a relevância das regiões de interesse.
2. Superação da Barreira de Inferência: Demonstração de que a combinação de imagem e olhar (mesmo quando o olhar é previsto por um módulo auxiliar) supera o uso de apenas imagem. O modelo mantém alta performance sem depender de dados de eye gaze reais durante o teste.
3. Avaliação Abrangente: Validação do modelo em múltiplos conjuntos de dados usando métricas de Geração de Linguagem Natural (NLG) e Eficácia Clínica (CE).

4. Resultados e Desempenho

O modelo foi avaliado nos conjuntos de dados MIMIC-CXR, IU-XRAY e REFLACX.

• Métricas de Linguagem (NLG): O Gaze2Report superou os métodos mais recentes (SOTA), incluindo R2GenGPT, MET e EGGCA-Net.
  • No MIMIC-CXR, houve melhorias significativas: BLEU-1 (+0.08), BLEU-4 (+0.03), ROUGE-L (+0.06) e METEOR (+0.07) em relação aos concorrentes diretos.
  • Comparado a baselines sem o módulo GNN (Base-2 e Base-3), o Gaze2Report mostrou ganhos consistentes, validando a eficácia da montagem baseada em grafos.
• Eficácia Clínica (CE):
  • O modelo superou o R2GenGPT em todas as métricas de classificação clínica (Acurácia, Precisão, Recall e F1-Score), demonstrando maior capacidade de gerar informações clínicas cruciais e terminologias precisas (ex: diferenciar "edema pulmonar" de "congestão de fluido").
  • Apenas o EGGCA-Net teve desempenho superior em algumas métricas de classificação específica, mas o Gaze2Report obteve melhores pontuações em BERTScore e RadGraph F1, indicando maior coerência semântica e representação precisa de terminologias clínicas.
• Análise Qualitativa: Exemplos gerados mostram que o modelo identifica termos críticos (como "pequenas efusões pleurais bilaterais" e "calcificação difusa da aorta") que estavam ausentes nos relatórios gerados por modelos base que não utilizam gaze.

5. Significado e Conclusão

O Gaze2Report representa um avanço significativo na automação de relatórios radiológicos ao:

• Humanizar a IA: Incorporar o processo de tomada de decisão visual dos radiologistas (via dados de eye gaze) diretamente no processo de geração de texto.
• Resolver um Problema Prático: Ao introduzir a previsão de scanpath, o modelo torna-se viável para uso clínico real, onde a coleta de dados de eye gaze em tempo real é inviável.
• Melhorar a Precisão Clínica: A abordagem não apenas melhora as métricas linguísticas, mas, mais importante, aumenta a precisão diagnóstica e a relevância clínica do texto gerado, reduzindo alucinações e melhorando o alinhamento entre a imagem e o relatório.

Em suma, o trabalho demonstra que a fusão inteligente de atenção visual simulada com grandes modelos de linguagem via prompt tuning e GNNs é uma estratégia superior para a geração de relatórios médicos confiáveis e clinicamente relevantes.