Visual Alignment of Medical Vision-Language Models for Grounded Radiology Report Generation

Título: VALOR: Alinhamento Visual de Modelos de Visão-Linguagem Médica para Geração de Relatórios de Radiologia Fundamentada

1. O Problema: Alucinações Visuais e Falta de Alinhamento Multimodal

A geração automática de relatórios de radiologia (RRG) é crucial para automatizar fluxos de trabalho de saúde e reduzir a carga dos profissionais médicos. No entanto, os Modelos de Visão-Linguagem Médica (Med-VLMs) existentes, apesar dos avanços recentes, sofrem de um problema crítico: alucinações visuais.

• Definição: Os modelos geram relatórios que parecem clinicamente plausíveis, mas não são fundamentados na imagem de entrada (ex: diagnosticar uma doença que não está presente no raio-X).
• Causas:
  1. Dependência de Padrões de Texto: Os modelos tendem a confiar em padrões aprendidos durante o pré-treinamento massivo em texto, em vez de realizar raciocínio cruzado genuíno entre imagem e texto.
  2. Limitações das Abordagens Atuais:
     • Métodos Baseados em Preferência: Requerem curadoria de dados de preferência (explicando qual relatório é melhor), o que é caro, demorado e muitas vezes não verifica se o relatório é apoiado pela imagem visual.
     • Métodos Baseados em Recuperação (RAG): Recuperam relatórios de outros pacientes para enriquecer o contexto, o que pode introduzir informações inconsistentes com a imagem atual (alucinação por recuperação).
• Objetivo Central: Criar um framework que gere relatórios clinicamente informativos, factualmente precisos e estritamente fundamentados na imagem visual, sem depender de dados de preferência externos ou bancos de dados de recuperação.

2. Metodologia: O Framework VALOR

O VALOR (Visual Alignment of Medical Vision-Language Models for GrOunded Radiology Report Generation) propõe um processo de otimização em duas etapas complementares para alinhar o modelo com a imagem e o conhecimento clínico.

Pré-requisito: Um Warmup de Instrução (SFT) para estabilizar a geração de relatórios estruturados.

Etapa 1: Raciocínio Textual Informado Clinicamente

• Objetivo: Garantir precisão terminológica e coerência semântica.
• Mecanismo: Utiliza recompensas textuais verificáveis calculadas diretamente a partir do relatório de referência (ground truth).
  • Recompensa Verificável ($R_{ver}$): Combina métricas de NLG (BLEU, ROUGE) e semântica (BERTScore).
  • Recompensa Clínica ($R_{clin}$): Utiliza pontuações F1 micro-médias de entidades extraídas por modelos especialistas (CheXbert e RadGraph) para garantir a presença correta de termos de doenças.
• Estratégia de Injeção: As recompensas clínicas são injetadas periodicamente (a cada $k_{clin}$ passos) em vez de a cada passo, para evitar instabilidade na otimização, enquanto as métricas textuais fornecem supervisão densa constante.

Etapa 2: Raciocínio Visual Auto-supervisionado

• Objetivo: Forçar o alinhamento direto entre o texto gerado e a imagem de raio-X, eliminando a necessidade de dados de preferência ou recuperação.
• Mecanismo:
  • Utiliza um modelo especialista de domínio congelado (frozen) para extrair características visuais da imagem de entrada e embeddings textuais dos relatórios candidatos gerados.
  • Calcula a similaridade Imagem-Texto (semelhança de cosseno) entre a imagem e cada candidato.
  • Converte essas similaridades em vantagens normalizadas por rank ($r^{vis}_i$). O candidato mais consistente com a imagem recebe a maior recompensa.
• Recompensa Composta: Combina a recompensa textual da Etapa 1 com a recompensa visual da Etapa 2, controlada por um coeficiente de mistura ($\lambda_{vis}$).
• Otimização: O modelo é treinado usando uma política de reforço (semelhante ao GRPO) que maximiza essas recompensas compostas, guiando o modelo a escolher relatórios que são tanto linguisticamente corretos quanto visualmente fundamentados.

3. Principais Contribuições

1. Framework VALOR: Uma nova arquitetura que gera relatórios fundamentados visualmente e clinicamente ricos através de duas etapas de raciocínio, reduzindo alucinações sem depender de dados de preferência curados ou métodos de recuperação específicos de domínio.
2. Mecanismo de Recompensa Híbrido: Introdução de recompensas textuais clínicas e vantagens normalizadas por rank baseadas em similaridade imagem-texto. Isso permite que o modelo distinga quais relatórios candidatos estão mais alinhados com a imagem de raio-X, sem necessidade de anotações adicionais.
3. Desempenho Superior e Generalização: Validação extensiva mostrando que o VALOR supera métodos state-of-the-art (SOTA) em qualidade de geração e precisão clínica, operando eficazmente em cenários zero-shot contra modelos proprietários massivos.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados IU-XRay e MIMIC-CXR.

• Comparação com SOTA:
  • O VALOR superou significativamente o modelo base (LLaVA-Med v1.5), métodos de ajuste fino (SFT), otimização direta de preferência (DPO/GRPO) e o método SOTA de pós-treinamento (MMedPO).
  • Ganhos de Desempenho: Aproximadamente 20% de melhoria na qualidade de geração e 25% na precisão clínica em comparação com métodos de alinhamento de preferência existentes.
  • Métricas Específicas: No IU-XRay, alcançou um F1 clínico de 57.2% (vs. 49.8% do MMedPO) e superou modelos proprietários como GPT-4o e MedFlamingo em métricas de geração (BLEU, ROUGE, METEOR).
• Análise Qualitativa (Visualização de Atenção):
  • Mapas de atenção mostram que o VALOR foca corretamente nas regiões anatômicas relevantes (ex: pulmões) onde as patologias estão presentes.
  • Em contraste, modelos base ignoram essas regiões ou focam em áreas irrelevantes, levando a diagnósticos incorretos (ex: "sem anomalias visíveis" quando há opacidade).
• Estudos de Ablação:
  • Confirmou-se que o equilíbrio entre recompensas textuais e visuais é crucial (o melhor desempenho ocorre com $\lambda_{vis} \approx 0.5$).
  • A injeção periódica de recompensas clínicas é superior à injeção densa, evitando a instabilidade do treinamento.

5. Significado e Impacto

O VALOR representa um avanço significativo na área de IA médica ao abordar a raiz do problema das alucinações: a falta de alinhamento multimodal.

• Independência de Dados: Ao eliminar a necessidade de curadoria cara de dados de preferência ou bancos de dados de recuperação, o método torna-se mais escalável e aplicável a diversos contextos clínicos.
• Confiabilidade Clínica: Ao forçar o modelo a "olhar" para a imagem antes de gerar o relatório, aumenta-se a confiança na precisão diagnóstica, um requisito fundamental para a adoção clínica.
• Futuro: O trabalho abre caminho para sistemas de geração de relatórios que são intrinsecamente alinhados com a evidência visual, reduzindo a dependência de conhecimento externo e focando no raciocínio visual auto-supervisionado.

Em resumo, o VALOR demonstra que é possível alinhar modelos de linguagem médica com imagens reais de forma eficiente, gerando relatórios que são não apenas fluentes, mas clinicamente precisos e visualmente fundamentados.