Resumo Técnico: ReportQA: Avaliação de Relatórios Radiológicos Baseada em QA

Declaração do Problema

O avanço da geração automatizada de relatórios radiológicos (RRG) é atualmente limitado pela falta de frameworks de avaliação confiáveis. Os métodos existentes de Avaliação de Relatórios Radiológicos (RRE) sofrem de duas limitações primárias:

1. Métricas de Geração de Linguagem Natural (NLG): Métricas como BLEU e ROUGE dependem de sobreposição lexical superficial, o que falha em capturar a correção clínica. Um relatório pode ser lexicalmente semelhante a uma referência, mas clinicamente impreciso em relação a entidades e atributos fundamentais.
2. Métricas de Eficácia Clínica (CE): Embora métricas como CheXbert e RadGraph avaliem a presença de entidades clínicas específicas, elas são limitadas à modelagem de existência de granularidade grossa. Elas frequentemente falham em capturar atributos de granularidade fina (ex: localização, forma, tamanho, certeza) e dependem fortemente de modelos supervisionados treinados com anotações manuais extensas, tornando-os difíceis de estender para novas entidades ou atributos.

Além disso, os sistemas de RRG atuais frequentemente lutam para aprender representações clínicas detalhadas e exibem um forte viés de prior negativo, um fenômeno não detectado adequadamente pelas métricas de nível de relatório existentes.

Metodologia

Os autores propõem o ReportQA, um framework de avaliação flexível relacionado à clínica que trata os relatórios radiológicos como contexto para Question Answering (QA/Perguntas e Respostas). O framework opera através de um pipeline de quatro estágios:

1. Preparação do Dataset

O framework agrega diversos datasets de relatórios radiológicos cobrindo múltiplas modalidades de imagem (Raio-X, CT, MRI, Ultrassom) e regiões anatômicas (Cérebro, Tórax, Abdômen, Joelho). As fontes incluem MIMIC-CXR, CTRG-Brain, CT-RATE e AMOS-MM.

2. Extração de Relatórios Estruturados

Para alinhar-se com cenários clínicos do mundo real, relatórios de texto livre são transformados em formatos estruturados usando árvores de conhecimento definidas por radiologistas.

• Árvores de Conhecimento: Radiologistas constroem árvores para entidades clínicas (achados e diagnósticos) e um conjunto abrangente de 15 atributos clínicos (presença, localização, distribuição, número, dimensão, densidade, forma, margem, realce, características internas, efeitos secundários, severidade, cronicidade, escore clínico e certeza).
• Processo de Extração: Modelos de Linguagem de Grande Escala (LLMs) extraem informações estruturadas de relatórios brutos em um processo de dois estágios: extração preliminar seguida de refinamento usando as árvores de conhecimento para garantir o alinhamento com os nós predefinidos e eliminar entidades inválidas.

3. Geração de QA

Relatórios estruturados são convertidos em pares de QA usando templates predefinidos. A geração inclui três categorias:

• Base (Nível de folha): Perguntas visando combinações específicas de (entidade, atributo).
• Hierárquica (Nível de ancestral): Perguntas visando conceitos de granularidade mais grossa para considerar a correção parcial (ex: "atrofia cerebral" vs. "atrofia cerebral difusa").
• Negativa: Perguntas sobre entidades ausentes no relatório de referência para testar falsos positivos.
• Controle de Qualidade: Um processo de filtragem de dois estágios usando LLMs remove pares de QA que podem ser respondidos sem contexto ou que possuem baixa precisão quando o relatório de referência é fornecido como contexto. Isso resulta em aproximadamente 660.000 pares de QA de alta qualidade.

4. Avaliação Baseada em QA e QAScore

Durante a avaliação, um relatório gerado serve como contexto para um modelo de LLM juiz responder aos pares de QA filtrados. O desempenho é quantificado usando o QAScore, um métrica agregada definida como a média harmônica de dois componentes:

• $Score_{pos}$: Mede a consistência positiva (precisão em perguntas de base e hierárquicas). Se a presença de uma entidade for perdida, todas as perguntas de atributo associadas a essa entidade são marcadas como incorretas.
• $Score_{neg}$: Mede a esquiva de entidades espúrias, calculado como $exp(-\lambda \cdot FPR_{neg})$, onde $FPR_{neg}$ é a taxa de falsos positivos para perguntas negativas.

Principais Contribuições

1. Framework ReportQA: Um novo framework de RRE baseado em QA que suporta análise quantitativa detalhada de sistemas de RRG ao simular como clínicos interagem com relatórios (usando-os como contexto para consultas diagnósticas).
2. Métrica QAScore: Uma nova métrica que demonstra um maior alinhamento com julgamentos de radiologistas comparado a métricas de NLG e CE existentes.
3. Descoberta de Modos de Falha: O framework revela que os paradigmas atuais de inferência baseados em relatórios lutam com atributos clínicos de granularidade fina e exibem fortes vieses de prior negativo (tendendo a classificar entidades como ausentes mesmo sem evidência de imagem).
4. Liberação de Recursos: Os autores liberam as árvores de conhecimento, relatórios estruturados, pares de QA e o código do pipeline para garantir reprodutibilidade e extensibilidade.

Resultados Experimentais

Os autores conduziram experimentos abrangentes em modelos de Visão-Linguagem (VLMs) de última geração, incluindo APIs proprietárias (GPT-5.4, Gemini, Claude) e modelos de código aberto (Qwen, InternVL, Hulu-Med, CT-CHAT).

• Alinhamento com Radiologistas: No dataset RadEvalX, o QAScore alcançou a maior correlação com erros anotados por humanos (Pearson = 0.4507, Spearman = 0.4612), superando métricas como GREEN, RaTEScore, CheXbert e BLEU.
• Desempenho do Modelo: VLMs proprietários geralmente superaram os modelos de código aberto. O desempenho foi maior em Raios-X de tórax 2D (MIMIC-CXR) do que em datasets de CT 3D, destacando o desafio da compreensão de imagens médicas 3D.
• Dificuldade de Atributo: Os modelos performaram bem em julgamentos de "presença", mas tiveram dificuldades significativas com atributos de granularidade fina como margem, cronicidade e realce.
• Paradigmas de Inferência:
  • Baseado em Relatório vs. Baseado em Pergunta: O ajuste fino supervisionado (SFT) baseado em relatório mostrou ganhos limitados na percepção de entidades de granularidade fina em comparação com a inferência não treinada baseada em perguntas.
  • Análise de Viés: A inferência baseada em relatório exibiu fortes vieses de prior negativo (classificando a maioria das entidades como ausentes sem entrada de imagem). Em contraste, a inferência baseada em perguntas mostrou um viés positivo mais suave.
  • Aterramento Visual: Mesmo sem entrada de imagem, os VLMs alcançaram pontuações não triviais baseadas em priors textuais, sugerindo uma dependência de padrões estatísticos em vez de evidência visual. No entanto, a inferência baseada em perguntas com imagens superou consistentemente a inferência livre de imagem.

Significância e Alegações

O artigo afirma que o ReportQA fornece uma medida mais fiel da utilidade do relatório ao alinhar a avaliação com o uso clínico de relatórios radiológicos como meios de transferência de informação. Os autores postulam que a inferência baseada em perguntas representa uma alternativa mais promissora aos tradicionais sistemas de inferência baseados em relatórios para RRG, pois seus vieses podem ser mitigados através de amostras de treinamento positivas e negativas mistas. O framework destaca que os modelos atuais ainda não dominaram o alinhamento de evidência visual com a geração de texto estruturado, particularmente para atributos clínicos de granularidade fina, identificando isso como uma direção crítica para pesquisas futuras.