Resumo Técnico: Além de Pontuações Escalares: Explorando Métricas Baseadas em LLM para Avaliação de Significância Clínica em Relatórios Radiológicos

Declaração do Problema

A avaliação confiável de relatórios radiológicos gerados é crítica porque a omissão de achados críticos ou a caracterização incorreta de observações pode impactar diretamente o cuidado ao paciente. As métricas de avaliação existentes, sejam as métricas léxicas tradicionais (ex: BLEU, ROUGE) ou medidas baseadas em embeddings (ex: BERTScore), reduzem a qualidade do relatório a um único valor escalar. Essa abordagem falha em distinguir entre erros clinicamente significativos (que alteram o diagnóstico ou o tratamento) e variações clinicamente insignificantes (como refraseamento estilístico ou descrições anatômicas sinônimas).

Estudos recentes indicam que mesmo os Grandes Modelos de Linguagem (LLMs) utilizados como avaliadores têm dificuldade em traçar uma fronteira confiável entre essas duas categorias. Embora os LLMs possuam um rico conhecimento médico, eles frequentemente exibem um "viés de discriminação": eles detectam efetivamente erros clínicos reais, mas simultaneamente penalizam excessivamente refraseamentos inofensivos, resultando em alta sensibilidade (Discriminação), mas baixa tolerância a variações benignas (Robustez).

Metodologia

1. Estrutura de Avaliação: ReEvalMed

Os autores utilizam o benchmark ReEvalMed, um conjunto de dados de meta-avaliação composto por 400 pares de relatórios derivados do MIMIC-CXR. O benchmark é estruturado em torno de duas dimensões complementares:

• Discriminação (D): A capacidade de detectar erros que afetam materialmente as decisões clínicas (ex: mudar uma lesão de benigna para maligna).
• Robustez (R): A capacidade de permanecer não penalizado por variações clinicamente inofensivas (ex: palavras sinônimas).

A avaliação trata a tarefa como um problema de classificação, em vez de uma tarefa de pontuação escalar. O objetivo é rotular corretamente as discrepâncias como "clinicamente significativas" ou "clinicamente insignificantes".

2. Paradigmas de LLM-como-Avaliador

O estudo investiga duas estratégias de inferência para avaliadores baseados em LLM:

• Passagem Única (One-Pass): O modelo recebe o relatório de referência (REF) e o alvo (TGT) em um único prompt e gera diretamente um objeto JSON estruturado contendo spans de erro, aspectos e níveis de severidade (Crítica, Significativa, Insignificante).
• Passagem Dupla (Two-Pass): A inferência é desacoplada em duas etapas:
  1. Detecção de Span: Identificação de todas as discrepâncias entre REF e TGT.
  2. Julgamento de Severidade: Atribuição de um rótulo de severidade a cada span detectado com base em critérios específicos.

3. Síntese de Dados

Para abordar a falta de dados supervisionados para a fronteira de significância clínica, os autores sintetizaram um conjunto de dados de 4.000 amostras de pares de relatórios radiológicos.

• Processo: Utilizando amostragem estratificada do MIMIC-CXR, eles parearam relatórios de referência com injeções de erros controladas.
• Anotação: Os erros foram categorizados em 12 aspectos (ex: Localização, Severidade, Negação) e três tipos (Omissão, Fabricação, Inexatidão).
• Equilíbrio: O conjunto de dados contém uma divisão igual de amostras de Discriminação (erros significativos) e Robustez (variações insignificantes).
• Controle de Qualidade: Um clínico qualificado revisou 400 pares amostrados aleatoriamente, alcançando uma taxa de aprovação de 93%.

4. Treinamento de Métricas

Os autores treinaram métricas leves e interpretáveis nos dados sintetizados usando dois modelos base: Qwen3-8B e MedGemma-4B.

• Ajuste Fino Supervisionado (SFT): Ensinou os modelos a produzir saídas estruturadas (JSON) e realizar detecção básica de erros.
• Aprendizado por Reforço (RL): Especificamente, a Otimização de Preferência Direta (DPO) foi aplicada para otimizar explicitamente a fronteira de decisão entre erros significativos e insignificantes. Pares de preferência foram construídos tratando o rótulo de severidade da verdade fundamental (ground-truth) como a resposta "escolhida" e um rótulo invertido como a resposta "rejeitada".

Principais Resultados

Desempenho de Linha de Base (Baseline)

• Métricas baseadas em pontuação (Score-based): Métricas tradicionais (BLEU, BERTScore, RadGraph) tiveram um desempenho ruim, com pontuações de acurácia maximin geralmente abaixo de 55% em ambas as dimensões D e R, confirmando sua incapacidade de separar erros significativos de ruído.
• LLMs-como-Avaliadores (Zero-shot): A maioria dos LLMs (incluindo modelos proprietários como GPT-5.1 e modelos de código aberto como Qwen3-Max) alcançou alta Discriminação (frequentemente >90%), mas uma Robustez muito baixa (frequentemente <60%). Isso confirmou um amplo viés de discriminação.
• Dois Passos vs. Um Passo: Mudar para uma estratégia de inferência de dois passos não melhorou consistentemente o desempenho geral. Em vez disso, redistribuiu erros; para alguns modelos, melhorou a Robustez às custas da Discriminação, e para outros, exacerbou o desequilíbrio.

Desempenho das Métricas Treinadas

As métricas leves treinadas demonstraram melhorias significativas:

• Qwen3-8B (Two-Pass): Alcançou 78,5% de Discriminação e 70,5% de Robustez (Gap: 8,0).
• MedGemma-4B (One-Pass): Alcançou 75,5% de Discriminação e 80,0% de Robustez (Gap: 4,5).
• Comparação: Estes resultados superaram LLMs médicos de escala 32B (ex: LingShu-32B, Hulu-Med-32B) e permaneceram competitivos com modelos proprietários como Claude Sonnet 4.5, apesar de utilizarem modelos com significativamente menos parâmetros.

Análise dos Estágios de Treinamento

• O SFT ensinou com sucesso o formato de saída e melhorou a detecção básica, mas não resolveu totalmente o desequilíbrio D-R.
• O RL (DPO) foi crucial para estreitar a lacuna entre Discriminação e Robustez, calibrando efetivamente a sensibilidade do modelo à fronteira de significância clínica.

Significância e Alegações

O artigo reivindica três contribuições principais:

1. Análise Sistemática de Viés: Revela um consistente "viés de discriminação" nos atuais avaliadores de LLM, onde os modelos priorizam a detecção de erros sobre a tolerância a variações inofensivas, minando sua confiabilidade como indicadores clínicos.
2. Síntese de Dados Clinicamente Fundamentada: Introduz um conjunto de dados equilibrado de 4k amostras anotado com especificações de erro granulares, verificadas por clínicos, para supervisionar explicitamente a fronteira entre variações significativas e insignificantes.
3. Métricas Interpretáveis e Leves: Demonstra que treinar pequenos modelos de código aberto (4B–8B parâmetros) nesses dados sintetizados via SFT e RL pode produzir avaliadores que superam modelos médicos de 32B e rivalizam com sistemas proprietários.

Implicações Práticas:
Os autores sugerem que as métricas treinadas de passagem única (one-pass) são a escolha prática para implementações sensíveis ao custo, oferecendo um equilíbrio favorável entre desempenho e eficiência. A configuração de dois passos (two-pass) é reservada para cenários onde o equilíbrio entre discriminação e robustez é crítico, embora não elimine erros, mas sim os redistribui.

Limitações:
Os autores observam modestamente que a revisão clínica em escala total do conjunto de dados sintetizado não foi viável devido ao custo, baseando-se apenas em uma verificação aleatória de 400 amostras. Além disso, o algoritmo de treinamento (DPO) foi escolhido pela simplicidade e reprodutibilidade, em vez de ser um método de otimização inovador, e a generalização dos modelos para ambientes clínicos não americanos ou outras modalidades de imagem permanece uma questão em aberto.