Resumo Técnico: ReXrank: Um Leaderboard Público para Geração de Relatórios Radiológicos Impulsionados por IA

Declaração do Problema

Embora modelos impulsionados por IA tenham demonstrado um potencial significativo na automação da geração de relatórios radiológicos para radiografias de tórax, a área carece de um benchmark padronizado para avaliar e comparar objetivamente seu desempenho. Os conjuntos de dados existentes, como o MIMIC-CXR, sofrem com divisões de dados inconsistentes, falta de métricas de avaliação padronizadas e distribuições de dados que falham em testar adequadamente a capacidade de um modelo de se generalizar para ambientes clínicos diversos e não vistos. Essa ausência de um framework unificado dificulta a análise comparativa confiável entre diferentes arquiteturas de modelos e limita a avaliação da robustez clínica.

Metodologia

Para abordar essas lacunas, os autores apresentam o ReXrank, um leaderboard público e um desafio projetado para avaliar a geração de relatórios radiológicos impulsionada por IA. A metodologia é construída sobre um framework de avaliação abrangente envolvendo quatro conjuntos de dados distintos e oito métricas diversas.

Conjuntos de Dados

O ReXrank avalia modelos em uma combinação de dados públicos e privados para garantir a robustez em várias distribuições:

• ReXGradient: Um conjunto de dados de teste privado de larga escala composto por 10.000 estudos de 67 centros médicos dos EUA e 7.004 pacientes. Ele serve como o principal benchmark para avaliar a generalização para ambientes clínicos diversos e do mundo real.
• MIMIC-CXR: A divisão oficial de teste (2.347 estudos) deste grande conjunto de dados público.
• IU-Xray: A divisão oficial de teste (590 estudos) deste conjunto de dados público.
• CheXpert Plus: O conjunto de validação (200 estudos), usado como uma divisão de teste, uma vez que não há um conjunto de teste oficial disponível.

O framework avalia modelos em duas tarefas específicas: gerar apenas a seção de Achados (Findings) e gerar tanto a seção de Achados quanto a de Impressões (Findings and Impressions).

Métricas de Avaliação

O framework utiliza oito métricas para fornecer uma visão multidimensional do desempenho do modelo, variando de similaridade lexical à precisão clínica:

1. BLEU-2: Mede a precisão de n-gramas.
2. BERTScore: Calcula a similaridade de cosseno entre os embeddings BERT dos relatórios gerados e os reais (ground-truth).
3. SembScore: Calcula a similaridade de cosseno entre os vetores indicadores de 14 patologias extraídas pelo CheXbert.
4. RadGraph-F1: Avalia a sobreposição de entidades clínicas e relações extraídas pelo RadGraph.
5. RadCliQ-v1: Uma métrica composta que combina BLEU, BERTScore, SembScore e RadGraph-F1. É usada como a métrica de ranking primária (reportada como seu recíproco, $1/\text{RadCliQ-v1}$, portanto, quanto maior, melhor).
6. RaTEScore: Uma métrica sensível a entidades, robusta contra sinônimos médicos e sensível à negação.
7. GREEN: Uma métrica baseada em LLM que identifica e explica erros clinicamente significativos.
8. FineRadScore: Uma métrica baseada em LLM (usando GPT-4o) que estima o mínimo de correções linha a linha necessárias para transformar um relatório candidato no relatório real.

Modelos Participantes

O leaderboard atualmente apresenta 16 modelos de 10 instituições, incluindo modelos especializados de visão-linguagem (ex: MedVersa, MAIRA-2, RadFM), modelos de fundação ajustados por instrução (ex: CheXagent, GPT-4V) e modelos treinados em conjuntos de dados específicos (ex: VLCI, Cvt2distilgpt2).

Resultados Principais

A avaliação de 16 modelos através dos quatro conjuntos de dados produz várias descobertas principais:

• Desempenho Superior: O MedVersa emerge como o modelo de melhor desempenho, alcançando os melhores escores de $1/\text{RadCliQ-v1}$ no ReXGradient ($1,01 \pm 0,01$ para Achados, $0,98 \pm 0,05$ para Achados+Impressão), MIMIC-CXR ($1,10 \pm 0,02$ para Achados, $0,92 \pm 0,02$ para Achados+Impressão) e IU-Xray ($1,46 \pm 0,03$ para Achados, $1,45 \pm 0,04$ para Achados+Impressão). Ele supera consistentemente o GPT-4V, um modelo de visão-linguagem generalista de última geração, em múltiplas métricas e conjuntos de dados.
• Características dos Conjuntos de Dados:
  • O IU-Xray é identificado como o conjunto de dados menos desafiador, gerando pontuações de desempenho consistentemente altas em todos os modelos, sugerindo que pode carecer da complexidade necessária para uma diferenciação rigorosa.
  • O CheXpert Plus exibe a maior variância e o menor desempenho geral, provavelmente devido à sua distribuição de dados distinta e ao tamanho pequeno de seu conjunto de validação.
  • O ReXGradient demonstra uma variância de desempenho notavelmente baixa entre os modelos, ressaltando sua alta qualidade de dados e utilidade como um benchmark confiável para avaliar a robustez dos modelos.
• Impacto dos Dados de Treinamento: Modelos treinados em múltiplos conjuntos de dados (ex: CheXpertPlus_CheX_MIMIC) tendem a superar aqueles treinados em conjuntos de dados únicos, sugerindo que o treinamento em múltiplos datasets ajuda a reduzir as lacunas de distribuição. Inversamente, os modelos geralmente apresentam melhor desempenho quando avaliados na mesma distribuição vista durante o treinamento (ex: VLCI_IU no IU-Xray vs. VLCI_MIMIC).
• Complexidade da Tarefa: O desempenho varia entre gerar apenas "Achados" versus "Achados + Impressões". Por exemplo, o MedVersa mostrou uma leve degradação ao gerar ambas as seções no ReXGradient (caindo de $1,01 \pm 0,01$ para $0,98 \pm 0,05$), enquanto o CheXpertPlus_CheX_MIMIC mostrou melhoria, potencialmente devido ao uso de modelos especializados separados para cada subtarefa.

Significância e Alegações

O artigo afirma que o ReXrank fornece um framework de avaliação padronizado que permite comparações significativas do desempenho dos modelos e oferece insights cruciais sobre a robustez dos modelos em diversos cenários clínicos. Ao integrar um conjunto de dados privado de larga escala (ReXGradient) com benchmarks públicos e um conjunto de métricas clinicamente relevantes, o ReXrank vai além da simples similaridade de texto para avaliar a precisão clínica e as capacidades de generalização dos sistemas de IA.

Os autores posicionam o ReXrank não apenas como um leaderboard para radiografias de tórax, mas como um framework fundamental destinado a preparar o terreno para a avaliação abrangente de relatórios automatizados em todo o espectro de imagens médicas. A inclusão de intervalos de confiança de 95% nos resultados enfatiza ainda mais o rigor estatístico da avaliação, visando fornecer uma base confiável para pesquisas futuras e adoção clínica.