CT-FineBench: A Diagnostic Fidelity Benchmark for Fine-Grained Evaluation of CT Report Generation

1. Declaração do Problema

A geração automática de laudos de Tomografia Computadorizada (TC) é crítica para a eficiência clínica, mas sua adoção é prejudicada pela falta de métricas de avaliação robustas. Os métodos de avaliação atuais sofrem com três limitações principais:

• Métricas de Granularidade Grossa: Métricas linguísticas tradicionais (BLEU, ROUGE) e métricas baseadas em embeddings (BERTScore) dependem de sobreposição lexical ou similaridade semântica. Elas falham em detectar erros clinicamente críticos onde um laudo é linguisticamente similar, mas factualmente incorreto (por exemplo, trocar "pulmão esquerdo" por "pulmão direito").
• Granularidade de Entidade Limitada: Métricas médicas específicas existentes (RadGraph, RaTEScore) focam em entidades de granularidade grossa (achados e estruturas anatômicas) e suas relações. Frequentemente, elas perdem atributos de granularidade fina essenciais para o diagnóstico, como tamanho da lesão, densidade, margem e localização específica.
• Juízes LLM de Caixa Preta: Abordagens que usam Modelos de Linguagem Grandes (LLMs) como juízes holísticos carecem de transparência, verificabilidade e priores médicos consistentes, levando a avaliações imprevisíveis.

O desafio central é a necessidade de um framework de avaliação que vá além da correspondência superficial de texto para verificar a consistência factual de granularidade fina no nível dos atributos.

2. Metodologia: CT-FineBench

Os autores propõem o CT-FineBench, um benchmark que reformula a avaliação de laudos como uma tarefa de Pergunta e Resposta (QA) fundamentada em conhecimento clínico. O framework opera em duas fases:

A. Construção do Benchmark Offline ($\Phi_{Build}$)

Esta fase transforma laudos de referência não estruturados em um dataset de QA estruturado e verificável ($D_{QA}$).

1. Definição de Atributos:
   • Usando Reconhecimento de Entidades Nomeadas (NER) e LLMs em laudos de referência, o sistema extrai tripletas de (achado, atributo, conteúdo).
   • Anotadores humanos, guiados por conhecimento médico, refinam essas tripletas em um esquema hierárquico. Eles removem atributos irrelevantes, dividem termos gerais, fundem sinônimos e definem atributos clínicos específicos (por exemplo, para um "nódulo pulmonar": Localização, Tamanho, Densidade, Margem).
2. Construção de Pares QA:
   • O sistema gera perguntas específicas que investigam esses atributos (por exemplo: "Qual é o tamanho do nódulo pulmonar?") e extrai as respostas verdadeiras dos laudos de referência.
   • O dataset inclui tanto perguntas de granularidade grossa (existência de achados) quanto perguntas de granularidade fina (atributos específicos).
   • Datasets Utilizados: Construído sobre CT-RATE (TCs de tórax) e Merlin (TCs abdominais), resultando em mais de 44.000 pares QA.

B. Protocolo de Avaliação Online ($\Phi_{Eval}$)

Para avaliar um laudo gerado por máquina ($\hat{x}$):

1. Extração de Resposta: Para cada pergunta em $D_{QA}$ correspondente ao laudo de referência, um módulo de QA (por exemplo, Qwen3-Max) extrai a resposta prevista ($\hat{a}_i$) do texto gerado. Se o atributo estiver ausente, ele retorna [NULL].
2. Comparação de Resposta: A resposta prevista é comparada com a verdade fundamental ($a_i$) usando uma função de pontuação sensível ao tipo:
   • Categorial/Localização: Pontuação graduada (1.0 para correspondência exata/sinônimo, 0.5 para parcial, 0 para incorreta).
   • Numérico (Tamanho/Volume): Pontuação baseada em erro relativo (1.0 para erro <10%, 0.5 para 10-30%, 0 para >30%).
   • Omissão: Se o modelo falhar em mencionar um achado presente, recebe 0.
3. Pontuação Final: A métrica final é a pontuação média em todos os pares QA.

3. Contribuições Principais

• Mudança de Paradigma: Move a avaliação de similaridade de texto holística ou correspondência de entidades grosseiras para verificação de fatos de granularidade fina, no nível dos atributos.
• Benchmark Estruturado: Introduz um dataset de QA meticulosamente construído cobrindo diversos atributos clínicos (localização, tamanho, margem, densidade) em TCs de tórax e abdômen.
• Interpretabilidade: Diferentemente de juízes LLM de caixa preta, o CT-FineBench fornece uma lista de verificação transparente de erros clínicos específicos, tornando o processo de avaliação explicável.
• Recurso de Treinamento: Libera o CT-FineData, um corpus de treinamento em larga escala de pares QA de granularidade fina derivados dos datasets fonte, destinado a melhorar o treinamento de modelos.

4. Resultados Experimentais

Os autores avaliaram múltiplos modelos de última geração (RadFM, CT-Chat, Merlin, Hulu-Med) contra métricas existentes (BLEU, ROUGE, BERTScore, RadGraph, RaTEScore, GREEN).

• Análise de Sensibilidade:
  • Laudos Adversariais (Factualmente Incorretos): O CT-FineBench atribuiu corretamente pontuações baixas a laudos com erros sutis de atributos (por exemplo, tamanho/localização errados) que outras métricas ignoraram.
  • Laudos Parafraseados (Linguisticamente Diversos): O CT-FineBench manteve pontuações altas para laudos que eram factualmente corretos, mas formulados de maneira diferente, enquanto métricas lexicais (BLEU/ROUGE) caíram significativamente.
• Correlação com Especialistas Humanos:
  • O CT-FineBench alcançou a maior correlação com julgamentos de especialistas humanos ($\tau$ de Pearson = 0,622 no CT-RATE), superando significativamente a próxima melhor métrica (RaTEScore em 0,521).
  • Isso indica que o benchmark imita de perto o processo cognitivo de um radiologista verificando uma lista de verificação de fatos.
• Desempenho do Modelo: Mesmo modelos de última geração obtiveram pontuações relativamente baixas no CT-FineBench, revelando uma lacuna significativa nas capacidades atuais em relação à precisão factual de granularidade fina.
• Eficiência: Estudos de ablação mostraram que modelos menores (por exemplo, Qwen3-32b) poderiam realizar a avaliação com precisão quase idêntica ao maior Qwen3-Max, tornando o benchmark prático para uso mais amplo.

5. Significado

• Confiabilidade Clínica: O CT-FineBench aborda a lacuna crítica de segurança em laudos médicos gerados por IA, garantindo que detalhes diagnósticos específicos (que determinam o tratamento) sejam precisos, não apenas o texto geral.
• Padronização: Fornece um padrão rigoroso e interpretável para comparar modelos, afastando o campo de métricas superficiais que mascaram erros clínicos.
• Direção Futura: O benchmark destaca que os modelos atuais lutam com detalhes de granularidade fina, orientando pesquisas futuras para o desenvolvimento de sistemas que não sejam apenas fluentes, mas factualmente confiáveis para implantação clínica.

6. Limitações

• Orientado a Recall: Como os pares QA são derivados exclusivamente de laudos de referência, a métrica se destaca na detecção de omissões, mas não penaliza alucinações (achados fabricados que não estão na referência). Deve ser usada em conjunto com métricas focadas em precisão.
• Restrições de Escopo: O esquema de atributos é limitado a achados pré-rotulados nos datasets fonte e pode não cobrir todos os achados não anotados possíveis em laudos do mundo real.
• Exploração de Treinamento: Embora o CT-FineData seja fornecido, o artigo não explorou extensivamente seu impacto na melhoria do treinamento de modelos para precisão de granularidade fina.