Large Language Model-Assisted Cleaning of Report-Derived Labels in a Large-Scale Chest CT Dataset

Resumo Técnico: Limpeza de Rótulos Derivados de Relatórios em um Conjunto de Dados de TC de Tórax em Larga Escala Assistida por Grandes Modelos de Linguagem

Definição do Problema
Conjuntos de dados públicos de imagens médicas são fundamentais para o benchmarking de modelos de inteligência artificial e para o treinamento de novos algoritmos. No entanto, a qualidade dos rótulos estruturados nesses conjuntos de dados é frequentemente comprometida por estilos de relatório, negação, incerteza, definições ambíguas e erros de extração automatizada. Mesmo em conjuntos de dados cuidadosamente construídos como o CT-RATE (um conjunto de dados de TC de tórax em larga escala com imagens volumétricas, relatórios e rótulos de múltiplas anormalidades), pode ocorrer discordância entre o rótulo e o relatório. Como esses conjuntos de dados são reutilizados repetidamente para benchmarking, tais erros podem se propagar para a avaliação e comparação de modelos, potencialmente enviesando as estimativas de desempenho. Há uma necessidade de métodos escaláveis para identificar e corrigir essas inconsistências sem depender exclusivamente de revisão manual laboriosa.

Metodologia
Os autores desenvolveram uma estrutura assistida por LLM para avaliar e limpar os rótulos derivados de relatórios no conjunto de dados CT-RATE. O estudo utilizou um conjunto de dados retrospectivo de 24.446 relatórios radiológicos únicos (após deduplicação) pareados com 18 categorias de anormalidades predefinidas.

1. Extração por LLM: Os relatórios radiológicos (especificamente as seções de "achados" e "impressão") foram processados utilizando o GPT-5.4 via Microsoft Azure AI Foundry. O modelo foi instruído a gerar rótulos binários (presente/ausente) para as 18 categorias baseando-se estritamente no texto, tratando achados incertos (ex: "possível") como presentes. As saídas foram restringidas a um formato JSON estruturado.
2. Comparação e Identificação de Discordância: Os rótulos derivados pelo GPT-5.4 foram comparados com os rótulos originais do CT-RATE ao nível da instância. Os casos discordantes foram categorizados como rótulo existente positivo/GPT-negativo ou rótulo existente negativo/GPT-positivo.
3. Validação Multi-Modelo: Para avaliar a confiabilidade, os mesmos relatórios foram processados usando o GPT-5.4 mini e o DeepSeek V3.2. Uma estratégia de votação majoritária multi-LLM foi empregada, onde um rótulo era atribuído se pelo menos dois dos três modelos concordassem.
4. Adjudicação por Radiologista: Três conjuntos de revisão foram estabelecidos para validação manual:
   • Um amostra aleatória de 100 relatórios (1.800 instâncias de rótulos) anotada por um médico residente de radiologia e finalizada por um radiologista certificado para servir como um padrão de referência.
   • Um conjunto de discordância geral de 100 instâncias (50 positivo/negativo e 50 negativo/positivo) excluindo linfadenopatia.
   • Um conjunto de discordância direcionado focando em "linfadenopatia", a única categoria com um Cohen's κ ≤ 0,80, amostrando até 50 instâncias discordantes em cada direção.
5. Análise Estatística: A concordância foi medida usando o coeficiente de Cohen's κ e métricas de acurácia. O desempenho contra o conjunto de rótulos de referência anotados pelo radiologista foi avaliado por meio de sensibilidade, especificidade, VPP, VPN, pontuação F1 e Cohen's κ, calculados via média macro e micro de rótulos.

Principais Resultados

• Concordância Geral: Os rótulos derivados pelo GPT-5.4 mostraram 96,4% de concordância geral com os rótulos originais do CT-RATE, com um Cohen's κ de 0,884. A concordância variou significamente por categoria, indo de 99,6% para hérnia de hiato a 79,4% para linfadenopatia.
• Discrepância de Linfadenopatia: A linfadenopatia exibiu a menor concordância (κ = 0,309). Na revisão direcionada de 99 instâncias de discordância de linfadenopatia, a adjudicação do radiologista apoiou o rótulo derivado pelo GPT-5.4 em 91,9% dos casos, sugerindo que os rótulos originais do CT-RATE eram frequentemente incorretos para esta categoria.
• Discordância Geral: Na revisão de discordância geral (excluindo linfadenopatia), os radiologistas apoiaram o rótulo derivado pelo GPT-5.4 em 74,2% das instâncias adjudicáveis, comparado a 25,8% apoiando o rótulo original do CT-RATE.
• Desempenho do Padrão de Referência: Contra os rótulos de referência anotados pelo radiologista, a abordagem de votação majoritária multi-LLM alcançou o maior desempenho, com uma pontuação F1 de média macro de rótulos de 96,0% e Cohen's κ de 0,951. Isso superou tanto os rótulos originais do CT-RATE (F1: 93,8%, κ: 0,923) quanto o modelo único GPT-5.4 (F1: 95,1%, κ: 0,940). Notavelmente, a votação majoritária alcançou uma concordância "quase perfeita" (κ > 0,80) em todas as 18 categorias.

Significância e Alegações
O artigo afirma que a limpeza de rótulos assistida por LLM é um método escalável e eficaz para identificar discordâncias clinicamente significativas entre rótulos e relatórios em grandes conjuntos de dados de imagens públicas. O estudo demonstra que:

1. Detecção de Discordância: LLMs podem identificar erros em rótulos de conjuntos de dados existentes que podem não ser aparentes apenas por métricas de concordância agregadas.
2. Melhoria de Qualidade: A votação majoritária multi-modelo pode refinar os rótulos derivados de relatórios para alcançar maior confiabilidade do que a extração de um modelo único ou dos rótulos originais do conjunto de dados.
3. Manutenção de Conjuntos de Dados: Esta abordagem serve como uma ferramenta prática para a manutenção de conjuntos de dados, ajudando a priorizar categorias com definições ambíguas (como linfadenopatia) para revisão especializada e refinamento de definição.
4. Utilidade Futura: Os autores pretendem lançar o conjunto de dados limpo e o código associado para apoiar pesquisas futuras, visando melhorar a confiabilidade dos benchmarks usados para o desenvolvimento e avaliação de modelos de IA.

Os autores mantêm uma postura modesta, reconhecendo que seus rótulos e adjudicações derivados de LLM são baseados no texto do relatório e não na verdade fundamental (ground truth) ao nível da imagem, e que os conjuntos de revisão de discordância foram enriquecidos para discordância, o que significa que não representam estimativas diretas da precisão geral do conjunto de dados. Eles enfatizam a necessidade de verificação humana em subconjuntos de validação para mitigar potenciais vieses introduzidos pelos rótulos gerados por LLM.