Can Reasoning LLMs Enhance Clinical Document Classification?

Resumo Técnico: Podem os LLMs de Raciocínio Melhorar a Classificação de Documentos Clínicos?

Definição do Problema
A classificação de documentos clínicos é um processo crítico, porém desafiador, na área da saúde, exigindo a conversão de narrativas médicas não estruturadas em diagnósticos padronizados da CID-10. Esta tarefa é dificultada pela complexidade da linguagem médica, incluindo terminologia específica do domínio, abreviações e variados estilos de escrita institucional. Além disso, regulamentações rigorosas de privacidade e a escassez de conjuntos de dados anotados de alta qualidade impedem o desenvolvimento de modelos robustos. Embora os Grandes Modelos de Linguagem (LLMs) tenham surgido como ferramentas transformadoras para a compreensão de linguagem natural, existe uma lacuna de pesquisa significativa quanto à quantificação sistemática de se os LLMs com reforço de raciocínio oferecem benefícios tangíveis sobre os LLMs padrão sem raciocínio no contexto específico de codificação clínica. Permanece incerto se a complexidade computacional adicional das arquiteturas de raciocínio se traduz em melhoria na precisão e consistência da codificação diagnóstica.

Metodologia
O estudo avaliou oito LLMs — quatro modelos de raciocínio (Qwen QWQ, Deepseek Reasoner, GPT o3 Mini, Gemini 2.0 Flash Thinking) e quatro modelos sem raciocínio (Llama 3.3, GPT 4o Mini, Gemini 2.0 Flash, Deepseek Chat) — em um subconjunto equilibrado do dataset MIMIC-IV.

• Construção do Dataset: O dataset compreendeu 3.000 sumários de alta hospitalar, distribuídos uniformemente entre os 10 principais códigos CID-10 (derivados tanto de diagnósticos primários quanto secundários). Para cada código, foram selecionadas 150 amostras positivas (diagnóstico confirmado) e 150 amostras negativas (ausência de diagnóstico) para garantir o equilíbrio das classes.
• Pré-processamento: As narrativas clínicas não estruturadas foram processadas utilizando o cTAKES (sistema de análise de texto clínico e extração de conhecimento). Esta ferramenta tokenizou o texto em códigos SNOMED estruturados, capturando nuances contextuais como afirmação ou negação, reduzindo assim o comprimento do documento e melhorando a eficiência do processamento.
• Protocolo Experimental: Cada modelo foi incumbido de classificar os 3.000 sumários tokenizados em "Sim" ou "Não" para códigos CID-10 específicos. Para garantir a robustez, cada modelo foi executado em três execuções experimentais independentes. As previsões finais foram determinadas via votação majoritária ao longo das três execuções.
• Métricas de Avaliação: O desempenho foi avaliado utilizando Acurácia, F1 Score e Consistência (a proporção de sumários que receberam classificações idênticas nas três execuções).

Principais Contribuições

1. Análise Comparativa de Raciocínio vs. Não-Raciocínio: O estudo fornece uma comparação empírica direta entre arquiteturas de LLM de raciocínio e sem raciocínio em um contexto de codificação clínica, abordando uma lacuna na literatura sobre a utilidade específica das capacidades de raciocínio para a classificação CID-10.
2. Trade-off entre Consistência e Acurácia: A pesquisa identifica um trade-off distinto onde os modelos de raciocínio alcançam maior acurácia, mas exibem menor estabilidade, enquanto os modelos sem raciocínio demonstram consistência superior.
3. Mapeamento Granular de Desempenho: O estudo categoriza os códigos CID-10 com base no desempenho dos modelos, distinguindo entre condições bem definidas (onde os modelos performam bem) e categorias diagnósticas abstratas (onde o desempenho varia significativamente).

Resultos

• Desempenho Geral: Os modelos de raciocínio superaram os modelos sem raciocínio em acurácia de classificação e F1 scores. Os modelos de raciocínio atingiram uma acurácia média de 71% e um F1 score de 67%, comparados a 68% de acurácia e 60% de F1 para os modelos sem raciocínio.
• Melhores Desempenhos: O Gemini 2.0 Flash Thinking (raciocínio) alcançou a maior acurácia (75%) e F1 score (76%). Por outro lado, o GPT 4o Mini (sem raciocínio) registrou o menor desempenho (64% de acurácia, 47% de F1).
• Consistência: Os modelos sem raciocínio demonstraram maior estabilidade, com uma consistência média de 91%, comparada a 84% para os modelos de raciocínio. Modelos como GPT o3 Mini e Deepseek Chat mostraram alta consistência (95%), enquanto modelos de raciocínio como Qwen QWQ e Gemini 2.0 Flash Thinking mostraram menor consistência (78%).
• Variações por Código:
  • Condições bem definidas (ex: Sepse/A41, Infarto do Miocárdio/I21): Todos os modelos mostraram forte consistência e F1 scores.
  • Desempenho Variável (ex: E78, I13): A consistência permaneceu alta, mas os F1 scores variaram amplamente entre os modelos.
  • Categorias Abstratas (ex: Z79, Z87): Tanto a consistência quanto os F1 scores flutuaram significativamente. Notavelmente, alguns modelos (ex: GPT o3 Mini) atingiram 100% de consistência, mas 0% de F1, indicando que classificaram consistentemente todos os registros como negativos.

Significância e Alegações
O artigo alega que, embora os LLMs de raciocínio ofereçam acurácia de classificação e F1 scores superiores — particularmente em casos clínicos complexos — eles introduzem maior variabilidade nos resultados em comparação aos modelos sem raciocínio, que são mais estáveis. Os autores sugerem que a abordagem ideal para a codificação clínica automatizada pode ser uma estratégia híbrida que aproveite a alta acurácia dos modelos de raciocínio junto com a confiabilidade dos modelos sem raciocínio.

O estudo conclui que as capacidades de raciocínio aprimoram a habilidade de capturar relações clínicas complexas, mas não garantem estabilidade. Portanto, a implantação futura em ambientes de saúde exige o equilíbrio entre acurácia e confiabilidade. Os autores propõem que trabalhos futuros devem focar em classificação multirrótulo, ajuste fino (fine-tuning) específico de domínio e modelagem de ensemble para aumentar ainda mais o desempenho e a generalização em aplicações do mundo real.