FMI@SU ToxHabits: Evaluating LLMs Performance on Toxic Habit Extraction in Spanish Clinical Texts

1. Problema e Contexto

O artigo aborda o desafio de extrair informações estruturadas de textos clínicos não estruturados, especificamente focando na Reconhecimento de Entidades Nomeadas (NER) de hábitos tóxicos (uso e abuso de substâncias) em textos clínicos em espanhol.

• Desafio: Cerca de 80% dos dados clínicos existem em formato não estruturado, dificultando a análise automática. A mineração de registros de saúde eletrônicos para identificar padrões de uso de drogas é crucial para pesquisas clínicas e terapias futuras.
• Tarefa Específica: Participação na tarefa compartilhada ToxHabits (BioCreative IX), focada no Subtask 1: detectar menções de uso/abuso de substâncias em relatórios de casos clínicos espanhóis e classificá-las em quatro categorias: Tabaco, Álcool, Cannabis e Drogas.

2. Metodologia

A equipe do FMI@SU (Universidade de Sofia) desenvolveu uma abordagem baseada em Modelos de Linguagem de Grande Escala (LLMs), explorando técnicas de aprendizado in-contexto.

• Modelo Principal: O modelo GPT-4.1 (implantação privada via Azure OpenAI) mostrou o melhor desempenho, superando outras versões (GPT-4o, GPT-4.5 preview) e modelos supervisionados tradicionais.
• Estratégia de Prompting:
  • Few-Shot Learning: O método mais eficaz foi o few-shot prompting, onde 5 exemplos aleatórios do conjunto de treinamento foram incluídos no prompt para guiar o modelo. O uso de 3 exemplos foi inferior, e 7 não trouxe melhoria significativa em relação a 5, mas aumentou o custo de tokens.
  • Estrutura do Prompt: O texto do relatório de caso foi dividido em seções (baseado em quebras de linha) para reduzir o tamanho da entrada e melhorar a precisão. O prompt solicitava a extração estruturada de frases contendo hábitos tóxicos.
  • Otimização: Foram utilizados o framework DsPy para otimização de prompts (usando o otimizador MIPROv2) e tentativa de otimização manual. A otimização manual, embora tenha exigido limites de tokens maiores (até 16.000), resultou em ganhos marginais de precisão e F1.
• Pós-processamento:
  • As faixas de menção (spans) foram recuperadas buscando as frases extraídas no texto original.
  • Em caso de sobreposição de menções, foi selecionada a faixa mais curta, pois as anotações no conjunto de treinamento tendiam a ser mais concisas.
  • Foi tentada uma combinação com uma baseline baseada em dicionário, mas a estratégia de fusão reduziu o desempenho geral.

3. Contribuições Chave

• Avaliação Comparativa de LLMs: Demonstração empírica de que o GPT-4.1 com few-shot prompting supera abordagens zero-shot e modelos BERT supervisionados (como o Spanish Clinical RoBERTa) em tarefas de NER em espanhol, embora com uma margem menor em métricas absolutas de F1.
• Análise de Erros de Fronteira: Identificação de que o principal erro dos LLMs não é a classificação da entidade, mas a delimitação precisa dos limites (start-end indices). Os modelos tendem a incluir contexto extra (como quantidades, frequência ou negações) na entidade extraída.
• Métricas de Sobreposição: Introdução de uma avaliação além do F1 padrão, medindo a proporção de entidades "gold" contidas completamente nas previsões (GC) e com o tipo correto (GCT), revelando que os LLMs capturam a essência da entidade com alta frequência, mesmo que os limites exatos não coincidam.

4. Resultados

Os resultados foram avaliados no conjunto de teste (300 documentos) e validação (300 documentos):

• Desempenho no Teste: O melhor modelo (GPT-4.1 Few-Shot) alcançou um F1-score de 0.65 (Precisão: 0.59, Recall: 0.72).
• Comparação com Baselines:
  • O modelo Spanish Clinical RoBERTa (supervisionado) obteve um F1 de 0.79 no conjunto de desenvolvimento, superando o LLM em precisão absoluta.
  • A Baseline de Dicionário teve o melhor Recall (0.87 no teste), mas baixa precisão.
  • A combinação de Dicionário + LLM resultou em pior desempenho, indicando que a fusão simples não foi eficaz.
• Métricas de Sobreposição (Dev Set): O modelo GPT-4.1 Few-Shot mostrou que em ~78% dos casos, a entidade correta estava contida dentro da previsão do modelo (GC), indicando que o modelo "acerta" o conceito, mas falha na precisão da extensão do texto.
• Erros Comuns:
  • Inclusão de negações (ex: prever "não fumador" em vez de "fumador").
  • Inclusão de atributos (ex: prever "consumo abusivo de álcool" em vez de apenas "álcool").
  • Dificuldade em identificar palavras genéricas que referenciam o hábito (ex: "consumidores", "tóxicos") sem contexto explícito.

5. Significado e Conclusão

O estudo conclui que, embora os modelos LLMs baseados em in-context learning ainda não superem os modelos BERT finamente ajustados em tarefas de NER clínica em espanhol em termos de métricas estritas (F1), eles representam uma direção promissora, especialmente para cenários multilíngues onde dados de treinamento rotulados são escassos.

• Vantagens dos LLMs: Capacidade de lidar com múltiplos idiomas e identificar entidades com poucos exemplos (few-shot), sem necessidade de treinamento pesado.
• Futuro: O trabalho sugere que o foco deve ser no refinamento dos limites das entidades (pós-processamento) e na seleção de exemplos semanticamente similares (kNN few-shot) para melhorar o desempenho. A capacidade dos LLMs de extrair triggers e classificar atributos simultaneamente também é apontada como uma vantagem para simplificar pipelines complexos.

Em resumo, o artigo valida a viabilidade de usar LLMs de ponta para extração de informações clínicas em espanhol, destacando a necessidade de técnicas de pós-processamento para corrigir a precisão das fronteiras das entidades.