Large Language Models for Biomedical Article Classification

Título: Modelos de Linguagem de Grande Escala para Classificação de Artigos Biomédicos

Autores: Jakub Proboszcz e Paweł Cichosz (Instituto de Ciência da Computação, Universidade de Tecnologia de Varsóvia, Polônia).

---

1. Problema e Motivação

A classificação de texto é uma tarefa fundamental em Processamento de Linguagem Natural (PLN), mas métodos convencionais de aprendizado de máquina exigem grandes conjuntos de dados rotulados para treinamento. Em domínios especializados, como a revisão sistemática de literatura biomédica, a obtenção de dados rotulados é cara e demorada, pois depende de anotação humana por especialistas.

O objetivo deste trabalho é investigar a utilidade de Modelos de Linguagem de Grande Escala (LLMs) como classificadores de texto para artigos biomédicos, especificamente para decidir sobre a inclusão ou exclusão de artigos em revisões sistemáticas. O estudo foca em cenários onde os dados rotulados são escassos (zero-shot e few-shot), explorando se os LLMs podem aproveitar seu conhecimento pré-treinado para superar ou igualar classificadores tradicionais sem necessidade de fine-tuning massivo.

2. Metodologia

Dados

O estudo utilizou o conjunto de dados Drug Class Review (DCR), contendo 15 tarefas de classificação binária relacionadas a diferentes grupos de medicamentos (ex: Inibidores da ECA, Opioides, Estatinas).

• Entrada: Resumos de artigos do PubMed.
• Saída: Decisão de inclusão ou exclusão (baseada em critérios de qualidade e relevância).
• Características: Os conjuntos de dados apresentam desequilíbrio de classes severo (a classe negativa é majoritária) e fronteiras de classe vagas.

Modelos Avaliados

Foram testados seis LLMs:

• Open Source: Llama 3.1 (8B e 70B), Mistral 7B v0.3, Gemma 2 9B.
• Closed Source (API): GPT-4.1 mini e GPT-4.1 nano.
• Baselines Convencionais: Naive Bayes, Random Forest (com e sem ajuste de hiperparâmetros) e modelos Transformer fine-tuned (DeBERTa e SciDeBERTa-v2).

Variáveis Experimentais

Os autores realizaram uma investigação sistemática variando:

1. Prompts: Zero-shot vs. Few-shot (1 a 4 exemplos). Variação de complexidade (simples, médio, complexo) e estrutura (incluindo perguntas diretas no user message).
2. Seleção de Exemplos (Few-shot): Seleção aleatória vs. baseada em similaridade semântica (usando embeddings de modelos como all-MiniLM-L6-v2, all-distilroberta-v1, all-mpnet-base-v2) e rebalanceamento de classes.
3. Processamento de Saída:
   • Texto direto (palavra-chave).
   • Formato JSON.
   • Pontuação numérica solicitada ao modelo.
   • Probabilidades de Tokens: Cálculo de probabilidade da classe positiva baseado na distribuição de probabilidade do primeiro token gerado (método inovador neste contexto).
4. Técnicas Avançadas: Chain of Thought (CoT), Tree of Thoughts (ToT) e Chunking (divisão do texto em fragmentos).

Avaliação

O desempenho foi medido usando validação cruzada estratificada de 5 dobras. As métricas principais foram:

• Precisão, Recall, F1-score, MCC (Coeficiente de Correlação de Matthews).
• AUPRC (Área sob a Curva Precisão-Recall): Métrica crucial para dados desequilibrados e para avaliar a qualidade das probabilidades de previsão.

---

3. Principais Contribuições

1. Investigação Abrangente de Processamento de Saída: Diferente de trabalhos anteriores que focam apenas na saída textual, este estudo compara métodos para extrair probabilidades de classe diretamente dos LLMs. A descoberta chave é que calcular probabilidades baseadas nos tokens de saída (em vez de pedir ao modelo para gerar um número) resulta nas melhores estimativas de confiança.
2. Análise de Seleção de Exemplos: Comparação sistemática de métodos de seleção para few-shot learning, demonstrando que a similaridade semântica supera a seleção aleatória, mas o rebalanceamento artificial das classes nos exemplos não trouxe benefícios.
3. Benchmarking em Domínio Biomédico: Avaliação rigorosa em 15 tarefas reais de revisão sistemática, comparando LLMs (zero-shot e few-shot) com classificadores tradicionais e modelos Transformer fine-tuned.
4. Avaliação de Técnicas Avançadas: Teste de Chain of Thought, Tree of Thoughts e Chunking, concluindo que, para esta tarefa específica, essas técnicas não justificam o custo computacional adicional.

---

4. Resultados Chave

• Desempenho Geral:
  • O Zero-shot obteve uma AUPRC média de ~0.40.
  • O Few-shot (com poucos exemplos) elevou a AUPRC média para ~0.50.
  • Esses resultados se aproximam significativamente dos classificadores convencionais (Naive Bayes: 0.50, Random Forest ajustado: 0.55) e do SciDeBERTa-v2 (0.53), embora, em média, os classificadores tradicionais ainda superem ligeiramente os LLMs na maioria dos conjuntos de dados.
• Método de Saída: O uso de probabilidades de tokens para prever a classe foi o método mais eficaz, superando a solicitação de pontuação numérica e a saída em JSON puro. Isso permite ajustar o limiar de decisão para lidar com o desequilíbrio de classes.
• Configuração de Few-shot:
  • Adicionar apenas um exemplo (one-shot) já gera uma melhoria drástica em relação ao zero-shot.
  • Adicionar mais de 3 ou 4 exemplos traz retornos decrescentes e aumenta o custo computacional sem melhorar significativamente a AUPRC.
  • A seleção de exemplos baseada em similaridade semântica é superior à aleatória.
• Técnicas Avançadas: Métodos como Chain of Thought, Tree of Thoughts e Chunking não melhoraram o desempenho em termos de AUPRC em comparação com a configuração few-shot básica, apesar de aumentarem o tempo de inferência.
• Comparação de Modelos:
  • Não houve diferença consistente e clara entre modelos de tamanhos diferentes (8B vs 70B) ou entre open-source e closed-source para esta tarefa específica.
  • Surpreendentemente, o modelo menor Llama 3.1 8B teve um desempenho ligeiramente melhor em AUPRC média do que o modelo 70B.
  • O modelo comercial GPT-4.1 nano superou o GPT-4.1 mini em todos os conjuntos de dados.

---

5. Significado e Recomendações Práticas

O estudo valida que os LLMs são ferramentas viáveis para classificação de texto em domínios especializados e desafiadores, especialmente quando os dados rotulados são escassos.

Recomendações para implementação:

1. Use Few-shot com Similaridade: Sempre que possível, inclua 1 a 3 exemplos no prompt, selecionados com base na similaridade semântica com o texto a ser classificado.
2. Extraia Probabilidades de Tokens: Em vez de pedir ao modelo para "classificar" ou dar uma nota, utilize as probabilidades dos tokens gerados para estimar a confiança da previsão. Isso permite otimizar o trade-off entre precisão e recall.
3. Estrutura do Prompt: Inclua uma pergunta direta sobre a classe na mensagem do usuário (além da descrição da tarefa no sistema), pois isso melhora o desempenho.
4. Evite Complexidade Desnecessária: Técnicas complexas como Tree of Thoughts ou Chunking não são necessárias para esta tarefa e aumentam os custos sem benefícios claros.
5. Escolha do Modelo: Modelos menores e open-source (como Llama 3.1 8B) podem ser tão eficazes quanto modelos maiores ou comerciais para classificação de texto, oferecendo uma alternativa econômica.

Em conclusão, embora os classificadores tradicionais ainda mantenham uma leve vantagem em dados abundantes, os LLMs configurados adequadamente (few-shot + extração de probabilidades de tokens) oferecem uma solução robusta e competitiva para a triagem de literatura biomédica, reduzindo a dependência de grandes conjuntos de dados de treinamento.