Few-Shot Biomedical Relation Extraction with Large Language Models: A Viable Alternative to Supervised Learning?

Resumo Técnico: Extração de Relações Biomédicas com Poucos Exemplos (Few-Shot) utilizando Grandes Modelos de Linguagem

Definição do Problema
A extração de relações biomédicas (BioRE) é crítica para converter literatura não estruturada em grafos de conhecimento estruturados. No entanto, as abordagens existentes dependem predominantemente de aprendizado supervisionado, o que exige conjuntos de dados anotados por especialistas de alto custo e muitas vezes tem dificuldade em generalizar para tipos de relações raras ou novos domínios. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma solução potencial para cenários de baixos recursos via aprendizado baseado em prompts, seu desempenho em BioRE tem sido inconsistente, com resultados relatados variando de um subdesempenho substancial à competitividade com baselines supervisionados. Além disso, faltava uma comparação sistemática de diferentes formulações de tarefas (classificação de pares vs. geração conjunta) e seus compromissos entre qualidade de extração e eficiência computacional.

Metodologia
Os autores investigam a BioRE com poucos exemplos usando aprendizado baseado em prompts com LLMs de pesos abertos recentes (famílias Gemma-4 e Qwen-3.5, especificamente variantes de 25–35 bilhões de parâmetros). O estudo é conduzido no conjunto de dados BioREDirect, que contém resumos do PubMed anotados com seis tipos de entidades e oito tipos de relações. A avaliação foca na extração em nível de documento, um cenário mais desafiador do que a extração em nível de sentença devido às dependências de longo alcance.

O estudo compara duas formulações de tarefa primárias:

1. Classificação de Pares (Pairwise Classification): O modelo processa o texto com um único par de entidades anotadas e prevê o tipo de relação (ou "Nenhum"). Isso requer uma chamada de modelo por par candidato.
2. Geração Conjunta (Joint Generation): O modelo processa o texto com múltiplas entidades anotadas e gera todas as triplas suportadas (cabeça, cauda, relação) em uma única chamada.
   • Para analisar o compromisso entre precisão e recall, os autores introduzem uma configuração de geração com restrição $k$ ($k$-constrained generation). Aqui, as entidades são divididas em subconjuntos sobrepostos de tamanho $k$ (onde $k < N$, o número total de entidades). As previsões de subconjuntos sobrepostos são agregadas via voto majoritário.

Os experimentos utilizam decodificação determinística e avaliam o desempenho com e sem capacidades de raciocínio (etapas de raciocínio intermediárias). As métricas incluem Precisão, Recall, Micro-F1 e Macro-F1 (para considerar o desequilíbrio de classes), juntamente com uma métrica de custo de tokens ponderada para medir a eficiência computacional.

Resultos Principais

• Desempenho vs. Baselines Supervisionados: O modelo de poucos exemplos com melhor desempenho (Qwen3.5-27B em classificação de pares) alcançou uma pontuação Micro-F1 de 0,44, superando substancialmente os resultados anteriores de poucos exemplos (0,34), mas permanecendo abaixo do baseline supervisionado PubMedBERT (0,56).
• O Efeito da Classe "Associação": A lacuna de desempenho em relação aos modelos supervisionados é amplamente atribuída ao tipo de relação "Associação", que é ambíguo por definição e serve como um rótulo de fallback no conjunto de dados. Quando avaliados usando Macro-F1 (que captura melhor o desempenho em classes desequilibradas), as abordagens baseadas em prompt superaram o baseline supervisionado (0,45 vs. 0,38), particularmente em tipos de relações raras como Bind (Ligação), Comparison (Comparação) e Cotreatment (Cotratamento).
• Compromissos de Formulação de Tarefa:
  • A Classificação de Pares alcançou consistentemente um recall mais alto, tornando-se adequada para aplicações que exigem cobertura máxima de relações.
  • A Geração Conjunta produziu maior precisão, mas menor recall, provavelmente devido à natureza autorregressiva da geração, que omite relações incertas.
  • A geração com restrição $k$ ofereceu um meio-termo ajustável, permitindo que os profissionais equilibrem precisão, recall e custo.
• Eficiência Computacional: A geração conjunta foi significativamente mais eficiente, reduzindo os custos computacionais em até 25× em comparação com a classificação de pares. Embora habilitar o raciocínio tenha melhorado o desempenho (especialmente para modelos Mixture-of-Experts), isso acarretou custos computacionais substanciais devido ao aumento da geração de tokens de saída. Arquiteturas de Mistura de Especialistas (MoE) provaram ser mais eficientes em termos de custo do que modelos densos.

Significância e Alegações
O artigo alega que LLMs de poucos exemplos representam uma alternativa viável ao aprendizado supervisionado para BioRE, particularmente em cenários de baixos recursos ou ao lidar com tipos de relações bem definidos e específicos. Os autores argumentam que o subdesempenho percebido dos LLMs em relação aos modelos supervisionados é frequentemente um artefato do desequilíbrio do conjunto de dados e da ambiguidade da anotação (especificamente a classe "Associação"), e não uma limitação fundamental dos modelos.

O estudo destaca que:

1. O Macro-F1 é uma métrica crítica para avaliar BioRE em ambientes desequilibrados, onde os LLMs demonstram uma generalização superior para relações raras em comparação com os baselines supervisionados.
2. A formulação da tarefa importa: a escolha entre classificação de pares e geração conjunta deve ser impulsionada pelas necessidades específicas da aplicação (recall vs. precisão/custo), em vez de um único "melhor" métrica.
3. Esquemas bem definidos são essenciais: o desempenho dos LLMs orientados por instrução é altamente dependente de definições de relação claras; a ambiguidade nos esquemas de anotação afeta desproporcionalmente os LLMs em comparação com modelos treinados diretamente nos dados ruidosos.

Os autores concluem que, embora os LLMs ainda não superem totalmente os baselines supervisionados em Micro-F1 bruto, sua flexibilidade, capacidade de generalização para classes raras e eficiência computacional (via geração conjunta) os tornam uma opção atraente para a extração de conhecimento biomédico.