Resumo Técnico: Um Benchmark para Extração de Relações Biomédicas Zero-Shot End-to-End com LLMs

Declaração do Problema

A extração de relações (RE - Relation Extraction) é uma tarefa crítica no processamento de linguagem natural (NLP) biomédico, essencial para converter literatura científica não estruturada em grafos de conhecimento estruturados para impulsionar a geração de hipóteses e a descoberta de conhecimento. Tradicionalmente, a RE depende de aprendizado supervisionado, o que exige uma curadoria de conjuntos de dados laboriosa, envolvendo anotadores especializados para identificar entidades e suas relações. Com a rápida proliferação da literatura biomédica (por exemplo, o PubMed indexando quase 40 milhões de artigos), o fardo da anotação manual está se tornando um gargalo.

A emergência de Grandes Modelos de Linguagem (LLMs) levantou a questão de se a extração de relações zero-shot (ZSRE) pode substituir os métodos supervisionados, eliminando assim a necessidade de dados de treinamento. No entanto, a ZSRE apresenta desafios únicos em comparação com outras tarefas de NLP. Diferente do questionamento (question answering), que frequentemente requer saídas de um único token ou frases curtas, a RE biomédica exige a geração de saídas estruturadas longas, exatas e com formatação consistente (por exemplo, tuplas de entidades e predicados). Além disso, textos biomédicos frequentemente contêm relações complexas de múltiplas sentenças e inúmeros tipos de entidades, tornando difícil para os LLMs gerarem saídas que sigam estritamente as diretrizes de anotação sem ajuste fino (fine-tuning).

Metodologia

Os autores propõem um benchmark abrangente para avaliar as capacidades de ZSRE end-to-end de LLMs de fronteira em sete conjuntos de dados biomédicos diversos.

Conjuntos de Dados

O estudo utiliza sete conjuntos de dados que variam em domínio, comprimento de texto, diversidade de tipo de entidade/relação e granularidade de anotação (nível de menção vs. nível de entidade):

• Nível de Menção (ML - Mention-Level): ADE (Eventos Adversos de Medicamentos), DCE (Extração de Combinação de Drogas), ChemProt (Interações Química-Proteína) e DDI (Interações Droga-Droga).
• Nível de Entidade (EL - Entity-Level): CDR (Doenças Induzidas por Químicos), GDA (Associações Gene-Doença) e BioRED (um conjunto de dados complexo com 8 tipos de relação e alta densidade de relações).
  Estes conjuntos de dados variam de entradas de sentença única até resumos completos, com contagens de relações variando de instâncias únicas a mais de 90 por resumo no BioRED.

Modelos

Três modelos da OpenAI foram avaliados:

1. GPT-4: Um modelo de fronteira padrão.
2. OpenAI o1: Um modelo com capacidades aprimoradas de raciocínio de cadeia de pensamento (chain-of-thought) em tempo de teste.
3. GPT-OSS-120B: Um modelo de pesos abertos (open-weights).

Configuração Experimental

• Estratégia de Prompting: Os modelos foram guiados usando instruções de linguagem natural e templates de saída. Para garantir a saída estruturada, os autores utilizaram as ferramentas de API da OpenAI para geração de JSON, experimentando com modos "explícitos" (esquema fornecido) e "inferidos" (derivados do prompt).
• Métricas de Avaliação: Os autores desenvolveram uma medida de desempenho específica para abordar inconsistências na literatura anterior. Para tarefas de Nível de Entidade (EL), uma relação prevista é considerada correta se as menções de entidade extraídas corresponderem a qualquer menção de entidade de referência (gold), os tipos de entidade estiverem corretos e o tipo de relação estiver correto. Para tarefas de Nível de Menção (ML), é exigida a correspondência exata do intervalo (span). Precisão, Recall e F1-scores foram calculados em todos os conjuntos de teste.

Principais Contribuições

1. Benchmark Abrangente: Ao contrário de estudos anteriores restritos a um ou dois conjuntos de dados, este trabalho avalia a ZSRE em sete conjuntos de dados cobrindo um espectro de complexidades, incluindo relações de múltiplas sentenças e números variados de tipos de entidade/predicado.
2. Foco End-to-End: O estudo avalia estritamente a RE end-to-end, onde o modelo deve identificar entidades e vinculá-las com predicados sem intervalos de entidade pré-anotados, uma tarefa significativamente mais difícil do que a classificação de relações.
3. Análise Comparativa: O artigo fornece uma comparação direta entre LLMs zero-shot e métodos supervisionados de última geração, destacando as lacunas de desempenho e modos específicos de falha da ZSRE.
4. Análise de Erros: Os autores realizam uma análise detalhada de erros para identificar fraquezas específicas, como correspondência parcial de entidades, sub-predição em contextos de alta densidade e alucinação de termos específicos do domínio.

Resultados

Os experimentos revelam que, embora a ZSRE baseada em LLM esteja se aproximando do desempenho supervisionado em tarefas mais simples, lacunas significativas permanecem em conjuntos de dados complexos.

• Tendências de Desempenho:
  • Conjuntos de Dados Simples: Em conjuntos de dados com menos tipos de relação (1–2) e entradas mais curtas (ADE, DCE, CDR, GDA), o desempenho da ZSRE é competitivo, com o GPT-OSS-120B alcançando os maiores escores F1 (ex: 72,5 em ADE, 73,7 em DCE).
  • Conjuntos de Dados Complexos: O desempenho cai significativamente em conjuntos de dados com maior complexidade (4–8 tipos de relação) e contextos mais longos (ChemProt, DDI, BioRED). Por exemplo, no BioRED, o GPT-4 alcançou apenas 9,1 de F1, enquanto o GPT-OSS-120B atingiu 21,5.
• Comparação de Modelos:
  • GPT-OSS-120B superou consistentemente o GPT-4 em todos os conjuntos de dados, muitas vezes ultrapassando-o por uma margem de ~4 pontos de F1 em média.
  • OpenAI o1 geralmente superou o GPT-4 em conjuntos de dados complexos (ChemProt, BioRED, DDI) devido às suas capacidades de raciocínio, mas teve desempenho semelhante ao GPT-4 em conjuntos de dados mais simples.
  • GPT-4 geralmente teve desempenho inferior em relação aos outros dois modelos, particularmente em tarefas que exigem raciocínio complexo ou manipulação de múltiplas relações.
• Comparação com Métodos Supervisionados: Métodos supervisionados usando modelos menores e ajustados (fine-tuned) geralmente superam a ZSRE, particularmente no ChemProt (onde a lacuna é de ~40 pontos de F1). No entanto, em conjuntos de dados mais simples como o ADE, a ZSRE aproxima-se do desempenho das bases de referência supervisionadas.

Análise de Erros

Os autores identificaram vários modos críticos de falha:

• Sub-predição: Os modelos tendem a perder relações quando uma instância contém um alto número de relações de referência, levando a um baixo recall.
• Correspondência Parcial: Um erro frequente envolve a extração de menções de entidades que estão quase corretas, mas incluem palavras extras ou omitem palavras necessárias (ex: extrair "psicose induzida por metanfetamina" em vez de "psicose").
• Problemas de Limite (Boundary): Os modelos têm dificuldade com os limites exatos das entidades, frequentemente concatenando intervalos descontínuos ou alucinando termos não presentes no texto (ex: prevendo "interleucina-10" quando o texto continha apenas "interleucina (IL)-10").
• Sensibilidade à Complexidade: O desempenho degrada conforme o número de tipos de relação e a densidade de relações aumentam, sugerindo que os LLMs atuais lutam com os requisitos "sinergicamente exigentes" de uma extração longa e exata.

Significância e Alegações

O artigo afirma que a ZSRE via LLMs é uma alternativa viável para tarefas biomédicas de baixa complexidade (textos mais curtos, menos tipos de relação), oferecendo um caminho para automatizar a curadoria de conhecimento sem o pesado fardo da anotação. No entanto, os autores enfatizam que para textos biomédicos complexos e de alta densidade, a ZSRE atualmente tem dificuldade em igualar o desempenho supervisionado, particularmente em relação ao recall e à extração exata do limite da entidade.

O estudo conclui que, embora os LLMs estejam se aproximando dos métodos supervisionados, eles ainda não são um substituto completo para modelos especializados e ajustados em descobertas de conhecimento biomédico de alto risco. Os autores alertam que a promessa "zero-shot" depende fortemente da complexidade da tarefa específica e das consequências de falsos positivos/negativos. Eles também observam o risco potencial (embora provavelmente mínimo) de contaminação de dados nos corpora de pré-treinamento, mas argumentam que os baixos escores em conjuntos de dados complexos como o BioRED sugerem que os modelos não estão simplesmente memorizando os rótulos de referência.

Em última análise, o artigo serve como um benchmark realista, demonstrando que, embora a ZSRE reduza os custos de anotação, ela introduz novos desafios na consistência da saída e na precisão do limite da entidade que devem ser abordados antes de uma implantação automatizada generalizada em bases de dados biomédicas.