Structured Semantic Information Helps Retrieve Better Examples for In-Context Learning Applied to Few-Shot Relation Extraction

Resumo Técnico: Informação Semântica Estruturada Ajuda a Recuperar Melhores Exemplos para Aprendizado em Contexto Aplicado à Extração de Relações de Poucos Disparos (Few-Shot)

Definição do Problema
A Extração de Relações (RE - Relation Extraction) é uma tarefa fundamental de PLN que envolve a identificação de relacionamentos entre pares de entidades (por exemplo, pares sujeito-objeto). Enquanto a RE supervisionada tradicional requer centenas ou milhares de exemplos de treinamento por relação, a Extração de Relações de Poucos Disparos (FSRE - Few-Shot Relation Extraction) visa realizar essa tarefa dada apenas o nome de uma relação, uma breve descrição e um punhado de exemplos (tipicamente 1-shot). As abordagens de FSRE existentes frequentemente dependem de classificação baseada em protótipos ou métodos de vizinho mais próximo baseados em embeddings, que podem carecer de flexibilidade sob mudanças de domínio ou de relação. Embora o Aprendizado em Contexto (ICL - In-Context Learning) com Grandes Modelos de Linguagem (LLMs) ofereça uma alternativa promissora, a estratégia ideal para selecionar exemplos adicionais para complementar o único exemplo "ouro" (gold) permanece pouco explorada. Especificamente, não está claro como equilibrar a necessidade de exemplos que sejam semanticamente similares ao exemplo ouro com a necessidade de diversidade de estruturas sintáticas e escolhas lexicais para evitar o sobreajuste (overfitting) a um único padrão.

Metodologia
O artigo propõe um framework para transformar automaticamente uma configuração de RE 1-shot em uma configuração de 5-shot ou 10-shot através da geração ou recuperação de exemplos adicionais. A abordagem avalia três estratégias primárias e uma combinação híbrida:

1. Geração Baseada em LLM:

   • Parafraseamento: A frase de suporte "ouro" é parafraseada por um LLM enquanto preserva o sujeito, o objeto e a relação.
   • Geração: Novos exemplos são gerados condicionados ao nome da relação e sua definição em linguagem natural, incentivando lexicalizações e estruturas de frases alternativas.

2. Recuperação de Corpora Não Anotados:

   • Os autores recuperam exemplos de um subconjunto substancial do corpus WebBase da UMBC (2,3 milhões de sentenças).
   • Baseline SBERT: Embeddings de sentenças padrão são usados para encontrar sentenças semanticamente similares.
   • Representações de Regras Sintático-Semânticas (Novidade): Em vez de embeddings de sentenças completos, o método extrai regras léxico-sintáticas que representam o caminho de dependência mais curto entre as entidades sujeito e objeto. Essas regras codificam itens lexicais, relações de dependência, direcionalidade e tipos de entidades nomeadas.
   • Correspondência Semântica: Um modelo autossupervisionado (SoftMatcher) aprende representações semânticas dessas regras. A recuperação é realizada com base na similaridade de cosseno entre a representação da regra do exemplo ouro e as sentenças candidatas. Esta abordagem foca no contexto específico indicativo da relação, em vez do significado geral da sentença.

3. Aumento de Diversidade:

   • Para evitar redundância, os exemplos candidatos são agrupados (clustering) (usando k-means ou k-means++) com base em suas representações semânticas.
   • Exemplos representativos são selecionados dos clusters para garantir uma mistura de similaridade com o exemplo ouro e diversidade estrutural.

4. Estratégia Híbrida:

   • O framework combina exemplos tanto da geração por LLM quanto da recuperação de corpus. Um prompt é usado para selecionar um conjunto final de exemplos adicionais (4 ou 9) do pool combinado, visando equilibrar a alta similaridade dos exemplos gerados por LLM com a diversidade realista dos exemplos recuperados.

5. Formulação da Tarefa:

   • A tarefa 5-way 1-shot é reformulada como cinco tarefas de classificação binária independentes (uma por relação) usando ICL.
   • Um filtro de Reconhecimento de Entidades Nomeadas (NER) é aplicado antes do ICL para descartar relações candidatas que sejam incompatíveis com os tipos de entidades na sentença de consulta, reduzindo significativamente o custo computacional.

Principais Contribuições

• Nova Estratégia de Recuperação: A introdução do uso de representações estruturadas de regras sintático-semânticas (em vez de embeddings de sentenças de nível de superfície) para recuperar exemplos para ICL em FSRE. Este método captura a estrutura relacional central entre as entidades.
• Mecanismos de Diversidade: A proposta de agrupamento explícito e engenharia de prompt para garantir que os exemplos selecionados ofereçam escolhas de palavras e estruturas de frases diversas, mantendo a fidelidade à relação.
• Framework Híbrido: A demonstração de que combinar exemplos gerados por LLM (para similaridade) e exemplos recuperados (para diversidade) produz uma representação mais holística da relação do que qualquer um dos métodos isoladamente.
• Desempenho de Estado da Arte (SOTA): O estabelecimento de novos resultados de estado da arte no dataset FS-TACRED, particularmente para modelos de linguagem menores, sem exigir ajuste fino (fine-tuning) do modelo ou anotações de ouro adicionais.

Resultos
O framework foi avaliado em dois datasets (FS-TACRED e um subset customizado de FS-FewRel) utilizando quatro LLMs (Qwen3-4B, Qwen3-14B, Gemma3-4B e Gemma3-12B).

• Desempenho: A abordagem híbrida superou consistentemente os baselines, incluindo ICL 1-shot, geração apenas por LLM e recuperação baseada em SBERT. No FS-TACRED, o método híbrido alcançou um F1 score de 27,6 com Qwen3-4B (superando métodos de ajuste fino anteriores como SoftRules, que alcançou 24,8) e 37,8 com Qwen3-14B.
• Efetividade das Regras Semânticas: Exemplos recuperados usando regras sintático-semânticas renderam consistentemente melhores resultados do que aqueles recuperados via SBERT ou parafraseados por LLMs. Os exemplos baseados em regras mostraram-se mais fiéis à relação e mais diversos.
• Sensibilidade do Modelo: Os benefícios da estratégia de recuperação foram mais pronunciados em modelos menores (4 bilhões de parâmetros). Modelos maiores (12B) mostraram ganhos inconsistentes, com algumas estratégias até degradando o desempenho em comparação com o baseline 1-shot, sugerindo que modelos maiores podem já possuir conhecimento interno suficiente ou são sensíveis ao aumento de prompt.
• Eficiência: O framework híbrido adicionou um overhead computacional desprezível (aumento de aproximadamente 0,5% no tempo de execução por episódio) em comparação com a geração de LLM sozinha, pois as etapas de recuperação e agrupamento dependem de embeddings pré-computados e são independentes do tamanho do LLM.

Significância e Alegações
O artigo alega que a informação semântica estruturada é crítica para a seleção eficaz de exemplos no Aprendizado em Contexto para Extração de Relações de Poucos Disparos. Ao ir além da similaridade de nível de superfície (SBERT) ou da geração simples, o método proposto recupera exemplos que são simultaneamente realistas (de corpora não anotados) e estruturalmente fiéis à relação alvo.

Os autores enfatizam que sua abordagem:

1. Transfere bem entre diferentes datasets e famílias de LLMs sem necessidade de ajuste fino específico para a tarefa.
2. Alcança SOTA no FS-TACRED, demonstrando que adicionar exemplos reais recuperados pode superar modelos dedicados de poucos disparos que dependem de ajuste fino de arquiteturas menores.
3. Equilibra similaridade e diversidade, mostrando que o desempenho ideal de ICL vem de um "meio termo" onde os exemplos são suficientemente similares para definir a relação, mas diversos o suficiente para evitar o sobreajuste a um único padrão sintático.

O trabalho destaca que, embora os LLMs sejam poderosos, suas capacidades de aprendizado em contexto para RE podem ser significativamente aprimoradas ao fundamentar a seleção de exemplos na estrutura sintático-semântica subjacente da linguagem, particularmente quando os recursos computacionais ou os dados de treinamento são limitados.