💬 NLP

REAP: Relation-Aware Elicitation and Parsing for Closed-Book Knowledge Base Construction from LLMs

O sistema REAP, construído sobre um modelo Mistral de 24 bilhões de parâmetros sem ajuste fino, alcança uma pontuação macro-F1 de 0,62 na AKBC Shared Task 2026 ao empregar raciocínio de cadeia de pensamento estruturada, consultas específicas de relação e um portão de conjunto vazio baseado em raciocínio para elicitar e analisar o conhecimento paramétrico em matrizes JSON válidas.

Autores originais: Thanh-Dan Bui, Thanh-Trung Do, Tuan-Phong Nguyen

Publicado 2026-08-12

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Thanh-Dan Bui, Thanh-Trung Do, Tuan-Phong Nguyen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo que leu quase todos os livros do mundo e memorizou uma quantidade impressionante de fatos, desde a capital da França até o número de estrelas em uma galáxia específica. Esse amigo é um "Modelo de Linguagem de Grande Escala" (LLM). Normalmente, quando você faz uma pergunta simples como "Quem ganhou o Prêmio Nobel?", ele dá uma resposta rápida. Mas e se você pedisse para ele listar cada uma das pessoas que já ganharam esse prêmio, ou para dizer exatamente quais países fazem fronteira terrestre com uma pequena nação insular? De repente, a tarefa torna-se muito mais difícil. O amigo pode esquecer alguns nomes, inventar um vencedor falso ou confundir-se sobre se uma ilha sequer possui vizinhos.

Este é o desafio da "Construção de Base de Conhecimento". Cientistas querem transformar esses cérebros gigantes e cheios de fatos em bancos de dados organizados que os computadores possam usar de forma confiável. A parte complicada é que o amigo (a IA) não tem uma biblioteca para consultar; ele tem que confiar inteiramente no que está dentro de sua cabeça (seus "parâmetros"). Se a resposta for "ninguém", o amigo precisa saber dizer "vazio" em vez de adivinhar. Se a resposta for uma lista longa, eles precisam acertar cada um dos itens sem deixar nenhum para trás. Este artigo aborda o problema de como fazer as perguntas certas a esses amigos de IA para obter listas perfeitas e organizadas sem deixá-los alucinar ou se confundir.

O Sistema REAP: Um Guia de Detetive para a Memória da IA

Conheça o REAP (Elicitação e Parsing Sensíveis à Relação). Pense no REAP não como um único perguntador, mas como uma equipe de detetives astutos trabalhando com uma testemunha muito inteligente, mas às vezes distraída (o modelo de IA). O objetivo? Construir uma lista perfeita e organizada de fatos a partir da memória da testemunha sem deixar que ela invente coisas.

Os pesquisadores descobriram que, se você apenas perguntar à IA, "Liste todos os países que fazem fronteira com X", ela pode ficar sobrecarregada, esquecer alguns ou acidentalmente inventar uma fronteira que não existe. É como pedir a um aluno que recite um capítulo inteiro de um livro didático em uma única respiração; ele pode tropeçar. Em vez disso, o REAP divide o trabalho em duas etapas distintas, como um processo de entrevista de dois passos.

Estágio 1: O Interrogatório do Detetive (Raciocínio)
No primeiro estágio, o REAP não apenas pede a resposta. Ele pede à IA para pensar antes de falar. Dependendo do tipo de pergunta, o detetive usa uma estratégia especial:

Para Fronteiras: Em vez de perguntar "Quem faz fronteira com este?", a IA é instruída a agir como um especialista em geografia e escanear o mapa em quatro direções (Norte, Sul, Leste, Oeste) para garantir que nenhum pequeno vizinho seja esquecido.
Para Prêmios: Se a IA precisar listar vencedores de prêmios, ela não apenas adivinha. Ela divide o tempo em décadas, perguntando: "Quem ganhou na década de 1970? Quem ganhou na década de 1980?". Isso garante que a IA não pule uma era inteira.
O Portão do "Conjunto Vazio": Esta é uma rede de segurança crucial. Às vezes a resposta é "ninguém" (como uma pessoa viva que ainda não morreu, ou uma empresa privada que não é negociada na bolsa de valores). O REAP ensina a IA a reconhecer quando uma propriedade não existe e a dizer com confiança: "A lista está vazia", em vez de inventar um nome falso.

Estágio 2: A Limpeza do Copista (Parsing)
Depois que a IA terminou de pensar e gerou uma lista de fatos bagunçada, o Estágio 2 entra em ação. Este é o copista que limpa as notas. O sistema usa regras estritas para capturar as respostas e formatá-las perfeitamente em uma lista JSON (um formato de computador padrão). Se a IA se confundir e escrever uma frase em vez de uma lista, o copista tenta corrigi-la. Se não puder ser corrigido, o sistema tenta a pergunta novamente com um comando (prompt) mais simples.

O Que Eles Descobriram

Os pesquisadores testaram este sistema usando um modelo de IA específico chamado Mistral-Small-24B-Instruct-2501, que possui cerca de 24 bilhões de "células cerebrais" (parâmetros). Eles trabalharam sob regras estritas: sem buscar informações na internet, sem alterar o cérebro da IA (sem ajuste fino/fine-tuning) e usando um modelo com no máximo 32 bilhões de parâmetros.

Os resultados foram bastante promissores. Em um conjunto de testes de perguntas difíceis, o sistema REAP alcançou um escore macro-F1 de 0,62. Para colocar em perspectiva, isso foi significativamente melhor do que o sistema de base dos organizadores (que pontuou 0,30) e melhor do que usar outros modelos de IA populares como Llama ou Gemma com o mesmo método.

O sistema brilhou mais em tipos específicos de perguntas:

Fronteiras de Países: Obteve uma pontuação de 0,95, o que significa que foi quase perfeito ao listar países vizinhos.
Bolsas de Valores: Pontuou 0,73 ao encontrar onde as empresas são negociadas.
Área: Pontuou 0,77 ao calcular o tamanho de áreas geográficas.

No entanto, o sistema não foi perfeito em todos os lugares. Ele teve um pouco mais de dificuldade com capacidade de locais (venue capacity) (pontuando 0,23), frequentemente confundindo um estádio local pequeno com um famoso que possui um nome semelhante. Os pesquisadores sugerem que isso ocorre porque a memória interna da IA nem sempre é precisa o suficiente para números muito específicos ou fatos raros de "cauda longa".

O Que Isso Significa (e o Que Não Significa)

O artigo sugere que a chave para obter melhores respostas da IA não é apenas ter um cérebro maior, mas fazer as perguntas certas da maneira certa. Ao forçar a IA a "pensar passo a passo" (usando o raciocínio de Cadeia de Pensamento ou Chain-of-Thought) e dar a ela estratégias específicas para diferentes tipos de fatos, o sistema consegue extrair informações muito mais precisas.

Contudo, os autores ressaltam que isso não é uma solução mágica. O sistema ainda depende inteiramente do que a IA memorizou. Se a IA não conhece um fato sobre uma entidade muito rara (como uma pequena ilha ou um prêmio menor), o sistema não pode inventá-lo. Além disso, como a IA está rodando em chips de computador específicos (TPUs), há uma pequena dose de aleatoriedade nos resultados, embora seja pequena o suficiente para não alterar o panorama geral.

Em suma, o REAP mostra que, com um pouco de estrutura e muita pacição, podemos extrair fatos muito mais confiáveis de nossos amigos de IA, transformando suas memórias caóticas em listas úteis e organizadas.

Resumo Técnico: REAP – Elicitação e Parsing Sensíveis à Relação para Construção de Base de Conhecimento de Livro Fechado

Definição do Problema

O artigo aborda a AKBC Shared Task 2026, que foca na construção de bases de conhecimento a partir de Grandes Modelos de Linguagem (LLMs) sob restrições rigorosas. O desafio central é a Construção de Base de Conhecimento de Livro Fechado (Closed-Book KBC): os sistemas devem operar sem geração aumentada por recuperação (RAG) ou conhecimento externo, utilizando modelos com, no máximo, 32 bilhões de parâmetros e sem ajuste fino (fine-tuning).

Diferente da sondagem factual padrão, que frequentemente assume uma única resposta correta, esta tarefa exige lidar com cardinalidade variável para pares sujeito-relação $(s, r)$ . A saída deve ser um array JSON válido representando:

Conjuntos vazios ( $\emptyset$ ): ex: um país sem fronteiras terrestres (ilhas) ou uma pessoa viva.
Objetos de valor único: ex: a cidade da morte de uma pessoa falecida.
Objetos de múltiplos valores: ex: todas as bolsas de valores onde uma empresa negocia ou todos os destinatários de um prêmio.

A dificuldade reside em recordar simultaneamente listas potencialmente longas de fatos, lidar com valores quantitativos precisos e aderir a um esquema JSON estrito sem alucinar entidades ou omitir respostas válidas.

Metodologia: O Sistema REAP

Os autores propõem o REAP (Relation-Aware Elicitation and Parsing), um pipeline de dois estágios projetado para desacoplar a elicitação factual da serialização da resposta.

1. Visão Geral da Arquitetura

Estágio 1 (Geração e Raciocínio): O LLM gera evidências ou cadeias de raciocínio adaptadas a relações específicas. Se a saída for impossível de analisar (unparsable), o sistema emprega mecanismos de tentativa de novo (retry) ou prompts de fallback.
Estágio 2 (Parsing e Extração): O sistema extrai a resposta final para um array JSON. Isso é feito principalmente via parsing determinístico por expressão regular (lidando com ~80% dos registros) para garantir a conformidade do formato. A extração baseada em LLM é reservada como um fallback para saídas complexas.

2. Design de Prompt Sensível à Relação

O REAP emprega estratégias especializadas para as seis relações alvo, indo além de prompts genéricos:

awardWonBy (Passagem Cronológica Múltipla): Para melhorar a recuperação de prêmios com centenas de destinatários, o sistema utiliza seis prompts distintos: uma passagem geral e cinco passagens auxiliares cobrindo décadas específicas (início–1 década de 1970, 1980–1990, 2000–2010, 2020+ e uma passagem para destinatários não ocidentais/menos proeminentes).
countryLandBordersCountry (Varredura de Quatro Direções): O modelo atua como um especialista em geografia, escaneando explicitamente as fronteiras Leste, Oeste, Sul e Norte do sujeito para capturar vizinhos pequenos ou territórios destacados, excluindo explicitamente fronteiras marítimas.
companyTradesAtStockExchange (Verificação de Quatro Etapas): Inclui um "Portão de Conjunto Vazio Estrito" (Strict Public Check) para identificar empresas privadas ou subsidiárias, retornando um conjunto vazio se a entidade não for de capital aberto.
hasArea & hasCapacity: Utilizam raciocínio CoT de múltiplas etapas para desambiguar entidades (ex: distinguindo um local específico de um homônimo da cidade), normalizar unidades (convertendo para $km^2$ ) e verificar valores contra intervalos plausíveis.
personHasCityOfDeath: Um processo de raciocínio de cinco etapas que primeiro verifica se o sujeito está vivo (disparando um conjunto vazio) antes de resolver a ambiguidade do nome e recuperar a cidade da morte.

3. Componentes Principais

Portão de Conjunto Vazio Baseado em Raciocínio: Inspirado em predição seletiva, o sistema usa CoT para decidir explicitamente se uma resposta existe. Se a evidência for insuficiente ou a propriedade não se aplicar (ex: uma pessoa viva), o modelo gera FINAL_ANSWER: [] em vez de alucinar um valor.
Parsing Híbrido: O sistema prioriza a extração determinística por regex sobre a geração por LLM para o formato JSON final, a fim de minimizar violações de esquema.
Pós-processamento: Inclui extração robusta de arrays, normalização numérica (removendo separadores de milhar) e filtragem de ruído (removendo honoríficos como "Dr." ou "Sir" e qualificadores entre parênteses).

Configuração Experimental

Modelos Avaliados: Gemma-2-9B-it, Llama-3.1-8B-Instruct e Mistral-Small-24B-Instruct-2501 (selecionado como o modelo principal).
Hardware: TPU v5e-8 com serviço vLLM.
Dados: Divisões de treinamento, validação e teste fornecidas pelos organizadores da tarefa, cobrindo todos os três casos de cardinalidade (0, 1, N).
Métricas: Macro-F1, Micro-F1, Precisão e Recall. Relações quantitativas usam uma tolerância relativa de 5%.

Resultados

Desempenho em Conjuntos de Validação e Teste

Baseline Zero-Shot: Sem o pipeline REAP, os modelos tiveram dificuldades significativas (Macro-F1 $\approx$ 0.38–0.43), destacando a dificuldade de recuperação factual e adesão ao formato simultâneas.
Impacto do Pipeline REAP: O pipeline de dois estágios melhorou significativamente o desempenho em todos os modelos.
- O Mistral-24B alcançou os melhores resultados, melhorando de 0.43 (zero-shot) para 0.65 no conjunto de validação.
- No conjunto de teste oficial, o sistema Mistral-24B alcançou um Macro-F1 global de 0.62.
Desempenho por Relação:
- Mais Forte: countryLandBordersCountry (F1 = 0.95), companyTradesAtStockExchange (F1 = 0.73) e hasArea (F1 = 0.77).
- Mais Fraco: hasCapacity (F1 = 0.23), onde a confusão entre locais de nomes semelhantes e os limiares de tolerância estritos levaram a erros.
Comparação: O sistema mais que dobrou o baseline dos organizadores (Qwen3.5-9B, F1 = 0.30) e superou os pipelines Llama-3.1-8B e Gemma-2-9B.

Estudo de Ablação

O estudo confirmou a necessidade de cada componente:

Remover a Decomposição de Tarefa (queries de múltiplas passagens) causou uma queda de 0.06 no Macro-F1, com perda severa de recall em relações de múltiplos valores.
Remover o Portão de Conjunto Vazio reduziu o Macro-F1 em 0.08 devido a alucinações em entidades sem resposta.
Remover o Raciocínio CoT inteiramente causou a maior queda (0.22), reduzindo o desempenho aos níveis de zero-shot, provando que o raciocínio estruturado é o principal motor de sucesso.

Significância e Alegações

O artigo afirma que o raciocínio estruturado é essencial para elicitar de forma confiável o conhecimento paramétrico em configurações de KBC de livro fechado. As principais conclusões incluem:

Desacoplar é Eficaz: Separar o "pensar" (elicitação) do "formatar" (parsing) reduz significativamente as alucinações e violações de esquema.
A Sensibilidade à Relação Importa: Prompts genéricos falham em tarefas de cardinalidade variável; estratégias especializadas (varreduras geográficas, passagens cronológicas) são necessárias para maximizar o recall.
Limites de Capacidade do Modelo: Embora os prompts de raciocínio ajudem, há uma lacuna clara de desempenho entre modelos de 9B e 24B, sugerindo que modelos maiores se beneficiam mais de pipelines estruturados, particularmente para entidades de cauda longa.
Limites do Conhecimento Paramétrico: O sistema reconhece que, mesmo com prompts avançados, o conhecimento para entidades muito raras permanece incompleto, e a precisão quantitativa é limitada pela representação interna do modelo.

Os autores concluem que o REAP demonstra um caminho viável para construir bases de conhecimento a partir de LLMs sem ajuste fino ou recuperação externa, desde que o sistema empregue raciocínio rigoroso e parsing determinístico específico para cada relação.