💬 NLP

REAP: Relation-Aware Elicitation and Parsing for Closed-Book Knowledge Base Construction from LLMs

Il sistema REAP, basato su un modello Mistral da 24B parametri senza fine-tuning, raggiunge un punteggio macro-F1 di 0,62 nel compito AKBC Shared Task 2026 impiegando un ragionamento strutturato di tipo chain-of-thought, query specifiche per relazione e un gate dell'insieme vuoto basato sul ragionamento per estrarre e analizzare la conoscenza parametrica in array JSON validi.

Autori originali: Thanh-Dan Bui, Thanh-Trung Do, Tuan-Phong Nguyen

Pubblicato 2026-08-12

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Thanh-Dan Bui, Thanh-Trung Do, Tuan-Phong Nguyen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un amico che ha letto quasi tutti i libri del mondo e ha memorizzato una quantità sbalorditiva di fatti, dalla capitale della Francia al numero di stelle in una specifica galassia. Questo amico è un "Large Language Model" (LLM). Di solito, quando gli fai una domanda semplice come "Chi ha vinto il Premio Nobel?", ti dà una risposta rapida. Ma cosa succederebbe se gli chiedessi di elencare ogni singola persona che ha mai vinto quel premio, o di dirti esattamente quali paesi condividono un confine terrestre con una piccola nazione insulare? Improvvisamente, il compito diventa molto più difficile. L'amico potrebbe dimenticare alcuni nomi, inventare un vincitore falso o confondersi sul fatto che un'isola abbia o meno dei vicini.

Questa è la sfida della "Costruzione di una Base di Conoscenza" (Knowledge Base Construction). Gli scienziati vogliono trasformare questi cervelli giganti pieni di fatti in database organizzati che i computer possano usare in modo affidabile. La parte complicata è che l'amico (l'IA) non ha una biblioteca da consultare; deve fare affidamento interamente su ciò che ha dentro la sua testa (i suoi "parametri"). Se la risposta è "nessuno", l'amico deve sapere che deve dire "vuoto" invece di tirare a indovinare. Se la risposta è una lista lunga, deve ottenere ogni singolo elemento correttamente senza saltarne nessuno. Questo articolo affronta il problema di come porre le domande giuste a questi amici IA per ottenere elenchi perfetti e organizzati senza lasciare che allucinino o si confondano.

Il Sistema REAP: Una Guida Investigativa alla Memoria dell'IA

Incontra REAP (Relation-Aware Elicitation and Parsing). Pensa a REAP non come a un singolo interrogatore, ma come a un astuto team di detective che lavora con un testimone molto intelligente, ma a volte distratto (il modello IA). L'obiettivo? Costruire un elenco perfetto e organizzato di fatti dalla memoria del testimone senza lasciargli inventare cose.

I ricercatori hanno scoperto che se chiedi semplicemente all'IA: "Elenca tutti i paesi che confinano con X", essa potrebbe sentirsi sopraffatta, dimenticare qualcosa o inventare accidentalmente un confine che non esiste. È come chiedere a uno studente di recitare un intero capitolo di un libro di testo in un solo respiro; potrebbe inciampare. Invece, REAP suddivide il lavoro in due fasi distinte, come un processo di intervista in due passaggi.

Fase 1: L'Interrogatorio del Detective (Ragionamento)
Nella prima fase, REAP non chiede solo la risposta. Chiede all'IA di pensare prima di parlare. A seconda del tipo di domanda, il detective utilizza una strategia speciale:

Per i Confini: Invece di chiedere "Chi confina con questo?", all'IA viene detto di agire come un esperto di geografia e scansionare la mappa in quattro direzioni (Nord, Sud, Est, Ovest) per assicurarsi di non perdere nessun piccolo vicino.
Per i Premi: Se l'IA deve elencare i vincitori di un premio, non si limita a indovinare. Suddivide il tempo in decenni, chiedendo: "Chi ha vinto negli anni '70? Chi ha vinto negli anni '80?". Questo assicura che l'IA non salti un intero periodo.
Il Cancello dell' "Insieme Vuoto": Questa è una rete di sicurezza cruciale. A volte la risposta è "nessuno" (come una persona vivente che non è ancora morta, o un'azienda privata che non è quotata in borsa). REAP insegna all'IA a riconoscere quando una proprietà non esiste e a dire con fiducia: "L'elenco è vuoto", invece di inventare un nome falso.

Fase 2: La Pulizia dello Scriba (Parsing)
Una volta che l'IA ha finito di pensare e ha generato un elenco disordinato di fatti, entra in gioco la Fase 2. Questo è lo scriba che pulisce gli appunti. Il sistema utilizza regole rigide per estrarre le risposte e formattarle perfettamente in un elenco JSON (un formato standard per i computer). Se l'IA si confonde e scrive una frase invece di un elenco, lo scriba cerca di sistemarla. Se non può essere sistemata, il sistema riprova la domanda con un prompt più semplice.

Cosa Hanno Scoperto

I ricercatori hanno testato questo sistema utilizzando un modello IA specifico chiamato Mistral-Small-24B-Instruct-2501, che ha circa 24 miliardi di "cellule cerebrali" (parametri). Operavano sotto regole rigide: niente ricerca di informazioni su Internet, niente modifica del cervello dell'IA (niente fine-tuning) e l'uso di un modello con non più di 32 miliardi di parametri.

I risultati sono stati piuttosto promettenti. Su un set di test di domande difficili, il sistema REAP ha raggiunto un punteggio macro-F1 di 0,62. Per dare un termine di paragone, questo è stato significativamente migliore del sistema di base degli organizzatori (che ha ottenuto 0,30) ed è stato migliore rispetto all'uso di altri popolari modelli IA come Llama o Gemma con lo stesso metodo.

Il sistema ha brillato soprattutto su tipi specifici di domande:

Confini Nazionali: Ha ottenuto un punteggio di 0,95, il che significa che era quasi perfetto nel elencare i paesi confinanti.
Borse Valori: Ha ottenuto un punteggio di 0,73 per trovare dove vengono scambiati i titoli.
Area: Ha ottenuto un punteggio di 0,77 per calcolare le dimensioni di aree geografiche.

Tuttavia, il sistema non era perfetto ovunque. Ha faticato un po' di più con la capacità delle sedi (ottenendo un punteggio di 0,23), confondendo spesso uno stadio locale con uno famoso che ha un nome simile. I ricercatori suggeriscono che ciò sia dovuto al fatto che la memoria interna dell'IA non è sempre abbastanza precisa per numeri molto specifici o fatti rari e di nicchia (long-tail).

Cosa Significa Questo (e Cosa Non Significa)

L'articolo suggerisce che la chiave per ottenere risposte migliori dall'IA non è solo avere un cervello più grande, ma porre le domande giuste nel modo giusto. Obbligando l'IA a "pensare passo dopo passo" (usando il ragionamento Chain-of-Thought) e fornendo strategie specifiche per diversi tipi di fatti, il sistema può estrarre informazioni molto più accurate.

Tuttavia, gli autori avvertono che questo non è un rimedio magico. Il sistema dipende interamente da ciò che l'IA ha memorizzato. Se l'IA non conosce un fatto su un'entità molto rara (come una piccola isola o un premio minore), il sistema non può inventarlo. Inoltre, poiché l'IA viene eseguita su specifici chip computerizzati (TPU), c'è una piccola quantità di casualità nei risultati, anche se è abbastanza piccola da non cambiare il quadro generale.

In breve, RE REAP dimostra che con un po' di struttura e molta pazienza, possiamo estrarre fatti molto più affidabili dai nostri amici IA, trasformando le loro memorie caotiche in elenchi ordinati e utilizzabili.

Riepilogo Tecnico: REAP – Elicitazione e Parsing Aware della Relazione per la Costruzione di Knowledge Base a Libro Chiuso

Definizione del Problema

Il documento affronta il AKBC Shared Task 2026, che si concentra sulla costruzione di basi di conoscenza (knowledge base) da parte di Large Language Models (LLM) sotto vincoli rigorosi. La sfida principale è la Costruzione di Knowledge Base a Libro Chiuso (Closed-Book KBC): i sistemi devono operare senza generazione aumentata dal recupero (RAG) o conoscenza esterna, utilizzando modelli con al massimo 32 miliardi di parametri e senza fine-tuning.

A differenza del normale probing fattuale, che spesso assume una singola risposta corretta, questo compito richiede di gestire la cardinalità variabile per le coppie soggetto-relazione $(s, r)$ . L'output deve essere un array JSON valido che rappresenti:

Insiemi vuoti ( $\emptyset$ ): ad esempio, un paese senza confini terrestri (isole) o una persona vivente.
Oggetti a valore singolo: ad esempio, la città di morte di una persona deceduta.
Oggetti a valori multipli: ad esempio, tutte le borse valori su cui un'azienda scambia titoli o tutti i destinatari di un premio.

La difficoltà risiede nel richiamare simultaneamente potenzialmente lunghe liste di fatti, gestire valori quantitativi precisi ed aderire a uno schema JSON rigoroso senza allucinare entità o omettere risposte valide.

Metodologia: Il Sistema REAP

Gli autori propongono REAP (Relation-Aware Elicitation and Parsing), una pipeline a due stadi progettata per disaccoppiare l'elicitazione fattuale dalla serializzazione della risposta.

1. Panoramica dell'Architettura

Stadio 1 (Generazione e Ragionamento): L'LLM genera prove o catene di ragionamento adattate a specifiche relazioni. Se l'output non è analizzabile, il sistema impiega meccanismi di riprova o prompt di fallback.
Stadio 2 (Parsing ed Estrazione): Il sistema estrae la risposta finale in un array JSON. Questo avviene principalmente tramite parsing deterministico con espressioni regolari (gestendo circa l'80% dei record) per garantire la conformità del formato. L'estrazione basata su LLM è riservata come fallback per output complessi.

2. Progettazione di Prompt Specifici per la Relazione

REAP impiega strategie specializzate per le sei relazioni target, andando oltre il prompting generico:

awardWonBy (Multi-pass Cronologico): Per migliorare il richiamo per i premi con centinaia di destinatari, il sistema utilizza sei prompt distinti: un passaggio generale e cinque passaggi ausiliari che coprono decenni specifici (dall'inizio agli anni '70, dagli anni '80 agli anni '90, dagli anni 2000 agli anni 2010, 2020+ e un passaggio per i destinatari non occidentali o meno prominenti).
countryLandBordersCountry (Scansione a Quattro Direzioni): Il modello agisce come un esperto di geografia, scansionando esplicitamente i confini Est, Ovest, Sud e Nord del soggetto per catturare piccoli vicini o territori distaccati, escludendo esplicitamente i confini marittimi.
companyTradesAtStockExchange (Controllo in Quattro Fasi): Include un "Controllo Rigoroso Pubblico" (Gate dell'Insieme Vuoto) per identificare aziende private o sussidiarie, restituendo un insieme vuoto se l'entità non è quotata in borsa.
hasArea & hasCapacity: Utilizzano il ragionamento CoT (Chain-of-Thought) in più fasi per disambiguare le entità (ad esempio, distinguere un luogo specifico da un omonimo cittadino), normalizzare le unità (convertendo in $km^2$ ) e verificare i valori rispetto a intervalli plausibili.
personHasCityOfDeath: Un processo di ragionamento in cinque fasi che verifica prima se il soggetto è in vita (attivando un insieme vuoto) prima di risolvere l'ambiguità del nome e recuperare la città del decesso.

3. Componenti Chiave

Empty-Set Gate Basato sul Ragionamento: Ispirato alla predizione selettiva, il sistema usa il CoT per decidere esplicitamente se una risposta esiste. Se le prove sono insufficienti o la proprietà non si applica (ad esempio, una persona vivente), il modello produce FINAL_ANSWER: [] invece di allucinare un valore.
Parsing Ibrido: Il sistema privilegia l'estrazione deterministica tramite regex rispetto alla generazione tramite LLM per il formato JSON finale, al fine di minimizzare le violazioni dello schema.
Post-processing: Include l'estrazione robusta di array, la normalizzazione numerica (rimozione dei separatori di migliaia) e il filtraggio del rumore (rimozione di titoli come "Dr." o "Sir" e qualificatori tra parentesi).

Configurazione Sperimentale

Modelli Valutati: Gemma-2-9B-it, Llama-3.1-8B-Instruct, e Mistral-Small-24B-Instruct-2501 (selezionato come modello primario).
Hardware: TPU v5e-8 con serving vLLM.
Dati: Split di training, validazione e test forniti dagli organizzatori del compito, che coprono tutti e tre i casi di cardinalità (0, 1, N).
Metriche: Macro-F1, Micro-F1, Precision e Recall. Le relazioni quantitative utilizzano una tolleranza relativa del 5%.

Risultati

Performance sui Set di Validazione e Test

Baseline Zero-Shot: Senza la pipeline REAP, i modelli hanno incontrato grandi difficoltà (Macro-F1 $\approx$ 0.38–0.43), evidenziando la difficoltà di gestire simultaneamente il richiamo dei fatti e l'aderenza al formato.
Impatto della Pipeline REAP: La pipeline a due stadi ha migliorato significativamente le prestazioni in tutti i modelli.
- Mistral-24B ha ottenuto i risultati migliori, passando da 0.43 (zero-shot) a 0.65 sul set di validazione.
- Sul set di test ufficiale, il sistema Mistral-24B ha raggiunto un Macro-F1 complessivo di 0.62.
Performance Specifiche per Relazione:
- Più forti: countryLandBordersCountry (F1 = 0.95), companyTradesAtStockExchange (F1 = 0.73) e hasArea (F1 = 0.77).
- Più deboli: hasCapacity (F1 = 0.23), dove la confusione tra luoghi con nomi simili e le soglie di tolleranza rigorose hanno portato ad errori.
Confronto: Il sistema ha più che raddoppiato la baseline degli organizzatori (Qwen3.5-9B, F1 = 0.30) e ha superato le pipeline di Llama-3.1-8B e Gemma-2-9B.

Studio di Ablazione

Lo studio ha confermato la necessità di ogni componente:

Rimuovendo la Decomposizione del Compito (query multi-pass), si è verificato un calo di 0.06 nel Macro-F1, con una grave perdita di richiamo sulle relazioni a valori multipli.
Rimuovendo l'Empty-Set Gate, il Macro-F1 è sceso di 0.08 a causa delle allucinazioni su entità non rispondenti.
Rimuovendo completamente il Ragionamento CoT, si è verificato il calo maggiore (0.22), riducendo le prestazioni ai livelli zero-shot, provando che il ragionamento strutturato è il principale motore del successo.

Significato e Rivendicazioni

Il documento afferma che il ragionamento strutturato è essenziale per elicitare in modo affidabile la conoscenza parametrica in contesti di KBC a libro chiuso. Le conclusioni chiave includono:

La Disgiunzione è Efficace: Separare il "pensiero" (elicitazione) dalla "formattazione" (parsing) riduce significativamente le allucinazioni e le violazioni dello schema.
La Consapevolezza della Relazione è Importante: Il prompting generico fallisce nei compiti a cardinalità variabile; sono necessarie strategie specializzate (scansioni geografiche, pass cronologici) per massimizzare il richiamo.
Limiti della Capacità del Modello: Sebbene i prompt di ragionamento aiutino, esiste un chiaro divario di prestazioni tra i modelli da 9B e 24B, suggerendo che i modelli più grandi beneficiano maggiormente delle pipeline strutturate, specialmente per le entità a coda lunga.
Limiti della Conoscenza Parametrica: Il sistema riconosce che, anche con un avanzato prompting, la conoscenza per entità molto rare rimane incompleta e la precisione quantitativa è limitata dalla rappresentazione interna del modello.

Gli autori concludono che REAP dimostra una via percorribile per la costruzione di basi di conoscenza da LLM senza fine-tuning o recupero esterno, a condizione che il sistema impieghi un ragionamento rigoroso e specifico per la relazione e un parsing deterministico.