💬 NLP

Multi-Hop Knowledge Composition is Bound by Pretraining Exposure

Questo articolo dimostra che il fallimento dei Large Language Models nel ragionamento multi-hop implicito non deriva da una mancanza di fatti memorizzati, bensì da una deficienza nel pretraining, poiché le capacità di ragionamento compositivo si trasferiscono solo agli individui esposti esplicitamente a contesti multi-hop durante il pretraining.

Autori originali: Yannis Karmim, Luis Marti, Djamé Seddah, Valentin Barrière

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yannis Karmim, Luis Marti, Djamé Seddah, Valentin Barrière

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un bibliotecario super intelligente (l'IA) che ha memorizzato una vastissima biblioteca di biografie.

Se chiedi: "Quando è nato Thierry?", il bibliotecario risponde istantaneamente.
Se chiedi: "Chi è il migliore amico di Zinedine?", il bibliotecario risponde anche lui istantaneamente.

Ma se chiedi: "Quando è nato il migliore amico di Zinedine?", il bibliotecario si blocca. Anche se conosce perfettamente entrambi i fatti, non riesce a collegarli per darti la risposta in un unico passaggio. Conosce i pezzi, ma non sa come assemblare il puzzle.

Questo articolo investiga perché accade questo e se sia possibile insegnare al bibliotecario a farlo semplicemente cambiando i libri che legge durante il suo addestramento.

Il problema centrale: Il "Anello Mancante"

I ricercatori lo chiamano Compositionality Gap (Gap di Composizionalità). È come avere una cassetta degli attrezzi piena di martelli e chiodi perfetti, ma non sapere come costruire una sedia quando richiesto. L'IA può trovare i fatti, ma non riesce a "incatenarli" implicitamente.

L'esperimento: Due gruppi di persone

Per studiare questo fenomeno, i ricercatori hanno creato un mondo fittizio con 100.000 persone. Hanno diviso queste persone in due gruppi:

Il Gruppo "Esposto": Queste persone compaiono nei libri di addestramento all'interno di storie complesse. Ad esempio, i libri potrebbero dire: "L'amico di Marcus è Delia, e Delia è nata a Parigi." Questo insegna all'IA a collegare "Marcus" a "Delia" e poi a "Parigi".
Il Gruppo "Escluso": Queste persone compaiono nei libri, ma solo in storie semplici a singolo fatto. I libri dicono: "Marcus è nato a Londra." Non compaiono mai in una storia che li colleghi a qualcun altro. Sono gli "estranei" che non sono mai stati introdotti nella complessa rete di relazioni.

I ricercatori hanno poi addestrato l'IA su questi libri e l'hanno testata su domande riguardanti entrambi i gruppi.

La grande scoperta: Non puoi insegnare ciò che non hai visto

I ricercatori hanno provato nove modi diversi per "aumentare" i dati di addestramento (cambiando il modo in cui le storie venivano scritte, usando il linguaggio naturale o dati strutturati come l'RDF).

Ecco cosa hanno scoperto:

Per il Gruppo "Esposto": Quando l'IA vedeva le storie complesse durante l'addestramento, diventava molto più brava a rispondere a domande a più passaggi. Se imparava che "A è amico di B" e "B è nato in X", poteva rispondere correttamente a "Quando è nato l'amico di A?".
Per il Gruppo "Escluso": Non importava quanto modificassero i dati di addestramento, l'IA falliva completamente su questo gruppo. Anche se l'IA conosceva perfettamente i fatti, non riusciva a collegarli se quella specifica persona non era mai apparsa in una storia "complessa" durante l'addestramento.

L'analogia:
Immagina di insegnare a un bambino a risolvere problemi di matematica.

Gruppo Esposto: Mostri al bambino un problema: "Se John ha 2 mele e ne dà 1 a Mary, quante mele ha Mary?" Lo fai molte volte. Il bambino impara la logica della condivisione.
Gruppo Escluso: Mostri un altro bambino, "Bob", ma gli chiedi solo: "Quante mele ha Bob?". Non chiedi mai di Bob che condivide le mele.
Il Test: Quando chiedi: "Se Bob dà una mela ad Alice, quante mele ha Alice?", il bambino (l'IA) fallisce. Sa che Bob ha delle mele, ma poiché non ha mai visto Bob nel contesto della condivisione, non riesce ad applicare la logica a lui.

Punti chiave

È un problema di addestramento, non di memoria: L'IA non sta fallendo perché è "stupida" o perché non ha abbastanza memoria. Fallisce perché non è mai stata esposta al tipo specifico di ragionamento per quelle persone specifiche durante la sua "scuola" (pre-training).
L'esposizione è obbligatoria: Per imparare a collegare i puntini, l'IA deve vedere i puntini già collegati prima di essere testata. Non puoi insegnare all'IA a ragionare su una persona se non l'ha mai vista in un contesto complesso.
Esplicito vs Implicito: I ricercatori hanno provato a scrivere le storie in due modi:
- Esplicito: "L'amico di Marcus, Delia, è nata a Parigi." (Nominando l'amico).
- Implicito: "L'amico di Marcus è nato a Parigi." (Nascondendo il nome dell'amico).
  Hanno scoperto che l'Implicito (nascondere il nome) era in realtà migliore per insegnare all'IA a ragionare, perché costringeva l'IA a scoprire il collegamento da sola, invece di limitarsi a leggere la risposta. Tuttavia, anche il miglior metodo di addestramento falliva per il gruppo "Escluso".

La conclusione

L'articolo conclude che il ragionamento multi-hop implicito è vincolato dall'esposizione durante il pre-training.

Se l'IA non ha visto una specifica persona (o entità) in un contesto "a più passaggi" durante il suo apprendimento, probabilmente fallirà nel ragionare su quella persona in seguito, indipendentemente da quanto sia intelligente il modello o da quanti dati le vengano forniti. La capacità di collegare i puntini non è un superpotere generale che l'IA sviluppa da sola; è una competenza specifica che apprende solo per i personaggi con cui si è esercitata.

Sintesi Tecnica: La composizione di conoscenza multi-hop è vincolata all'esposizione in pre-addestramento

Problematica
I Large Language Models (LLM) dimostrano un'alta fedeltà nella memorizzazione e nel recupero di singoli fatti conoscitivi, ma falliscono costantemente nel ragionamento implicito multi-hop all'interno di un singolo passaggio in avanti (forward pass). Un modello può rispondere correttamente a "Quando è nato X?" e "Chi è l'amico più stretto di Y?", ma fallire nel rispondere a "Quando è nato l'amico più stretto di Y?", anche quando entrambi i fatti costitutivi sono perfettamente memorizzati. Questo fenomeno, noto come gap di composizionalità, persiste attraverso diverse scale e architetture di modelli. Mentre le soluzioni esistenti esternalizzano il ragionamento tramite chain-of-thought o decomposizione durante l'inferenza, rimane poco chiaro se il ragionamento compositivo possa emergere esclusivamente dal pre-addestramento. Inoltre, sui modelli proprietari, la causa radice è non diagnosticabile a causa della mancata divulgazione dei dati di pre-addestramento.

Metodologia
Gli autori investigano questo gap utilizzando un contesto di linguaggio naturale controllato che separa rigorosamente gli individui esposti a contesti compositivi durante il pre-addestramento da quelli che non lo sono.

Costruzione del Dataset: Basandosi sul framework di biografie sintetiche di Allen-Zhu e Li (2024), gli autori hanno creato un dataset di $N=100.000$ individui, ciascuno descritto da sei attributi (ad esempio, data di nascita, città di nascita) e relazioni direzionali di "amico" e "nemico".
Partizione della Popolazione: La popolazione è divisa in due insiemi disgiunti:
- $P_{comp}$ (Compositivo): Individui le cui relazioni puntano esclusivamente ad altri membri di $P_{comp}$ . Questi individui sono esposti a contesti compositivi durante il pre-addestramento.
- $P_{held}$ (Trattenuto): Individui le cui relazioni puntano esclusivamente all'interno di $P_{held}$ . Fondamentalmente, questi individui non compaiono mai come entità intermedie (ponte) in alcuna catena compositiva vista durante il pre-addestramento.
Pre-addestramento e Augmentation: Gli autori pre-addestrano modelli GPT-2 (Small, Medium, Large) partendo da zero. Introducono nove distinte strategie di augmentation data-centric per $P_{comp}$ $P_{co m p}$ , variando lungo due assi:
- Formato: Linguaggio Naturale (NL) vs. RDF (triple strutturate).
- Verbalizzazione: Esplicita (nominando l'entità ponte) vs. Implicita (omettendo l'entità ponte).
- Tutte le condizioni includono biografie atomiche a 1-hop con augmentation multi5p-permute.
Protocollo di Valutazione: I modelli vengono sottoposti a fine-tuning su il 75% di $P_{comp}$ ( $P^{train}_{comp}$ ) e valutati sul restante 25% e sull'intero $P_{held}$ non visto. La valutazione misura l'accuratezza del primo token per query a 1-hop, 2-hop e 3-hop senza accesso alle entità intermedie nel contesto.

Risultati Chiave
Gli esperimenti producono tre scoperte primarie:

Il Gap di Composizionalità è un Fallimento del Pre-addestramento: Anche con un'accuratezza quasi perfetta a 1-hop (97%), i modelli ottengono quasi lo 0% sulle query a 2-hop per $P_{held}$ e solo marginalmente meglio per $P_{comp}$ sotto il training basale. Ciò conferma che il gap non è un limite di capacità o una mancanza di conoscenza, ma un fallimento della composizione dei fatti durante il pre-addestramento.
L'Esposizione al Pre-addestramento è una Condizione Necessaria: Il pre-addestramento compositivo migliora significativamente il QA multi-hop su domande non viste per gli individui esposti ( $P^{test}_{comp}$ ), con l'accuratezza a 2-hop che raggiunge fino a 0.83 sotto specifiche strategie di augmentation (ad esempio, implicita + esplicita NL-RDF). Tuttavia, si verifica zero trasferimento verso $P_{held}$ . Nessuna augmentation data-centric compensa l'assenza di esposizione di un individuo in un contesto compositivo.
Augmentation Implicita vs. Esplicita:
- L'augmentation implicita (dove l'entità ponte è omessa) supera costantemente quella esplicita (dove il ponte viene nominato) se considerata isolatamente. I formati espliciti migliorano la localizzazione del token ponte (verificato tramite analisi Logit Lens) ma non si traducono in successo compositivo.
- Gli approcci ibridi (che mescolano segnali impliciti ed espliciti) forniscono le migliori prestazioni su $P^{test}_{comp}$ , suggerendo che il mix di segnali migliori l'allineamento delle rappresentazioni.
- I formati RDF (specificamente l'RDF implicito) si rivelano altamente efficaci, raggiungendo un'elevata accuratezza compositiva a una frazione del costo di dati rispetto a NL.

Significato e Rivendicazioni
Il paper stabilisce che l'esposizione a contesti compositivi durante il pre-addestramento è una condizione necessaria per il ragionamento multi-hop implicito. Gli autori sostengono che l'augmentation induca associazioni specifiche per entità piuttosto che una logica di composizione riutilizzabile e generalizzabile. Di conseguenza, i modelli falliscono nel comporre i fatti per individui che non hanno mai incontrato in un contesto multi-hop, indipendentemente dalla scala del modello o dalle strategie di fine-tuning.

Lo studio sfida l'idea che il ragionamento compositivo possa essere indotto puramente attraverso l'augmentation dei dati per entità non viste. Suggerisce che, per ottenere un ragionamento multi-hop implicito, la distribuzione di training debba includere esplicitamente le entità specifiche all'interno delle catene relazionali richieste. Gli autori rilasciano il loro codice e una riproduzione del framework delle biografie per supportare future investigazioni su obiettivi di training o modifiche architettoniche che possano superare questo limite fondamentale.

Limitazioni
Gli autori riconoscono che il loro setting è interamente sintetico e che la generalizzazione a corpora naturali rimane non testata. Notano che, sebbene i loro esperimenti utilizzino scale GPT-2, il gap di composizionalità è noto per persistere fino a 175 miliardi di parametri. Inoltre, lo studio si concentra su interventi data-centric sotto un pre-addestramento standard e non valuta obiettivi alternativi come il reinforcement learning o la distillazione della conoscenza.