💬 NLP

Multi-Hop Knowledge Composition is Bound by Pretraining Exposure

Dieses Paper demonstriert, dass das Scheitern von Large Language Models bei implizitem Multi-Hop-Schlussfolgern nicht auf einen Mangel an auswendig gelernten Fakten zurückzuführen ist, sondern auf eine Defizienz im Pretraining, da kompositorische Schlussfolgerungsfähigkeiten nur auf jene Individuen übertragen werden, die während des Pretrainings explizit mehrstufigen Kontexten ausgesetzt waren.

Ursprüngliche Autoren: Yannis Karmim, Luis Marti, Djamé Seddah, Valentin Barrière

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yannis Karmim, Luis Marti, Djamé Seddah, Valentin Barrière

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Bibliothekar (die KI), der eine riesige Bibliothek mit Biografien auswendig gelernt hat.

Wenn Sie fragen: „Wann wurde Thierry geboren?“, antwortet der Bibliothekar sofort.
Wenn Sie fragen: „Wer ist Zinedines engster Freund?“, antwortet der Bibliothekar ebenfalls sofort.

Aber wenn Sie fragen: „Wann wurde Zinedines engster Freund geboren?“, erstarrt der Bibliothekar. Obwohl er beide Fakten perfekt kennt, kann er die Punkte nicht miteinander verbinden, um Ihnen die Antwort in einem Schritt zu geben. Er kennt die Einzelteile, aber er kann das Puzzle nicht zusammensetzen.

Diese Arbeit untersucht, warum das passiert und ob man den Bibliothekar dazu bringen kann, dies zu tun, indem man lediglich die Bücher ändert, die er während seines Trainings liest.

Das Kernproblem: Das „fehlende Bindeglied“

Die Forscher nennen dies die Kompositionalitätslücke (Compositionality Gap). Es ist, als hätte man einen Werkzeugkasten voller perfekter Hämmer und Nägel, aber man weiß nicht, wie man daraus einen Stuhl baut, wenn man darum gebeten wird. Die KI kann die Fakten finden, aber sie kann sie nicht implizit miteinander „verketten“.

Das Experiment: Zwei Gruppen von Menschen

Um dies zu untersuchen, erschufen die Forscher eine fiktive Welt mit 100.000 Menschen. Sie teilten diese Menschen in zwei Gruppen auf:

Die „Exponierte“ Gruppe: Diese Menschen tauchen in den Trainingsbüchern in komplexen Geschichten auf. Zum Beispiel könnten die Bücher sagen: „Marcus' Freund ist Delia, und Delia wurde in Paris geboren.“ Dies lehrt die KI, „Marcus“ mit „Delia“ mit „Paris“ zu verknüpfen.
Die „Zurückgehaltene“ Gruppe: Diese Menschen erscheinen in den Büchern, aber nur in einfachen, einstufigen Geschichten. Die Bücher sagen: „Marcus wurde in London geboren.“ Sie tauchen nie in einer Geschichte auf, die sie mit jemand anderem verknüpft. Sie sind die „Fremden“, die nie in das komplexe Geflecht von Beziehungen eingeführt wurden.

Die Forscher trainierten die KI dann mit diesen Büchern und testeten sie bei Fragen zu beiden Gruppen.

Die große Entdeckung: Man kann nicht lehren, was man nicht gesehen hat

Die Forscher versuchten neun verschiedene Wege, die Trainingsdaten zu „augmentieren“ (die Art und Weise zu ändern, wie die Geschichten geschrieben wurden, unter Verwendung von natürlicher Sprache oder strukturierten Daten wie RDF).

Hier ist das, was sie herausfanden:

Für die „Exponierte“ Gruppe: Als die KI die komplexen Geschichten während des Trainings sah, wurde sie viel besser darin, mehrstufige Fragen zu beantworten. Wenn sie lernte, dass „A mit B befreundet ist“ und „B in X geboren wurde“, konnte sie die Frage „Wann wurde der Freund von A geboren?“ korrekt beantworten.
Für die „Zurückgehaltene“ Gruppe: Egal wie sehr sie die Trainingsdaten auch optimierten, die KI versagte vollständig bei dieser Gruppe. Selbst wenn die KI die Fakten perfekt kannte, konnte sie sie nicht verbinden, wenn die spezifische Person während des Trainings nie in einer „komplexen“ Geschichte aufgetaucht war.

Die Analogie:
Stellen Sie sich vor, Sie bringen einem Kind bei, Matheaufgaben zu lösen.

Exponierte Gruppe: Sie zeigen dem Kind eine Aufgabe: „Wenn John 2 Äpfel hat und 1 an Mary gibt, wie viele Äpfel hat Mary jetzt?“ Sie machen dies viele Male. Das Kind lernt die Logik des Teilens.
Zurückgehaltene Gruppe: Sie zeigen dem Kind ein anderes Kind, „Bob“, aber fragen es immer nur: „Wie viele Äpfel hat Bob?“ Sie fragen nie nach Bob im Kontext des Teilens.
Der Test: Wenn Sie fragen: „Wenn Bob einen Apfel an Alice gibt, wie viele Äpfel hat Alice jetzt?“, scheitert das Kind (die KI). Es weiß, dass Bob Äpfel hat, aber weil es Bob nie im Kontext des Teilens erlebt hat, kann es die Logik nicht auf ihn anwenden.

Wichtige Erkenntnisse

Es ist ein Trainingsproblem, kein Gedächtnisproblem: Die KI scheitert nicht, weil sie „dumm“ ist oder nicht genug Speicher hat. Sie scheitert, weil sie für diese spezifischen Personen nie mit dieser Art der Argumentation während ihres „Schulbesuchs“ (Pretraining) konfrontiert wurde.
Exposition ist obligatorisch: Um zu lernen, die Punkte zu verbinden, muss die KI die Punkte bereits verbunden sehen, bevor sie getestet wird. Man kann der KI nicht beibringen, über eine Person zu schlussfolgern, die sie nie in einem komplexen Kontext gesehen hat.
Explizit vs. Implizit: Die Forscher probierten zwei Arten aus, wie die Geschichten geschrieben wurden:
- Explizit: „Marcus' Freund Delia wurde in Paris geboren.“ (Nennung des Freundes).
- Implizit: „Marcus' Freund wurde in Paris geboren.“ (Verbergen des Namens des Freundes).
  Sie fanden heraus, dass Implizit (das Verbergen des Namens) tatsächlich besser war, um die KI zum Schlussfolgern zu lehren, da es die KI zwang, die Verbindung selbst zu finden, anstatt nur die Antwort abzulesen. Dennoch scheiterten selbst die besten Trainingsmethoden bei der „Zurückgehaltenen“ Gruppe.

Das Fazgeständnis

Das Paper kommt zu dem Schluss, dass implizites Multi-Hop-Reasoning an die Exposition während des Pretrainings gebunden ist.

Wenn die KI eine bestimmte Person (oder Entität) nicht in einem „mehrstufigen“ Kontext gesehen hat, während sie lernte, wird sie wahrscheinlich auch später nicht in der Lage sein, über diese Person zu schlussfolgern – ungeachtet dessen, wie intelligent das Modell ist oder wie viele Daten man ihr füttert. Die Fähigkeit, die Punkte zu verbinden, ist keine allgemeine Superkraft, die die KI von selbst entwickelt; es ist eine spezifische Fähigkeit, die sie nur für die Charaktere erlernt, mit denen sie geübt hat.

Technisches Resümee: Multi-Hop-Wissenskomposition ist durch Pretraining-Exposition begrenzt

Problemstellung
Große Sprachmodelle (LLMs) zeigen eine hohe Treue bei der Speicherung und dem Abruf von individuellem Faktenwissen, scheitern jedoch konsistent an implizitem Multi-Hop-Schlussfolgern innerhalb eines einzigen Vorwärtsdurchlaufs. Ein Modell kann korrekt beantworten „Wann wurde X geboren?“ und „Wer ist Ys engster Freund?“, scheitert aber dennoch an der Frage „Wann wurde Ys engster Freund geboren?“, selbst wenn beide konstituierenden Fakten perfekt auswendig gelernt wurden. Dieses Phänomen, bekannt als die Kompositionalitätslücke (compositionality gap), bleibt über verschiedene Modellskalen und Architekturen hinweg bestehen. Während bestehende Lösungen das Schlussfolgern durch Chain-of-Thought oder Dekomposition während der Inferenz externalisieren, bleibt unklar, ob kompositionelles Schlussfolgern allein durch das Pretraining entstehen kann. Zudem ist die Ursache bei proprietären Modellen aufgrund der nicht offengelegten Pretraining-Daten nicht diagnostizierbar.

Methodik
Die Autoren untersuchen diese Lücke mithilfe eines kontrollierten natürlichen Sprachsettings, das Personen, die während des Pretrainings kompositionalen Kontexten ausgesetzt waren, strikt von solchen trennt, die dies nicht waren.

Datensatzkonstruktion: Aufbauend auf dem synthetischen Biografie-Framework von Allen-Zhu und Li (2024) erstellten die Autoren einen Datensatz von $N=100.000$ Individuen, von denen jedes durch sechs Attribute (z. B. Geburtstag, Geburtsstadt) und gerichtete „Freund“- und „Feind“-Beziehungen beschrieben wird.
Populationspartitionierung: Die Population wird in zwei disjunkte Mengen aufgeteilt:
- $P_{comp}$ (Kompositionell): Individuen, deren Relationen ausschließlich auf andere Mitglieder von $P_{comp}$ verweisen. Diese Individuen sind während des Pretrainings kompositionalen Kontexten ausgesetzt.
- $P_{held}$ (Zurückgehalten): Individuen, deren Relationen ausschließlich innerhalb von $P_{held}$ verweisen. Entscheidend ist, dass diese Individuen niemals als intermediäre (Brücken-)Entitäten in einer während des Pretrainings gesehenen kompositionalen Kette erscheinen.
Pretraining und Augmentierung: Die Autoren trainieren GPT-2-Modelle (Small, Medium, Large) von Grund auf neu. Sie führen neun verschiedene datenzentrierte Augmentierungsstrategien für $P_{comp}$ $P_{co m p}$ ein, die entlang zweier Achsen variieren:
- Format: Natürliche Sprache (NL) vs. RDF (strukturierte Tripel).
- Verbalisierung: Explizit (Nennung der Brückenentität) vs. Implizit (Auslassen der Brückenentität).
- Alle Bedingungen beinhalten atomare 1-Hop-Biografien mit multi5p-permute Augmentierung.
Evaluationsprotokoll: Die Modelle werden auf 75 % von $P_{comp}$ ( $P^{train}_{comp}$ ) trainiert und auf den verbleibenden 25 % ( $P^{test}_{comp}$ ) sowie auf der völlig ungesehenen Menge $P_{held}$ evaluiert. Die Evaluation misst die First-Token-Genauigkeit für 1-Hop-, 2-Hop- und 3-Hop-Anfragen ohne Zugriff auf die intermediären Entitäten im Kontext.

Kernergebnisse
Die Experimente liefern drei primäre Erkenntnisse:

Die Kompositionalitätslücke ist ein Pretraining-Fehler: Selbst bei nahezu perfekter 1-Hop-Genauigkeit (97 %) erzielen die Modelle bei 2-Hop-Abfragen für $P_{held}$ nahezu 0 % und nur geringfügig bessere Werte für $P_{comp}$ unter Baseline-Training. Dies bestätigt, dass die Lücke kein Kapazitätslimit oder ein Mangel an Wissen ist, sondern ein Versagen bei der Komposition von Fakten während des Pretrainings.
Pretraining-Exposition ist eine notwendige Bedingung: Kompositionelles Pretraining verbessert das Multi-Hop-QA signifikant für ungesehene Fragen bei exponierten Individuen ( $P^{test}_{comp}$ ), wobei die 2-Hop-Genauigkeit unter spezifischen Augmentierungsstrategien (z. B. implizit + explizit NL-RDF) bis zu 0,83 erreicht. Es findet jedoch kein Transfer auf $P_{held}$ statt. Keine datenzentrierte Augmentierung kann das Fehlen der Exposition eines Individuums in einem kompositionalen Kontext kompensieren.
Implizite vs. explizite Augmentierung:
- Implizite Augmentierung (bei der die Brückenentität ausgelassen wird) schneidet isoliert betrachtet konsistent besser ab als explizite Augmentierung (bei der die Brücke benannt wird). Explizite Formate verbessern die Lokalisierung des Brücken-Tokens (verifiziert via Logit Lens Analyse), führen aber nicht zu kompositionalem Erfolg.
- Hybride Ansätze (Mischung aus impliziten und expliziten Signalen) liefern die beste Performance auf $P^{test}_{comp}$ , was darauf hindeutet, dass die Mischung der Signale die Repräsentationsausrichtung verbessert.
- RDF-Formate (insbesondere implizites RDF) erweisen sich als hochwirksam und erreichen eine hohe kompositionelle Genauigkeit bei einem Bruchteil der Datenkosten im Vergleich zu NL.

Bedeutung und Ansprüche
Das Paper stellt fest, dass die Exposition gegenüber kompositionalen Kontexten während des Pretrainings eine notwendige Bedingung für implizites Multi-Hop-Schlussfolgern ist. Die Autoren argumentieren, dass Augmentierung entitätsspezifische Assoziationen induziert, anstatt eine wiederverwendbare, generalisierbare Kompositionslogik. Folglich scheitern die Modelle daran, Fakten für Individuen zu komponieren, die sie nie in einem Multi-Hop-Kontext erlebt haben, unabhängig von Modellgröße oder Fine-Tuning-Strategien.

Die Studie stellt die Annahme infrage, dass kompositionelles Schlussfolgern rein durch Datenausbau (Augmentation) für ungesehene Entitäten induziert werden kann. Sie legt nahe, dass die Trainingsverteilung explizit die spezifischen Entitäten innerhalb der erforderlichen relationalen Ketten enthalten muss, um implizites Multi-Hop-Schlussfolgern zu erreichen. Die Autoren stellen ihren Code und eine Reproduktion des Biografie-Frameworks zur Verfügung, um zukünftige Untersuchungen zu Trainingszielen oder architektonischen Modifikationen zu unterstützen, die dieses fundamentale Limit überwinden könnten.

Limitierungen
Die Autoren räumen ein, dass ihr Setting vollständig synthetisch ist und die Generalisierbarkeit auf natürlich vorkommende Korpora ungeprüft bleibt. Sie merken an, dass ihre Experimente auf GPT-2-Skalen basieren, die Kompositionalitätslücke jedoch bis zu 175 Mrd. Parametern bekannt ist. Zudem konzentriert sich die Studie auf datenzentrierte Interventionen unter Standard-Pretraining und evaluiert keine alternativen Ziele wie Reinforcement Learning oder Knowledge Distillation.