💬 NLP

Cross-Lingual Exploration for Parametric Knowledge

Dieses Paper schlägt die sprachübergreifende Exploration als eine effiziente Strategie zur Inferenzzeit vor, welche den Abruf parametrischen Wissens, die faktische Erinnerung und die sprachübergreifende Konsistenz in großen Sprachmodellen über 17 verschiedene Sprachen hinweg signifikant verbessert und dabei die Skalierung in der jeweiligen Muttersprache übertrifft.

Ursprüngliche Autoren: Elisha Diskind, Itamar Trainin, Uri Shaham, Leshem Choshen, Idan Szpektor, Omri Abend

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Elisha Diskind, Itamar Trainin, Uri Shaham, Leshem Choshen, Idan Szpektor, Omri Abend

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: Das „verschlossene Zimmer“ des Wissens

Stellen Sie sich vor, ein Large Language Model (LLM) sei wie eine riesige, mehrsprachige Bibliothek. In dieser Bibliothek sind alle Fakten der Welt auf Regalen (den „Parametern“ des Modells) gespeichert. Es gibt jedoch einen Haken: Manche Fakten sind nur auf ganz bestimmten Regalen in ganz bestimmten Sprachen geschrieben.

Wenn Sie den Bibliothekar (die KI) auf Englisch nach einer lokalen japanischen Radiosendung fragen, schaut er vielleicht im „Englisch“-Bereich nach, findet dort nichts und rät eine falsche Antwort oder sagt: „Das weiß ich nicht.“ Er steckt in einem „verschlossenen Zimmer“ fest, weil die korrekte Information eigentlich auf einem Regal steht, das mit „Japanisch“ beschriftet ist, der Bibliothekar aber nie daran gedacht hat, dorthin zu gehen.

Diese Arbeit nennt dieses Problem Parametric Knowledge Inaccessibility (Unzugänglichkeit parametrischen Wissens). Das Wissen existiert im Modell, aber Standardmethoden können nicht darauf zugreifen, weil sie in einer einzigen Sprache verharren.

Die Lösung: Cross-Lingual Exploration (Sprachübergreifende Exploration)

Die Autoren schlagen eine Strategie vor, die Cross-Lingual Exploration genannt wird. Anstatt die Frage nur in der Sprache zu stellen, in der Sie begonnen haben, sagen Sie der KI: „Hey, vielleicht liegt die Antwort nicht auf Englisch. Finde die Sprache, in der dieser Fakt am wahrscheinlichsten zu finden ist, denke dort darüber nach und bringe die Antwort dann zu mir zurück.“

Denken Sie an einen Detektiv, der einen Fall löst:

Standardmethode: Der Detektiv spricht nur Englisch. Er befragt einen englischsprachigen Zeugen, der die Antwort nicht weiß. Fall abgeschlossen (fälschlicherweise).
Cross-Lingual Exploration: Der Detektiv erkennt, dass der Hinweis in einem fremden Land liegt. Er engagiert einen Übersetzer, reist in dieses Land, befragt den einheimischen Zeugen in seiner Muttersprache, erhält die korrekte Antwort und übersetzt sie zurück.

Die vier Dimensionen der Strategie

Die Arbeit unterteilt diese „Detektivarbeit“ in vier Werkzeuge (Dimensionen), die getestet wurden:

Language Selection (Die Wahl des richtigen Detektivs):
- Die Analogie: Schicken Sie den Detektiv zu einem allgemeinen Knotenpunkt (wie Englisch, das als „Pivot“ dient), oder lassen Sie ihn selbst herausfinden, zu welchem spezifischen Land der Hinweis gehört?
- Das Ergebnis: Den der KI zu überlassen, autonom die beste Sprache zu wählen (z. B. zu erkennen, dass ein Fakt über einen argentinischen Anwalt am besten auf Spanisch zu finden ist), funktionierte besser, als alles durch das Englische zu erzwingen.
Routing (Der gewählte Pfad):
- Die Analogie: Nimmt der Detektiv einen direkten Weg in das richtige Land, oder schickt er ein Team von 13 Detektiven gleichzeitig in 13 verschiedene Länder?
- Das Ergebnis: Das Versenden eines Multi-Path-Teams (parallele Exploration) war am effektivsten. Es ist wie das Auswerfen eines breiteren Netzes; selbst wenn 12 Detektive falsch liegen, rettet der eine, der im richtigen Land war, den Tag.
Aggregation (Den Gewinner bestimmen):
- Die Analogie: Sob es das Team mit 13 verschiedenen Antworten zurückkehrt, wie entscheiden Sie, welche wahr ist? Wählen Sie einfach die populärste Antwort (Mehrheitsentscheidung/Majority Vote), oder suchen Sie nach der „Experten“-Antwort, die vielleicht eine Minderheitenmeinung ist?
- Das Ergebnis: Für sehr spezifische, lokale Fakten war die „Minority Aware“-Strategie (die Suche nach der einzigartigen, korrekten Antwort, selbst wenn sie die einzige ist) überraschend effektiv.
Budget (Die Kosten):
- Die Analogie: Wie viel Geld (Rechenleistung) sind Sie bereit auszugeben?
- Das Ergebnis: Obwohl die Aufforderung an die KI, in mehreren Sprachen zu denken, mehr „Tokens“ (Geld) kostet, ist es tatsächlich effizienter, als dieselbe Frage 13 Mal auf Englisch zu stellen. Man erhält für das investierte Geld bessere Ergebnisse.

Wichtigste Ergebnisse: Was sie entdeckt haben

Verborgene Fakten freilegen: Durch den Wechsel der Sprache konnte die KI Fakten abrufen, die zuvor unmöglich zu finden waren. In einigen Fällen verbesserte dies die Genauigkeit für spezifisches lokales Wissen um bis zu 44 %.
Bessere Konsistenz: Wenn die KI dieselbe Frage in verschiedenen Sprachen gestellt wird (z. B. „Wer ist der DJ?“ auf Englisch, Japanisch und Koreanisch), gibt sie meist unterschiedliche, widersprüchliche Antworten. Die Cross-Lingual Exploration sorgte dafür, dass die KI unabhängig von der Sprache die gleiche korrekte Antwort gibt. Dies macht die KI zuverlässiger und weniger „verwirrt“.
Es ist nicht nur „tieferes Nachdenken“: Die Autoren bewiesen, dass die Verbesserung nicht nur daraus resultierte, dass die KI „länger nachdachte“ (Reasoning). Die Verbesserung kam spezifisch durch den Sprachwechsel. Der Akt des Übersetzens und des Nachdenkens in einer anderen Sprache knackte den Speicher auf.

Das Faz-it

Diese Arbeit zeigt, dass Large Language Models viel Wissen in ihren „Parametern“ verborgen haben, aber oft vergessen, in der richtigen Sprache danach zu suchen. Indem wir Sprache nicht nur als Kommunikationsmittel betrachten, sondern als einen Schlüssel, um verschiedene Teile des Gedächtnisses des Modells zu entriegeln, können wir KI viel intelligenter, genauer und konsistenter für die ganze Welt machen.

Es geht nicht darum, der KI neue Fakten beizubringen; es geht darum, ihr beizubringen, wie sie nach den Fakten sucht, die sie bereits kennt.

Technisches Resümee: Kreuzsprachliche Exploration für parametrisches Wissen

Problemstellung

Große Sprachmodelle (LLMs) kodieren enorme Mengen an realweltlichem, multilingualem Wissen innerhalb ihrer Parameter. Dieses parametrische Wissen ist jedoch nicht über alle Sprachen hinweg gleichmäßig zugänglich. Standardmäßige Inferenztechniken scheitern oft daran, lokalisierte Fakten abzurufen, wenn diese in einer spezifischen Sprache abgefragt werden, was zu Halluzinationen oder falschen Antworten führt, selbst wenn das Wissen im Modell vorhanden ist. Dieses Phänomen schafft eine Lücke in der kreuzsprachlichen Wissensübertragung und -konsistenz, bei der derselbe zugrunde liegende Fakt in einer Sprache (z. B. Japanisch) leicht zugänglich sein kann, in einer anderen (z. B. Englisch) jedoch latent oder unzugänglich bleibt. Die Autoren postulieren, dass die Mechanismen zur Speicherung und zum Abruf dieses Wissens eng in der parametrischen Superposition kodiert sind und dass Standard-Inferenzpfade in einer einzelnen Sprache nicht ausreichen, um alle latenten Fakten freizusetzen.

Methodik

Das Paper schlägt Cross-Lingual Exploration vor, eine Strategie zur Inferenzzeit, die die internen kreuzsprachlichen Fähigkeiten des Modells nutzt, um verborgenes faktisches Wissen hervorzubringen. Anstatt die Sprachwahl als festen, aufgabe-spezifischen Prompt zu behandeln, rahmen die Autoren die kreuzsprachliche Exploration als einen strukturierten Suchprozess, der durch vier inhärente Dimensionen definiert ist:

Sprachauswahl (Language Selection): Bestimmung, welche linguistischen Kontexte ( $L_e$ ) zu sondieren sind. Die Strategien reichen von festen Pivot-Sprachen (z. B. alles ins Englische zu übersetzen) bis hin zur autonomen, modellgesteuerten Auswahl, bei der das Modell über den kulturellen Ursprung eines Faktums nachdenkt, um die am besten geeignete Sprache für das Reasoning auszuwählen.
Routing: Definition der Suchtrajektorie. Dies umfasst Single-path-Strategien (Sich festlegen auf eine Sprache oder sequenzielles Wechseln zwischen Sprachen) und Multi-path-Strategien (gleichzeitiges Generieren unabhängiger Reasoning-Trajektorien in mehreren Sprachen).
Aggregation: Der Mechanismus zur Destillation der finalen Antwort aus mehreren Kandidaten-Trajektorien. Die Autoren evaluieren Majority Vote (Auswahl der häufigsten Antwort) und Minority-Aware-Selektion (die Überlegung, dass die korrekte Antwort für lokalisierte Fakten unter den halluzinierten Antworten anderer Pfade eine Minderheit sein könnte).
Inferenz-Budget (Inference Budget): Verfolgung der Rechenkosten (Tokens und Modellaufrufe), um einen fairen Vergleich zwischen Explorationsstrategien und nativsprachlicher Skalierung zu gewährleisten.

Die Autoren instanziieren eine Suite von Strategien basierend auf diesen Dimensionen (zusammengefasst in Tabelle 1 des Papers) und evaluieren sie auf zwei Benchmarks:

ECLeKTic: Konzentriert sich auf „languagespezifische“ Fakten, bei denen Informationen in einer Quellsprache existieren, aber keine Äquivalente in der Zielsprache vorhanden sind.
CLIKE: Evaluiert allgemeine Wikidata-Fakten über 13 typologisch diverse Sprachen hinweg, um die allgemeine faktische Abrufrate (Recall) und die kreuzsprachliche Konsistenz zu messen.

Experimente wurden über sieben State-of-the-Art-Modelle (einschließlich Gemini 2.5 Flash, GPT-4o, Qwen 3 und Grok 4.1) durchgeführt, die 17 einzigartige Sprachen abdecken.

Kernergebnisse

Die Studie zeigt, dass kreuzsprachliche Exploration die Leistung über alle evaluierten Modelle und Sprachen hinweg signifikant verbessert:

Wissenstransfer: Kreuzsprachliche Exploration verbessert konsistent die Fähigkeit, Anfragen in einer Zielsprache zu beantworten, wenn der Fakt in einer anderen Quellsprache lokalisiert ist. Im Vergleich zu monolingualen Baselines erzielten Explorationsstrategien Wissensübertragungs-Gewinne von bis zu 21 % auf dem ECLeKTic-Datensatz.
Faktische Abrufrate (Factual Recall): Die Vorteile erstrecken sich über lokalisierte Fakten hinaus. Exploration steigert auch den allgemeinen faktischen Recall auf dem CLIKE-Benchmark, was darauf hindeutet, dass das Durchlaufen alternativer linguistischer Pfade hilft, parametrisches Wissen abzurufen, das nominell in der Abfragesprache vorhanden, aber über standardmäßiges monolinguales Reasoning nicht zugänglich ist.
Mechanismus des Gewinns: Die Autoren isolieren die Quelle dieser Gewinne, indem sie kreuzsprachliche Exploration mit monolingualem Reasoning (unter Verwendung zwischengeschalteter „Thinking“-Schritte in derselben Sprache) vergleichen. Sie stellen fest, dass der Sprachwechsel (Language Shift) selbst, und nicht nur der Reasoning-Prozess allein, der primäre Treiber für das Freisetzen unzugänglichen Wissens ist. Autonome Selektionsstrategien (bei denen das Modell über den kulturellen Ursprung des Faktums nachdenkt) übertrafen sogar feste englische Pivot-Strategien und Oracle-basierte Quellsprachen-Routing-Verfahren.
Effizienz (Pareto-Frontier): Beim Plotten der Genauigkeit gegen die Token-Kosten etabliert die kreuzsprachliche Exploration eine effizientere Rechen-Pareto-Front als die nativsprachliche Skalierung. Sie erreicht eine höhere Genauigkeit für das gleiche Rechenbudget im Vergleich zur einfachen Erhöhung der Anzahl der Reasoning-Pfade in der nativen Sprache.
Kreuzsprachliche Konsistenz: Das Paper führt ein Hypothesentest-Framework ein, um die intrinsische Konsistenz zu messen. Die Ergebnisse zeigen, dass kreuzsprachliche Exploration die Konsistenz zwischen Sprachen signifikant über das Maß hinaus verbessert, das allein durch Genauigkeitsgewinne erklärbar wäre, was robustere und vorhersehbarere Verhaltensweisen für Downstream-Anwendungen ermöglicht.

Bedeutung und Ansprüche

Die Autoren behaupten, dass ihre Arbeit die multilinguale Prompt-Exploration als eine hocheffektive Inferenzzeit-Strategie zur Freisetzung von latentem parametrischem Wissen etabliert. Die Bedeutung dieser Arbeit liegt in:

Herausforderung der „English Pivot“-Annahme: Die Ergebnisse legen nahe, dass das Routing aller Anfragen durch das Englische suboptimal ist. Die autonome Auswahl der Reasoning-Sprachen basierend auf dem kulturellen Kontext des Faktums liefert überlegene Ergebnisse.
Neudefinition von Inferenzzeit-Skalierung: Das Paper argumentiert, dass Leistungssteigerungen bei LLMs nicht ausschließlich durch die Linse der Rechenleistung-Skalierung (mehr Tokens in einer Sprache) betrachtet werden sollten, sondern durch die Linse der Such-Effizienz (Exploration diverser linguistischer Pfade). Kreuzsprachliche Exploration bietet einen effizienteren Weg zum Zugriff auf verborgenes Wissen.
Intrinsische Konsistenz: Die Arbeit zeigt, dass Konsistenz ein unabhängiges Desideratum von der Genauigkeit ist. Kreuzsprachliche Exploration macht Modelle nicht nur genauer, sondern auch konsistenter über Sprachen hinweg, eine kritische Eigenschaft für zuverlässige multilinguale Systeme.

Die Autoren kommen zu dem Schluss, dass, während die Aggregation der Antworten weiterhin einen Engpass darstellt (da die potenzielle Obergrenze des Wissensabrufs oft höher ist als der realisierte Gewinn), das explizite Training von Modellen zur strategischen Durchführung kreuzsprachlicher Exploration eine vielversprechende Richtung für den Aufbau robusterer und faktisch zugänglicherer multilingualer LLMs darstellt. Das Paper schlägt keine spezifischen architektonischen Änderungen vor, sondern einen strukturierten Designraum für Inferenzzeit-Strategien.