Less Languages, Less Tokens: An Efficient Unified Logic Cross-lingual Chain-of-Thought Reasoning Framework

1. Problemstellung

Cross-lingual Chain-of-Thought (XCoT) Reasoning nutzt die Stärken mehrerer Sprachen, um die推理sfähigkeiten (Reasoning) von Large Language Models (LLMs) zu verbessern, oft durch Selbstkonsistenz (Self-Consistency), bei der mehrere vollständige Denkpfade in verschiedenen Sprachen generiert und aggregiert werden.

Die bestehenden Methoden leiden jedoch unter zwei wesentlichen Ineffizienzen:

• Vollständige Sprachabdeckung: Traditionelle Ansätze generieren Denkpfade für alle verfügbaren Kandidatensprachen, unabhängig davon, ob eine Sprache für die spezifische Anfrage relevant ist. Dies führt zu redundanten Berechnungen.
• Vollständige Pfadgenerierung: Es werden vollständige Denkpfade bis zum Ende generiert, auch wenn sich frühzeitig zeigt, dass ein Pfad logisch inkonsistent oder von geringer Qualität ist.
• Fehlende Vergleichbarkeit: Da die Repräsentationen von LLMs stark sprachabhängig sind, ist es schwierig, Denkpfade verschiedener Sprachen direkt zu vergleichen oder minderwertige Pfade effektiv zu beschneiden (Pruning).

Das Ergebnis sind hohe Token-Kosten, lange Latenzzeiten und eine lineare Skalierung der Inferenzkosten mit der Anzahl der Sprachen, ohne dass dies immer zu einer proportionalen Genauigkeitssteigerung führt.

2. Methodik: UL-XCoT

Die Autoren stellen UL-XCoT (Unified Logic Cross-lingual Chain-of-Thought) vor, ein Framework, das die Effizienz durch zwei Hauptmechanismen steigert: „Weniger Sprachen" und „Weniger Tokens".

A. Unified Logic Mechanism (ULM)

Um Denkpfade verschiedener Sprachen fair vergleichen zu können, wird ein einheitlicher logischer Repräsentationsraum geschaffen.

• Funktionsweise: Das Modell nutzt versteckte Zustände (Hidden States) aus einer bestimmten Transformer-Schicht. Durch die Verwendung eines festen Validierungsdatensatzes werden sprachspezifische Verschiebungen („Language Centers") berechnet.
• Projektion: Mithilfe einer Singulärwertzerlegung (SVD) wird ein Unterraum extrahiert, der sprachspezifische Variationen enthält. Eine Projektionsoperator entfernt diese sprachspezifischen Komponenten und projiziert die Eingaben in einen sprachinvarianten logischen Raum. In diesem Raum sind die Repräsentationen desselben logischen Gedankens in verschiedenen Sprachen direkt vergleichbar.

B. Candidate Language Selection (CLS)

Bevor die eigentliche Generierung beginnt, wird die Menge der zu verarbeitenden Sprachen reduziert.

• Verstehens-Ähnlichkeits-Score (USS): Basierend auf dem einheitlichen logischen Raum wird für jede Zielsprache ein Score berechnet, der misst, wie gut das Modell die Eingabe in dieser Sprache „versteht" (d.h. wie ähnlich die Repräsentation zur Quelle ist).
• Selektion: Es werden nur die Top-$k$ Sprachen ausgewählt, die den höchsten Ähnlichkeits-Score aufweisen. Dies reduziert den Suchraum erheblich und vermeidet die Generierung von Pfaden in für die Aufgabe irrelevanten Sprachen.

C. Dynamic Chain-of-Thought Pruning (DCP)

Während des Decodierungsprozesses (Token-für-Token) werden Pfade dynamisch überwacht und bereinigt.

• Logische Qualitätsbewertung (LQS): Nach einer „Warm-up"-Phase wird die Entwicklung jedes Pfades im einheitlichen logischen Raum verfolgt. Ein Signal, das auf der Krümmung und Divergenz der versteckten Zustände basiert, misst die logische Konsistenz.
• Dynamisches Pruning: Pfade, die Anzeichen von logischer Inkonsistenz oder Drift zeigen (niedriger LQS), werden frühzeitig abgebrochen. Nur die verbleibenden, hochwertigen Pfade werden weiter generiert und zur finalen Aggregation genutzt.

D. Aggregation

Die verbleibenden, hochwertigen Pfade werden per Mehrheitsvoting (Voting) aggregiert, um die finale Antwort zu bestimmen.

3. Wichtige Beiträge

1. Identifikation einer inhärenten Ineffizienz: Das Paper zeigt auf, dass die vollständige Enumeration aller Sprachen in Ensemble-Methoden zu massiver Redundanz führt, da nicht alle Sprachen für jede Frage gleichwertig sind.
2. Neues Framework (UL-XCoT): Einführung eines effizienten Selbstkonsistenz-Frameworks, das Inferenzkosten durch zwei Dimensionen senkt:
   • Less Languages: Effiziente Vorauswahl relevanter Sprachen (CLS).
   • Less Tokens: Dynamisches Abschneiden minderwertiger Pfade während der Generierung (DCP).
3. Einheitlicher Logikraum: Entwicklung einer Methode, um sprachspezifische Repräsentationen in einen vergleichbaren logischen Raum zu transformieren, was ein präzises Pruning und eine zuverlässige Kreuzsprach-Konsistenz ermöglicht.

4. Ergebnisse

Die Methode wurde auf zwei Benchmarks evaluiert: PolyMath (18 Sprachen, mathematisches Reasoning) und MMLU-ProX-Lite (29 Sprachen, allgemeines Wissen). Als Backbone diente DeepSeek-R1-Distill-Qwen-7B.

• Effizienzsteigerung:
  • UL-XCoT reduziert die durchschnittliche Token-Anzahl um über 50 % im Vergleich zu AUTOCAP und um über 65 % im Vergleich zu Self-Consistency (SC).
  • Die End-to-End-Latenz sinkt drastisch (z. B. von 43s auf 28s in einem Beispiel), was eine schnellere Inferenz ermöglicht.
• Genauigkeit:
  • Trotz der drastischen Reduktion der Ressourcen erreicht UL-XCoT eine wettbewerbsfähige bis überlegene Genauigkeit im Vergleich zu Baselines.
  • Auf PolyMath erzielt es konsistent hohe Werte über alle Schwierigkeitsgrade hinweg.
• Robustheit bei Low-Resource-Sprachen:
  • Besonders hervorzuheben ist die Stabilität bei ressourcenarmen Sprachen. Während Standard-Methoden dort oft versagen, liefert UL-XCoT stabile und signifikante Verbesserungen, da es sich auf die logisch relevantesten Sprachen konzentriert und nicht auf zufällige Sprachkombinationen setzt.
• Generalisierung: Die Ergebnisse auf MMLU-ProX-Lite bestätigen, dass die Methode nicht nur auf Mathematik beschränkt ist, sondern sich auf breitere Reasoning-Aufgaben verallgemeinern lässt.

5. Bedeutung und Fazit

UL-XCoT adressiert das kritische Problem der Skalierbarkeit und Kosten bei multilingualen Reasoning-Systemen. Indem es die Annahme widerlegt, dass alle Sprachen für jede Aufgabe gleich wichtig sind, und durch die Einführung eines einheitlichen logischen Raums für dynamische Entscheidungen, ermöglicht es:

• Kosteneffiziente Inferenz: Deutliche Reduktion von Token-Kosten und Latenz, was für den produktiven Einsatz von LLMs entscheidend ist.
• Nachhaltige Qualität: Beibehaltung oder sogar Steigerung der Genauigkeit durch Fokussierung auf qualitativ hochwertige Pfade.
• Inklusivität: Verbesserte Leistung in ressourcenarmen Sprachen, was die Barriere für den Einsatz von KI in weniger verbreiteten Sprachen senkt.

Das Paper demonstriert, dass „weniger" (weniger Sprachen, weniger Tokens) in diesem Kontext tatsächlich „mehr" (bessere Effizienz bei gleicher oder höherer Qualität) bedeutet. Der Code ist öffentlich verfügbar, um die Reproduzierbarkeit zu gewährleisten.