💬 NLP

Long-Context Reasoning Through Proxy-Based Chain-of-Thought Tuning

Das Papier stellt ProxyCoT vor, ein Trainingsframework, das das Schlussfolgern in langen Kontexten bei großen Sprachmodellen verbessert, indem es hochwertige Chain-of-Thought-Spuren, die aus kurzen Proxy-Kontexten abgeleitet wurden, durch überwachtes Feinabstimmen auf vollständige Sequenzen überträgt, wodurch eine überlegene Leistung bei reduzierten Rechenkosten und einer starken Generalisierung außerhalb des Trainingsbereichs erreicht wird.

Ursprüngliche Autoren: Miao Li, Irina Saparina, Alexander Gurung, Mirella Lapata

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Miao Li, Irina Saparina, Alexander Gurung, Mirella Lapata

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Nadel im Heuhaufen"-Falle

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. Ihnen wird eine Bibliothek mit 10 Millionen Büchern übergeben (dies ist der „lange Kontext"). Irgendwo in diesen Millionen Büchern befinden sich nur zwei Sätze, die den Hinweis enthalten, um den Fall zu lösen.

Aktuelle KI-Modelle sind wie Detektive, die alle 10 Millionen Bücher gelesen haben, aber überwältigt sind. Wenn sie versuchen, den Hinweis zu finden, gehen sie im Lärm verloren. Sie könnten die richtige Art von Antwort erraten, aber sie halluzinieren oft (erfinden) die spezifischen Fakten, weil sie sich nicht auf den winzigen, wichtigen Teil der riesigen Bibliothek konzentrieren können.

Wenn Sie jedoch demselben Detektiv nur die zwei Sätze mit dem Hinweis übergeben (den „Proxy-Kontext"), lösen sie den Fall sofort und perfekt.

Das Paradoxon: Der Detektiv weiß, wie man das Rätsel mit den zwei Sätzen löst, scheitert aber, wenn ihm die ganze Bibliothek gegeben wird, obwohl die Lösung exakt dieselbe ist.

Die Lösung: ProxyCoT (Die „Stützräder"-Methode)

Die Forscher, Miao Li und Kollegen von der University of Edinburgh, schlagen eine neue Trainingsmethode namens ProxyCoT vor. Stellen Sie es sich als ein zweistufiges Trainingslager für KI-Detektive vor.

Schritt 1: Üben auf dem „Hinweisblatt" (Der Proxy)

Anstatt die KI zu zwingen, die gesamte Bibliothek mit 10 Millionen Büchern zu lesen (was langsam, teuer und verwirrend ist), unterrichten sie sie zunächst mit den kurzen, relevanten Auszügen (dem Proxy-Kontext).

Wie sie es tun: Sie nutzen eine superintelligente „Lehrer-KI" (oder einen Reinforcement-Learning-Prozess), um der Schüler-KI genau zu zeigen, wie man das Problem unter Verwendung nur des kurzen Hinweisblatts logisch durchdenkt.
Die Analogie: Stellen Sie sich einen Meisterkoch vor, der einem Schüler beibringt, einen Kuchen zu backen. Anstatt den Schüler durch ein Lagerhaus voller Mehl, Zucker und Eier zu schicken, um das Rezept zu finden, gibt ihm der Lehrer eine einzelne, perfekte Rezeptkarte. Der Schüler lernt die Logik des Backens perfekt, weil es keine Ablenkungen gibt.

Schritt 2: Die Logik auf die „ganze Bibliothek" anwenden (Der volle Kontext)

Sobald die KI die logischen Schritte unter Verwendung der kurzen Hinweise beherrscht, wechseln die Forscher das Training. Jetzt geben sie der KI die volle, massive Bibliothek, bitten sie aber, exakt dieselben logischen Schritte anzuwenden, die sie gerade gelernt hat.

Das Ziel: Die KI lernt, den Lärm der 10 Millionen Bücher zu ignorieren und sich nur auf die zwei Sätze zu konzentrieren, die wichtig sind, und wendet die Logik an, die sie in Schritt 1 geübt hat.
Die Analogie: Jetzt ist der Schülerkoch wieder im Lagerhaus. Aber da er die Rezeptkarte perfekt auswendig gelernt hat, kann er direkt zum richtigen Regal gehen, die richtigen Zutaten holen und den Kuchen backen, ohne sich von den tausenden anderen Gegenständen im Raum ablenken zu lassen.

Warum das eine große Sache ist

Das Paper hebt drei Hauptvorteile dieser Methode hervor:

Es ist billiger und schneller: Das Trainieren einer KI auf 10 Millionen Token ist unglaublich teuer (wie der Versuch, eine Sprache zu lernen, indem man jedes Buch in einer Bibliothek liest). Das Trainieren auf den kurzen „Proxy"-Auszügen ist wie das Lesen einer Broschüre. Es spart enorme Mengen an Geld und Zeit.
Es funktioniert besser: Das Paper zeigt, dass Modelle, die auf diese Weise trainiert wurden, Probleme in den vollen langen Texten tatsächlich besser lösen als Modelle, die auf die alte Art trainiert wurden. Sie hören auf, Fakten zu halluzinieren, und beginnen, die echten Beweise zu finden.
Es ist intelligenter (Generalisierung): Die KI merkt sich nicht nur die spezifische Bibliothek, mit der sie trainiert wurde. Sie lernt eine Fähigkeit. Das Paper testete dies, indem es der KI eine völlig andere Art von Bibliothek (Finanzberichte oder wissenschaftliche Papers) gab, die sie noch nie gesehen hatte. Die KI konnte die Rätsel trotzdem lösen, was bewies, dass sie gelernt hatte, zu „denken", statt nur Antworten auswendig zu lernen.

Die zwei Geschmacksrichtungen von ProxyCoT

Das Paper beschreibt zwei Möglichkeiten, dieses Trainingslager durchzuführen:

ProxyCoT-ZS (Zero-Shot): Nutzt eine riesige, bereits existierende „Lehrer-KI", um die perfekten logischen Schritte auf den kurzen Hinweisen zu generieren, die die Schüler-KI dann kopiert.
ProxyCoT-RL (Reinforcement Learning): Wenn keine riesige Lehrerin verfügbar ist, lernt die KI durch Versuch und Irrtum an den kurzen Hinweisen. Sie erhält eine „Belohnung" (eine hohe Punktzahl), wenn sie die Antwort richtig hat, und lernt so den richtigen Weg zu denken, ohne dass ein Mensch oder ein Supercomputer ihr zuerst den Weg zeigen muss.

Das Fazit

Das Paper argumentiert, dass wir die KI nicht zwingen müssen, „alles" zu lesen, um „alles" zu verstehen. Indem wir sie zuerst auf kurzen, fokussierten Zusammenfassungen logisch denken lassen, können wir diese Fähigkeit auf massive, komplexe Dokumente übertragen. Es ist wie ein Schüler, dem das Schwimmen in einem kleinen Becken beigebracht wird, bevor er ins Meer geschickt wird; sobald er weiß, wie man schwimmt, ist das Ozean nicht mehr so beängstigend.

Was das Paper NICHT behauptet:

Es wird nicht behauptet, dass dies für medizinische Diagnosen oder klinische Anwendungen funktioniert (das Paper konzentriert sich auf Fragenbeantwortung zu wissenschaftlichen Artikeln und Wikipedia).
Es wird nicht behauptet, dass dies jedes Long-Context-Problem automatisch löst; es wird angemerkt, dass das Erstellen der „kurzen Zusammenfassungen" (Proxies) für einige reale Aufgaben immer noch schwierig sein kann.
Es wird nicht behauptet, dass dies andere Methoden wie „Retrieval" (Suche nach Informationen) ersetzt; es konzentriert sich darauf, das interne Gehirn der KI besser im Umgang mit langen Eingaben zu machen.

Technische Zusammenfassung: Long-Context-Reasoning durch proxybasiertes Chain-of-Thought-Tuning

Problemstellung

Kürzlich entwickelte große Sprachmodelle (LLMs) haben ihre Kontextfenster erweitert, um Eingaben von bis zu 10 Millionen Token zu unterstützen. Dennoch zeigen diese Modelle bei langen Kontextaufgaben, die komplexes Reasoning erfordern, wie etwa das Synthesieren von Erkenntnissen aus mehreren medizinischen Berichten oder das Analysieren von Finanzdokumenten, eine erhebliche Leistungsverschlechterung.

Das erkannte Kernproblem ist eine signifikante Leistungsdisparität zwischen vollständigen langen Kontexten und Proxy-Kontexten. Ein Proxy-Kontext ist definiert als eine kompakte Teilmenge der Eingabe, die nur die minimalen Beweise enthält, die zur Ableitung der korrekten Antwort notwendig sind. Während der zugrundeliegende Reasoning-Prozess, der zur Lösung einer Aufgabe erforderlich ist, unabhängig davon invariant bleibt, ob das Modell den vollständigen Kontext oder den Proxy sieht, zeigen empirische Ergebnisse, dass Modelle bei Proxy-Kontexten deutlich besser abschneiden. Wenn sie auf vollständige lange Kontexte konditioniert sind, generieren Modelle oft plausible Reasoning-Strukturen auf hoher Ebene, scheitern jedoch daran, spezifische Fakten korrekt zu verankern, was zu Halluzinationen und geringerer Genauigkeit führt.

Bestehende Methoden zur Verbesserung des Reasonings, wie Chain-of-Thought (CoT)-Distillation und Reinforcement Learning (RL), stoßen in Long-Context-Szenarien an kritische Grenzen:

CoT-Distillation: Verlässt sich auf hochwertige Traces von großen Lehrermodellen. Das Abfragen dieser Lehrer über vollständige lange Kontexte ist rechenintensiv, langsam und liefert für komplexe Aufgaben oft unzuverlässige Traces.
Reinforcement Learning: Die Skalierung von RL auf lange Kontexte ist aufgrund des Bedarfs an umfangreichem Sampling über lange Sequenzen während des Trainings prohibitiv teuer.

Methodik: ProxyCoT

Die Autoren schlagen ProxyCoT vor, ein neuartiges zweistufiges Trainingsframework, das entwickelt wurde, um Reasoning-Fähigkeiten von kurzen Proxy-Kontexten auf vollständige lange Kontexte zu übertragen. Das Framework basiert auf der Hypothese, dass Reasoning-Traces, die auf effizienten Proxy-Eingaben generiert werden, durch supervised fine-tuning in vollständige lange Kontexte „verankert" werden können.

Das Framework besteht aus zwei Stufen:

Stufe 1: Gewinnung von CoTs auf kurzen Proxy-Kontexten

Das Ziel ist die Generierung hochwertiger Reasoning-Traces ( $t$ ), die auf dem Proxy-Kontext ( $C_p$ ) und nicht auf dem vollständigen Kontext ( $C$ ) konditioniert sind. Diese Stufe bietet zwei Varianten zur Gewinnung der Traces:

ProxyCoT-ZS (Zero-Shot): Ein großes, handelsübliches Lehrermodell ( $M_{ZS}$ ) wird abgefragt, um Reasoning-Traces basierend auf dem Proxy-Kontext zu generieren ( $t \sim p_\phi(t | q, C_p)$ ). Nur Traces, die zu korrekten Antworten führen, werden beibehalten. Dies vermeidet die Kosten des Abfragens von Lehrern auf vollständigen langen Kontexten.
ProxyCoT-RL (Reinforcement Learning): Falls kein leistungsfähiger Lehrer verfügbar ist, wird das Zielmodell ( $M_{init}$ ) direkt auf Proxy-Kontexten mittels Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) optimiert. Das Modell lernt, die Wahrscheinlichkeit zu maximieren, Traces zu generieren, die zu korrekten Antworten führen ( $t \sim p_\theta(t | q, C_p)$ ).

Stufe 2: Verankerung von CoTs in vollständigen langen Kontexten

In dieser Stufe werden die in Stufe 1 erlernten Reasoning-Muster auf den vollständigen Kontext übertragen. Ein Studentmodell wird durch supervised fine-tuning (SFT) trainiert, um die in Stufe 1 generierten Reasoning-Traces zu reproduzieren, jedoch konditioniert auf den vollständigen langen Kontext ( $C$ ) statt auf den Proxy.

Ziel: Minimierung des negativen Log-Likelihood der Trace $t$ gegeben die Frage $q$ und den vollständigen Kontext $C$ :
$L_{SFT} = -E_{(q,C,C_p,t)} [\log p_\theta(t | q, C)]$
ProxyCoT-ZS: Das Studentmodell ( $M_{init}$ ) wird feinabgestimmt, um die Traces des Lehrers zu imitieren, während es den vollständigen Kontext sieht.
ProxyCoT-RL: Das in Stufe 1 RL-optimierte Modell ( $M_{RL}$ ) wird weiter feinabgestimmt, um seine erlernten Reasoning-Muster auf den vollständigen Kontext anzuwenden.

Hauptbeiträge

Formalisierung von Proxy-Kontexten: Die Arbeit führt das Konzept der Proxy-Kontexte für Long-Task-Reasoning ein und formalisiert es, wobei sie empirisch eine signifikante Leistungslücke zwischen kurzen Proxy- und vollständigen langen Kontexten aufdeckt, trotz identischer Reasoning-Anforderungen.
ProxyCoT-Framework: Ein neuartiges Trainingsframework, das kurze Proxy-Kontexte nutzt, um hochwertige CoT-Traces zu gewinnen, die anschließend zur Verbesserung des Reasonings über vollständige lange Kontexte eingesetzt werden. Dieser Ansatz umgeht die Notwendigkeit teurer Lehrer-Inferenz auf langen Sequenzen und reduziert die Sampling-Kosten für RL.
Empirische Validierung: Umfassende Experimente zeigen, dass ProxyCoT konsistent starke Baselines (einschließlich direktem SFT, RL auf vollständigen Kontexten und CoT-Distillation auf vollständigen Kontexten) über verschiedene Modellfamilien (Qwen3-4B, Gemma3-4B) und Datensätze (SciTrek, HotpotQA) hinaus übertrifft. Die Methode zeigt zudem eine starke Generalisierung auf domänenübergreifende Aufgaben.

Experimentelle Ergebnisse

Die Autoren evaluierten ProxyCoT auf SciTrek (Long-Context-QA über wissenschaftliche Artikel) und HotpotQA (Multi-Hop-QA über Wikipedia).

Leistungssteigerungen:
- Auf SciTrek erreichte ProxyCoT-RL mit Qwen3-4B eine Exact-Match-Rate von 46,5 % auf vollständigen Kontexten und übertraf damit deutlich die Zero-Shot-Baseline (30,8 %) sowie SFT auf vollständigen Kontexten (19,5 %). Es näherte sich sogar der Leistung des viel größeren Qwen3-235B-Thinking-Modells (48,8 %) an.
- Auf HotpotQA erreichte ProxyCoT-RL eine Genauigkeit von 52,7 % auf vollständigen Kontexten und übertraf alle Baselines.
Effizienz: ProxyCoT-RL verbesserte nicht nur die Genauigkeit, sondern führte auch zu erheblich kürzeren Reasoning-Traces zur Inferenzzeit. Auf SciTrek verwendete es durchschnittlich 617 CoT-Token im Vergleich zu 1.744 für Zero-Shot und 5.520 für ProxyCoT-ZS, bei gleichzeitig höherer Genauigkeit.
Ablationsstudien: Die Ergebnisse bestätigten, dass beide Trainingsstufen notwendig sind. Das Training nur auf Proxy-Kontexten (Stufe 1) ergab eine hohe Proxy-Genauigkeit, aber eine schlechte Verankerung im vollständigen Kontext. Das Training nur auf vollständigen Kontexten (Stufe 2) ohne von Proxy abgeleitete Traces führte zu geringerer Leistung. Die Kombination war für optimale Ergebnisse unerlässlich.
Domänenübergreifende Generalisierung: Modelle, die auf SciTrek mit ProxyCoT-RL trainiert wurden, zeigten verbesserte Leistung auf dem Loong-Benchmark (Finanzberichte und akademische Papers), was demonstriert, dass die Methode die allgemeinen Long-Context-Reasoning-Fähigkeiten verbessert und nicht nur aufgaben spezifische Muster auswendig lernt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ProxyCoT einen praktischen und effizienten Weg bietet, um Long-Context-Reasoning zu stärken, ohne auf von Lehrern generierte Traces über vollständige lange Kontexte angewiesen zu sein. Durch die Entkopplung der Reasoning-Erwerbung (auf günstigen, kurzen Proxys) von der Reasoning-Verankerung (auf teuren, langen Kontexten) adressiert das Framework die rechnerischen Engpässe aktueller Long-Context-Trainingsmethoden.

Die Autoren positionieren ProxyCoT als Lösung für Szenarien, in denen das Training und die Supervision von Long-Context-Modellen aufgrund von Kosten- und Datenbeschränkungen herausfordernd ist. Sie stellen fest, dass die Methode zwar den Zugriff auf Proxy-Kontexte mit ausreichenden Beweisen voraussetzt, sie jedoch eine robuste Alternative zu direktem Long-Context-Reinforcement-Learning oder -Distillation bietet und effektiv die Leistungslücke zwischen kurzen und langen Eingaben überbrückt.