🤖 AI

Evidence-State Rewards for Long-Context Reasoning

Das Paper stellt Maven vor, ein Reinforcement-Learning-Framework, das das Langkontext-Schlussfolgern verbessert, indem es auf Aktionenebene Belohnungen für Übergänge im Evidenzzustand zuweist – wie etwa das Hinzufügen, Verknüpfen oder Verwerfen von Informationen –, wodurch es herkömmliche Methoden, die nur auf Ergebnissen basieren, über mehrere Benchmarks hinweg übertrifft.

Ursprüngliche Autoren: Ya Gao, Pekka Marttinen

Veröffentlicht 2026-07-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ya Gao, Pekka Marttinen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein komplexes Rätsel zu lösen, aber anstatt einiger Hinweise auf einem Schreibtisch wird Ihnen eine Bibliothek mit tausenden Büchern, Zeitungen und Notizen übergeben. Ihr Ziel ist es, die spezifischen Fakten zu finden, die benötigt werden, um den Fall zu lösen.

Dies ist die Herausforderung, der sich MAVEN für Künstliche Intelligenz (KI) stellt.

Das Problem: Sich in der Bibliothek verirren

Aktuelle KI-Modelle werden immer besser darin, riesige Mengen an Text (lange Kontexte) zu lesen, aber sie haben oft Schwierigkeiten damit, durch diesen Text zu schließen (zu raisonnieren).

Der alte Weg: Stellen Sie sich einen Detektiv vor, der einen Hinweis findet, der vielversprechend aussieht, ihn ergreift und sofort die Lösung aufschreibt. Wenn dieser erste Hinweis eine falsche Fährte (eine Red Herring) war, bleibt der Detektiv bei der falschen Antwort stecken.
Die Einschränkung: Frühere Trainingsmethoden für KI waren wie ein Lehrer, der nur die Endantwort bewertete. Wenn der Detektiv die richtige Antwort fand, bekam er eine „Eins“, selbst wenn er die Hälfte der Hinweise ignoriert oder einfach nur Glück gehabt hatte. Wenn er es falsch machte, bekam er eine „Sechs“, aber der Lehrer erklärte nicht, warum er den falschen Hinweis gewählt oder den richtigen übersehen hatte.

Die Lösung: MAVEN (Der smarte Detektiv)

Die Autoren schlagen MAVEN (Marginal-Value Evidence Navigation) vor. Anstatt nur die Endantwort zu bewerten, lehrt MAVEN die KI, ein „Evidenz-Gedächtnis“ zu verwalten – ein mentales Notizbuch, in dem sie aktiv Hinweise sammeln, verknüpfen und verwerfen kann, während sie nachdenkt.

Betrachten Sie MAVEN als einen Detektiven, der darauf trainiert ist:

Einen Hinweis zu seinem Board hinzuzufügen.
Zwei Hinweise miteinander zu verknüpfen, um zu sehen, wie sie zusammenpassen.
Einen Hinweis fallen zu lassen, wenn er merkt, dass er irreführend ist.
Erst dann zu antworten, wenn das Board frei ist.

Wie MAVEN die KI lehrt (Die Belohnungen)

Die Magie von MAVEN liegt darin, wie die KI dafür belohnt wird, wie sie ihr Notizbuch nutzt, und nicht nur für das Endergebnis. Es verwendet einen „eingefrorenen Verifizierer“ (einen smarten, vortrainierten KI-Richter), um den Zustand der Beweise bei jedem Schritt zu überprüfen.

Hier sind die drei Arten von „Punkten“, die die KI erhält:

Die „Add“-Belohnung (Gold finden):
- Analogie: Sie finden einen neuen Hinweis. Hat er Ihnen geholfen, jetzt gerade näher an die Wahrheit zu kommen? Oder war er, auch wenn er nicht sofort half, absolut notwendig, um das Rätsel später zu lösen?
- MAVENs Trick: Es vergibt Punkte für Hinweise, die sofort helfen, aber es vergibt auch „Rückblick-Punkte“ für Hinweise, die für die endgültige Lösung entscheidend waren, selbst wenn sie anfangs nutzlos erschienen.
Die „Drop“-Belohnung (Das Board aufräumen):
- Analogie: Sie merken, dass ein Hinweis, den Sie früher aufgesammelt haben, tatsächlich eine falsche Fährte ist. Anstatt stur dabei zu bleiben, werfen Sie ihn weg.
- MAVENs Trick: Wenn das Entfernen eines Hinweises die Antwort klarer macht, erhält die KI eine Belohnung. Dies lehrt das Modell, Fehler zuzugeben und das eigene Denken zu korrigieren, anstatt an einem falschen Pfad festzuhalten.
Die „Link“-Belohnung (Die Punkte verbinden):
- Analogie: Sie haben zwei Hinweise, die allein keinen Sinn ergeben, aber wenn Sie sie nebeneinander legen, offenbaren sie die ganze Geschichte.
- MAVENs Trick: Es belohnt die KI dafür, explizit zu erklären, wie zwei Beweisstücke zusammenwirken. Dies verhindert, dass die KI nur wahllos Fakten sammelt; es zwingt sie dazu, diese zu synthetisieren.

Das Ergebnis: Ein besserer Detektiv

Die Forscher testeten MAVEN mit verschiedenen KI-Modellen (wie Llama und Qwen) anhand schwieriger Aufgaben zum Leseverständnis.

Bessere Genauigkeit: MAVEN-trainierte Modelle lösten mehr Probleme korrekt als Modelle, die nur auf die Endantwort oder nur auf das Finden von „relevantem“ Text trainiert wurden.
Weniger Unordnung: Die MAVEN-Modelle behielten weniger „Distraktoren“ (falsche Hinweise) in ihrem Gedächtnis. Sie waren besser darin, zu erkennen, wann ein Hinweis falsch war, und ihn zu verwerfen.
Vollständiger: Sie sammelten mehr der notwendigen Beweise, die zur Lösung des Rätsels erforderlich waren, anstatt basierend auf unvollständigen Informationen zu raten.

Das Wesentliche

MAVEN verändert das Spiel von „Finde die richtige Antwort“ hin zu „Lerne, wie man die richtige Antwort aufbaut“. Es behandelt das Verständnis langer Kontexte nicht als eine einmalige Suche, sondern als einen dynamischen Prozess der Navigation durch einen Zustand von Evidenz – das ständige Hinzufügen, Verknüpfen und Verwerfen von Informationen, bis das Bild klar ist.

Die Arbeit kommt zu dem Schluss, dass eine KI, um über lange Texte wirklich schlussfolgern zu können, lernen muss, wie sie ihre eigenen Beweise verwaltet und revidiert, anstatt nur eine statische Liste von Fakten zu extrahieren.

Technisches Resümee: MAVEN – Evidence-State Rewards für Long-Context Reasoning

1. Problemstellung

Fortgeschrittene Large Language Models (LLMs) unterstützen zunehmend lange Kontextfenster, doch die Fähigkeit, lange Eingaben zu akzeptieren, garantiert nicht zwangsläufig effektives Denken über diese. Modelle leiden oft unter „Lost in the Middle“-Phänomenen, einer vorzeitigen Abhängigkeit von unvollständigen Belegen und einer Unfähigkeit, Informationen zu synthetisieren, die über weit entfernte Teile des Kontexts verteilt sind.

Bestehende Reinforcement Learning (RL)-Ansätze für das Long-Context Reasoning verlassen sich typischerweise auf Outcome-only Rewards (Verifizierung der endgültigen Antwort) oder statische Evidence-Identification Rewards (Belohnung der Auswahl von Gold-Chunks). Die Autoren argumentieren, dass diese Methoden unzureichend sind, da sie Evidenz als isolierte Chunks oder als fertiges Set aus Betrachten. Sie versäumen es, die dynamische, zustandsabhängige Natur des Long-Context Reasonings zu erfassen, bei dem:

Ein Segment erst wertvoll werden kann, nachdem ein anderes gefunden wurde.
Ein plausibles Dokument verworfen werden muss, sobald spätere Belege offenbaren, dass es ein Distraktor ist.
Individuell unzureichende Teile gemeinsam eine Lücke im Reasoning schließen können.

Aktuelle Rewards fördern das vorzeitige Festhalten an lokal plausiblen Evidenzpfaden anstatt des iterativen Prozesses des Aufbaus, der Revision und der Synthese eines sich entwickelnden Evidenzzustands.

2. Methodik: MAVEN

Die Autoren schlagen MAVEN (Marginal-Value Evidence Navigation) vor, ein Reinforcement Learning Framework, das Long-Context Reasoning als zustandsbasiertes Evidence-Memory-Navigation behandelt. Anstatt isolierte Extraktion zu belohnen, definiert MAVEN einen antwortbedingten Evidenzzustandswert und weist Belohnungen an spezifischen Aktions-Level-Zustandsübergängen zu.

2.1 Framework und Aktionen

Das Policy-Modell $\pi_\theta$ interagiert mit einem editierbaren Evidenzspeicher $E_k$ , bevor es die endgültige Antwort generiert. Das Modell generiert eine Trajektorie von High-Level-Aktionen:

Add (<add>): Fügt einen zitierten oder referenzierten Evidenzspan zum Speicher hinzu.
Drop (<drop>): Entfernt ein irrelevantes, redundantes oder irreführendes Evidenzstück.
Link (<link>): Erklärt, wie zwei Evidenzstücke gemeinsam die Antwort stützen (Synthese).
Answer (<answer>): Erzeugt die endgültige Antwort.

2.2 Value Function

MAVEN nutzt ein eingefrorenes Verifier-Modell $p_\psi$ , um einen Evidenzzustandswert $V_\psi(Q, E)$ zu berechnen. Dieser Wert misst die relative Reduktion der negativen Log-Likelihood (NLL) der Gold-Antwort $a^*$ gegeben die Frage $Q$ und den aktuellen Evidenzspeicher $E$ , im Vergleich zum Zustand ohne Evidenz:
$V_\psi(Q, E) = \frac{\ell_\psi(Q, \emptyset) - \ell_\psi(Q, E)}{\ell_\psi(Q, \emptyset) + \epsilon}$
Ein positiver Wert zeigt an, dass die Evidenz die korrekte Antwort vorhersagbarer macht.

2.3 Action-Level Rewards

MAVEN weist Prozess-Rewards an spezifischen Aktions-Spans innerhalb des GRPO (Group Relative Policy Optimization) Frameworks zu:

Add Reward ( $\rho_{add}$ ): Kombiniert Online Conditional Answer Information Gain (CAIG) und Hindsight Credit.
- CAIG: Belohnt die unmittelbare Verbesserung des Evidenzzustands beim Hinzufügen eines neuen Elements.
- Hindsight Credit: Wenn ein Element Teil des final beibehaltenen Evidenzsets $E_F$ ist, erhält es Credit basierend darauf, wie stark der finale Wert sinken würde, wenn dieses Element entfernt würde (eine Shapley-ähnliche Approximation). Dies stellt sicher, dass frühe, notwendige Evidenz in Multi-Hop-Reasoning-Szenarien nicht unterbewertet wird.
Drop Reward ( $\rho_{drop}$ ): Belohnt das Entfernen von Evidenz, wenn dies den antwortbedingten Evidenzzustand verbessert (d. h. das Entfernen eines Distraktors). Es bestraft das Wegwerfen nützlicher Evidenz.
Link Reward ( $\rho_{link}$ ): Belohnt die explizite Synthese komplementärer Evidenz. Es verwendet einen paarweisen Synergie-Score, um zu messen, ob zwei Stücke zusammen wertvoller sind als separat.
Answer Reward ( $\rho_{ans}$ ): Ein binärer Reward basierend auf Substring-Matching mit der Ground Truth, um den Erfolg der Aufgabe sicherzustellen.

2.4 Trainingsverfahren

Das Training erfolgt in zwei Stufen:

Cold-Start SFT: Supervised Fine-Tuning auf validen Aktions-Trajektorien, um dem Modell die editierbare Memory-Schnittstelle und die Aktions-Grammatik beizubringen.
RL Training: Das Modell wird mittels GRPO optimiert, unter Verwendung der oben definierten aktionslokalen Rewards. Das Ziel bewahrt die Prozess-Level-Credit-Assignment, sodass eine Trajektorie mit einem schlechten „Add“ gefolgt von einem korrigierenden „Drop“ jeweils angemessene negative bzw. positive Advantages erhält.

3. Kernbeiträge

Identifikation von Limitationen: Die Autoren identifizieren, dass bestehende Long-Context RL-Rewards oft die statische Extraktion von Evidenz überwachen anstatt Evidenzzustands-Transitionen, was zu einer vorzeitigen Verankerung auf falschen Pfaden führt.
MAVEN Framework: Schlägt ein editierbares Evidenz-Memory-Framework vor, das einen antwortbedingten Evidenzzustandswert definiert. Es trainiert LLMs darauf, durch zustandsbasierte, aktionslokale Prozess-Rewards zu addieren, zu verknüpfen, zu löschen und zu antworten.
Empirische Validierung: Demonstriert konsistente Gewinne über verschiedene Modellfamilien (Llama, Qwen) und Benchmarks hinweg und liefert diagnostische Belege dafür, dass MAVEN die Evidenz-Suffizienz (Abdeckung der Gold-Evidenz) verbessert und die Distraktor-Retention (Behalten von irreführender Evidenz) reduziert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten MAVEN auf Llama-3.1-8B, Qwen2.5-14B und Qwen3-30B-A3B über LongBench v2, LongReason und RULER.

Performance: MAVEN übertraf konsistent alle Baselines, einschließlich Outcome-only RL und Outcome-plus-Evidence-Identification Baselines. Auf LongBench v2 verbesserte MAVEN die stärkste Baseline um +3,5 bis +4,0 Punkte über alle Modellgrößen hinweg.
Long-Context Spezifika: Die Gewinne waren besonders ausgeprägt in Long-Context Splits (z. B. 128K Kontext), was darauf hindeutet, dass die Methode entscheidend ist, wenn Antworten von verteilten Informationen abhängen.
Diagnostische Metriken:
- Evidenz-Suffizienz: MAVEN erreichte eine Suffizienz von >85 %, was signifikant höher ist als bei den Baselines.
- Distraktor-Retention: MAVEN reduzierte den Prozentsatz der beibehaltenen Evidenz, die zu Distraktoren gehörte, signifikant, was die Fähigkeit des Modells zur Revision seines Speichers demonstriert.
Ablationsstudien:
- Das Entfernen des Drop Rewards führte zur höchsten Distraktor-Retention.
- Das Entfernen des Link Rewards senkte die Evidenz-Suffizienz.
- Das Entfernen des Add Rewards verursachte den größten Abfall des Gesamtergebnisses.
- Eine Variante, die Rewards nur aus dem finalen Evidenzset berechnete (unter Ignorierung der Zwischenschritte), performte wesentlich schlechter, was die Notwendigkeit von aktionslokalen Prozess-Rewards bestätigt.
Generalisierung: Die Evaluierung auf MMLU-Pro zeigte, dass das MAVEN-Training die allgemeinen Short-Context Reasoning-Fähigkeiten nicht beeinträchtigte.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass effektives Long-Context RL die Optimierung von Evidenzzustands-Transitionen erfordert, anstatt lediglich die Evidenz-Extraktion zu optimieren. Indem MAVEN das Reasoning als Navigationsprozess durch einen editierbaren Speicher behandelt, ermöglicht es Modellen:

Von der Hinzufügung irreführender Evidenz zu erholen (via Drop Rewards).
Komplementäre Informationen zu synthetisieren (via Link Rewards).
Die Notwendigkeit früher Evidenz zu erkennen, selbst wenn deren unmittelbarer Wert gering ist (via Hindsight Credit).

Die Autoren positionieren MAVEN als komplementär zu Retrieval, Agentic Workflows und architektonischen Kontext-Erweiterungen, wobei es gezielt auf den Engpass abzielt, zu lernen, den für das Reasoning genutzten Evidenzzustand aufzubauen und zu revidieren.

Anerkannte Limitationen:

MAVEN ist während des Trainings auf Gold-Antworten angewiesen, um Verifier-basierte Werte zu berechnen, was die direkte Anwendbarkeit auf Aufgaben mit verifizierbaren Antworten einschränkt.
Die Schnittstelle setzt voraus, dass Evidenz als begrenzte Textspannen dargestellt werden kann.
Diagnostische Annotationen wurden für kontrollierte Analysen erstellt; eine breitere menschliche Evaluierung der Evidenzqualität bleibt zukünftige Arbeit.