Technische Zusammenfassung: CARL (Competence-Aware Reinforcement Learning)

1. Problemstellung

Large Language Models (LLMs), die mit Werkzeugen (z. B. Suchmaschinen, Taschenrechner) ausgestattet sind, scheitern häufig daran, zwischen Aufgaben zu unterscheiden, die externe Unterstützung erfordern, und solchen, die über parametrisches Wissen lösbar sind. Menschen erkennen die Grenzen ihres eigenen Wissens auf natürliche Weise (z. B. wissen sie, dass $2+2$ keinen Taschenrechner erfordert, während $347 \times 28$ einen solchen benötigt), doch LLMs tun dies typischerweise nicht.

Bestehende Ansätze sehen sich zwei primären Einschränkungen gegenüber:

• Prompt-basierte Methoden (z. B. ReAct, RAG): Diese instruieren Modelle, zur Inferenzzeit Werkzeuge zu nutzen, trainieren das Modell jedoch nicht darin, zu erkennen, wann Werkzeuge notwendig sind. Folglich rufen Modelle häufig unnötig Werkzeuge auf, was die Latenz und die Kosten erhöht, ohne die Genauigkeit zu verbessern.
• Trajektorien-Level Reinforcement Learning (RL): Aktuelle RL-Methoden (z. B. Search-R1) weisen einer gesamten Trajektorie eine einzige Ergebnisbelohnung (z. B. Exact Match) zu. Dies erzeugt ein Zuweisungsproblem für Kreditvergabe (credit assignment problem):
  • Undifferenzierte Verstärkung: In einer erfolgreichen Trajektorie erhalten sowohl hilfreiche Werkzeugaufrufe als auch unnötige oder fehlerhafte Aufrufe eine positive Verstärkung.
  • Fehlende Selektivität: Das Modell kann nicht lernen, bei einfachen Fragen Werkzeuge zu überspringen, da das finale Erfolgssignal über alle Segmente hinweg geteilt wird.
  • Externe Abhängigkeit: Methoden zur Kreditvergabe auf Ebene der Schritte verlassen sich oft auf externe Richter (z. B. GPT-4), deren Wissen vom des Schülermodells abweichen kann, oder erfordern teure Annotationen auf Ebene der Schritte.

2. Methodik: CARL

Die Autoren schlagen CARL (Competence-Aware Reinforcement Learning) vor, ein Framework, das einen Kritiker trainiert, die eigene Kompetenzgrenze des Modells zu erlernen, und somit eine feinkörnige Kreditvergabe ohne externe Richter ermöglicht.

2.1 Strukturelle Zerlegung

CARL nutzt die Tatsache, dass Werkzeugnutzungs-Trajektorien strukturell beobachtbare Grenzen besitzen, die reinen Reasoning-Trajektorien fehlen. Eine Trajektorie wird basierend auf diesen Grenzen in Segmente zerlegt:

1. Aufruf (Invoke): Das Modell generiert Reasoning und einen Code-Block (z. B. search(query)). Die Umgebung führt den Code aus und erzeugt eine Rohausgabe (stdout).
2. Assimilation: Das Modell liest die Rohausgabe und generiert einen <context>-Block, der relevante Informationen extrahiert. Die Rohausgabe wird im Kontext durch diese Extraktion ersetzt.
3. Commit: Das Modell generiert die finale Antwort.

Diese Zerlegung erzeugt einen Semi-Markov-Entscheidungsprozess (SMDP), bei dem jedes Segment eine „Option" darstellt.

2.2 Segment-Level Advantage

Anstatt dem gesamten Pfad eine einzige skalare Belohnung zuzuweisen, leitet CARL segmentweise Advantages aus einer einzigen binären terminalen Belohnung ($R \in \{0, 1\}$) unter Verwendung der SMDP-Bellman-Gleichung ab.

Für eine Trajektorie mit Segmenten $k=0 \dots N$ ist der Advantage für Segment $k$:

• Zwischensegmente: $A(seg_k) = V_\phi(s_{k+1}) - V_\phi(s_k)$
• Finalsegment: $A(seg_N) = R - V_\phi(s_N)$

Hierbei ist $V_\phi(s)$ die Wertfunktion (Kritiker), die die Erfolgswahrscheinlichkeit unter Berücksichtigung des aktuellen Kontexts schätzt.

• Mechanismus: Eine „gute" Suche erhöht die geschätzte Erfolgswahrscheinlichkeit ($V$ steigt), was einen positiven Advantage ergibt. Eine „schlechte" Suche oder eine fehlgeschlagene Extraktion verringert $V$, was einen negativen Advantage ergibt. Eine unnötige Suche bei einer Frage, die das Modell bereits kennt, lässt $V$ unverändert und ergibt einen nahezu null Advantage.
• Wesentlicher Unterschied: Dies ermöglicht entgegengesetzte Vorzeichen innerhalb derselben Trajektorie (z. B. ein positiver Advantage für eine korrekte Abfrage, gefolgt von einem negativen Advantage für eine schlechte Extraktion), eine Fähigkeit, die bei Trajektorien-Level-Methoden fehlt.

2.3 Kritiker-Training und Warm-up

Der Kritiker $V_\phi$ ist ein zweischichtiges MLP, das an das gemeinsame LLM-Backbone angehängt ist.

• Trainingsziel: Der Kritiker wird mittels Monte-Carlo (MC)-Zielen trainiert, um den Mean Squared Error (MSE) zwischen $V_\phi(s)$ und der terminalen Belohnung $R$ zu minimieren.
• Warm-up-Phase: Um zu verhindern, dass frühe zufällige Gradienten die Policy korrumpieren, ist eine kuratierte Warm-up-Phase unerlässlich. Der Kritiker wird auf Rollouts des Basismodells trainiert, die nach finaler Korrektheit gelabelt sind. Fragen werden wie folgt klassifiziert:
  • Tier 1: Jenseits der parametrischen Kompetenz (Modell scheitert ohne Werkzeuge).
  • Tier 2: Innerhalb der parametrischen Kompetenz (Modell gelingt ohne Werkzeuge).
  • Trajektorien werden unter beiden Bedingungen „erzwungene-Werkzeuge" und „keine-Werkzeuge" generiert, um dem Kritiker beizubringen, zwischen notwendigen und unnötigen Werkzeugnutzungen zu unterscheiden.
• Keine externen Richter: Der Kritiker lernt ausschließlich aus den eigenen Rollouts und binären Ergebnissen des Modells, wodurch sichergestellt wird, dass die Kompetenzgrenze die spezifischen Fähigkeiten des jeweiligen Modells widerspiegelt.

2.4 Policy-Optimierung

Die Policy wird auf Segmentebene mit PPO (Proximal Policy Optimization) aktualisiert. Jedes Segment erhält seinen eigenen Advantage-Skalar, der einheitlich auf alle Token innerhalb dieses Segments angewendet wird. Der Gesamtverlust kombiniert das PPO-Ziel und den MSE-Verlust des Kritikers.

3. Hauptbeiträge

1. Kompetenzbewusste Wertfunktion: Eine Wertfunktion, die auf binären Ergebnissen trainiert ist und lernt, parametrisch lösbare Fragen von werkzeugabhängigen zu trennen. Im 7B-Maßstab erreicht sie eine AUC von 0,93 bei der Unterscheidung dieser Tiers.
2. Segment-Level-Kredit aus einem einzigen Ergebnis: Durch die Nutzung der SMDP-Bellman-Gleichung an strukturell beobachtbaren Grenzen leitet CARL unabhängige Advantages für jedes Segment (Aufruf, Assimilation, Commit) aus einer einzigen binären Belohnung ab. Dies ermöglicht dem Modell, positiven Kredit für hilfreiche Aufrufe und negativen Kredit für Fehler oder unnötige Aufrufe innerhalb derselben erfolgreichen Trajektorie zu erhalten.
3. Emergente Selektivität: Die Methode ermöglicht es Modellen zu lernen, wann sie um Hilfe bitten müssen, und reduziert unnötige Werkzeugaufrufe ohne explizite Instruktion oder externe Überwachung.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CARL auf fünf Benchmarks (GSM8K, HotpotQA, 2WikiMQA, FinQA, Musique) unter Verwendung von Qwen2.5-Modellen in den Größenordnungen 3B und 7B und verglichen diese mit starken RL-Baselines (Search-R1 PPO und GRPO).

• Genauigkeitsgewinne: CARL übertrifft die beste RL-Baseline (Search-R1 PPO) um 6,7 Exact Match (EM) Punkte bei 7B und 9,7 EM bei 3B im Durchschnitt über suchbasierte Datensätze.
  • Die größten Gewinne treten bei Musique auf, einem kompositorischen Multi-Hop-Benchmark, mit Verbesserungen von +8,3 EM (7B) und +9,0 EM (3B).
  • Die Gewinne sind für kleinere Modelle unverhältnismäßig größer (die Verbesserung bei 3B ist 1,4-mal so groß wie bei 7B), was darauf hindeutet, dass zu wissen, wann man um Hilfe bitten muss, für Modelle mit begrenztem parametrischem Gedächtnis entscheidend ist.
• Effizienz der Werkzeugnutzung:
  • Bei Fragen, die aus parametrischem Wissen beantwortet werden können (Tier 2), tätigt CARL 53 % weniger Werkzeugaufrufe als Search-R1 PPO.
  • Trotz seltenerer Werkzeugnutzung bleibt CARL bei denselben Fragen ~10 EM Punkte genauer.
  • Die gesamte Token-Generierung wird bei 7B im Durchschnitt um 23 % reduziert, getrieben durch das Überspringen der Abrufe bei einfachen Fragen.
• Kritiker-Kalibrierung: Der trainierte Kritiker schätzt die Erfolgswahrscheinlichkeit ($V(s_0)$) genau ab.
  • AUC 0,93 (7B) und 0,85 (3B) zur Trennung von Tier-1- vs. Tier-2-Fragen.
  • Kalibrierung: Mit kuratiertem Warm-up beträgt der Expected Calibration Error (ECE) 0,043, was bedeutet, dass die vorhergesagte Erfolgswahrscheinlichkeit eng mit den tatsächlichen Erfolgsraten übereinstimmt.
• Vorzeichen-Divergenz: Der Kritiker weist Segmenten innerhalb einer einzigen Trajektorie korrekt entgegengesetzte Vorzeichen zu (z. B. $+0,15$ für eine gute Suche, $-0,22$ für eine schlechte Extraktion), ein Verhalten, das für Trajektorien-Level-Methoden unmöglich ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CARL die grundlegende Einschränkung des Trajektorien-Level-RL adressiert: die Unfähigkeit zu isolieren, welcher spezifische Werkzeugaufruf zum Erfolg oder Misserfolg beigetragen hat. Durch die Ausnutzung der strukturell beobachtbaren Grenzen von Werkzeugnutzungs-Trajektorien verwandelt CARL ein einziges binäres Ergebnis in eine Sequenz bedeutungsvoller, segmentweiser Advantages.

Die Autoren betonen, dass dieser Ansatz es dem Modell ermöglicht, seine eigene Kompetenzgrenze zu erlernen, anstatt instruiert zu werden, wann Werkzeuge zu nutzen sind. Dies führt zu:

• Reduzierten Halluzinationen: Das Modell ist weniger wahrscheinlich, bei schwierigen Fragen (Tier 1) Antworten zu erfinden, da es lernt, diese an Werkzeuge weiterzuleiten, anstatt zu raten.
• Effizienz: Unnötige Werkzeugaufrufe werden unterdrückt, was Latenz und API-Kosten senkt.
• Skalierbarkeit: Die Vorteile sind bei kleineren Modellen am ausgeprägtesten, was darauf hindeutet, dass die Kreditvergabe auf Segmentebene eine praktische Alternative zum Skalieren des parametrischen Gedächtnisses zur Bewältigung von Wissen aus der Tail-Verteilung darstellt.

Die Arbeit schließt, dass zwar die Abrufqualität weiterhin eine Obergrenze für die Leistung darstellt (wie durch Ablationsstudien gezeigt, bei denen bessere Such-APIs die Ergebnisse weiter verbesserten), der Kreditvergabe-Mechanismus von CARL jedoch der primäre Treiber für verbesserte Selektivität und Genauigkeit bei mit Werkzeugen angereicherten LLMs ist.