SELAUR: Self Evolving LLM Agent via Uncertainty-aware Rewards

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend als mehrstufige Entscheidungsagenten eingesetzt, die komplexe Interaktionspfade durchlaufen (z. B. in Umgebungen wie ALFWorld oder WebShop). Ein zentrales Hindernis beim Training solcher Agenten mittels Reinforcement Learning (RL) ist das Design effektiver Belohnungsfunktionen (Reward Design).

• Sparsamkeit von Belohnungen: Herkömmliche RL-Ansätze basieren oft nur auf dem Endergebnis (Erfolg/Misserfolg). Dies führt zu spärlichen Belohnungssignalen, die keine feinen Lernhinweise für einzelne Zwischenschritte liefern.
• Vernachlässigung von Unsicherheit: Bestehende Methoden zur schrittweisen Kreditvergabe (Step-level credit assignment) ignorieren weitgehend die intrinsische Unsicherheit des LLMs. Dabei ist Unsicherheit ein wertvolles Signal: Sie spiegelt das Selbstvertrauen des Modells wider, zeigt an, wo Exploration notwendig ist, und kann auch aus gescheiterten Trajektorien wertvolle Lernsignale extrahieren.

2. Methodik: SELAUR

Das vorgestellte Framework SELAUR (Self Evolving LLM Agent via Uncertainty-aware Rewards) integriert Unsicherheitsmetriken direkt in das Reward-Design, um die Exploration zu verbessern und das Lernen aus Fehlern zu ermöglichen. Der Ansatz besteht aus drei Hauptmodulen:

A. Unsicherheitsschätzung (Uncertainty Estimation)

Auf Token-Ebene wird die Unsicherheit des Modells durch die Kombination dreier komplementärer Metriken quantifiziert:

1. Entropie (Entropy): Misst die Streuung der Wahrscheinlichkeitsverteilung über das Vokabular. Hohe Entropie deutet auf eine breite Verteilung (geringes Vertrauen) hin.
2. Least Confidence: Basiert auf der Wahrscheinlichkeit des gewählten Tokens. Eine niedrige Wahrscheinlichkeit bedeutet hohe Unsicherheit.
3. Margin: Misst die Differenz zwischen den Wahrscheinlichkeiten des Top-1- und Top-2-Tokens. Ein kleiner Margin deutet auf Ambiguität hin.
   Diese Metriken werden zu einer aggregierten Token-Unsicherheit gewichtet zusammengeführt.

B. Schritt- und Trajektorien-Aggregation

Die Token-Level-Informationen werden auf höhere Ebenen hochgerechnet:

• Schritt-Level: Die Unsicherheiten aller Tokens in einem Schritt werden gemittelt.
• Trajektorien-Level: Eine exponentiell diskontierte Aggregation wird verwendet, wobei späteren Schritten (die oft über den Erfolg entscheiden) ein höheres Gewicht zukommt.

C. Fehlerbewusste Reward-Neugestaltung (Failure-aware Reward Reshaping)

Dies ist der Kerninnovation von SELAUR. Anstatt gescheiterte Episoden als wertlos zu verwerfen, werden die Unsicherheitssignale in die Belohnungsfunktion integriert:

• Bei Erfolg: Es wird der Standard-Reward verwendet.
• Bei Misserfolg: Der Reward wird durch die normalisierte Unsicherheit des Schrittes bzw. der Trajektorie angereichert.
  • Schritt-Reward: $\tilde{r}_{step} = r_{step} + w_t \cdot \hat{u}_{step}$ (für fehlgeschlagene Schritte).
  • Trajektorien-Reward: Der gesamte Trajektorien-Reward wird durch die aggregierte Unsicherheit $U(\tau)$ ersetzt oder modifiziert.
    Dies ermöglicht es dem Agenten, aus unsicheren Entscheidungen in gescheiterten Pfaden zu lernen, anstatt nur den Erfolg zu maximieren.

3. Hauptbeiträge

1. Einheitliches Unsicherheits-Framework: Integration von Entropie, Least Confidence und Margin zu einer dichten, informationsreichen Überwachung, die direkt aus den Konfidenzschätzungen des Modells abgeleitet wird.
2. Fehlerbewusste Reward-Neugestaltung: Ein Mechanismus, der Unsicherheitssignale in Schritt- und Trajektorien-Belohnungen einbettet, um die Explorationseffizienz und Stabilität zu erhöhen.
3. Lernen aus Fehlern: Empirischer Nachweis, dass die Nutzung von Informationen aus gescheiterten Trajektorien (durch Unsicherheitsanalyse) wertvolle Trainingssignale liefert und die Robustheit des Agents steigert.

4. Ergebnisse

Die Methode wurde auf zwei etablierten Benchmarks evaluiert: ALFWorld (Hausaufgaben/Instruktionsbefolgung) und WebShop (E-Commerce/zielorientierte Entscheidungen).

• Vergleich mit Baselines: SELAUR übertrifft starke RL-Baselines (PPO, RLOO, GRPO, GiGPO) konsistent in Bezug auf die Erfolgsrate (Success Rate) und den Task-Score.
  • Auf ALFWorld (Qwen2.5-7B) erreichte SELAUR eine durchschnittliche Erfolgsrate von 96,87 % im Vergleich zu 94,53 % bei GiGPO.
  • Auf WebShop erreichte SELAUR einen Score von 0,8935 und eine Erfolgsrate von 79,68 %, was ebenfalls die besten Ergebnisse darstellt.
• Ablationsstudien:
  • Die Kombination aller drei Unsicherheitsmetriken (Entropie, Least Confidence, Margin) erwies sich als überlegen gegenüber einzelnen Metriken, da sie komplementäre Aspekte der Unsicherheit abdecken.
  • Die spezifische Form der Reward-Neugestaltung (Fehlerbewusst) schnitt besser ab als alternative Ansätze (z. B. reine Bestrafung oder exponentielle Dämpfung), da sie Exploration fördert, ohne den Anreiz für erfolgreiche Aktionen zu schwächen.
• Qualitative Analyse: Visualisierungen zeigen, dass SELAUR im Gegensatz zu Baselines (wie GiGPO) nicht in lokalen Explorationsschleifen stecken bleibt. Das Modell nutzt Unsicherheit, um alternative Pfade zu erkunden und aus Sackgassen auszubrechen.

5. Bedeutung und Fazit

SELAUR adressiert ein fundamentales Problem im RL-basierten Training von LLM-Agenten: die Verschwendung von Lernsignalen in gescheiterten Episoden. Durch die explizite Modellierung der Unsicherheit als intrinsischer Reward-Komponente ermöglicht das Framework:

• Dichteres Feedback: Der Agent erhält kontinuierliche Hinweise über sein Selbstvertrauen, nicht nur am Ende einer Aufgabe.
• Effizientere Exploration: Unsichere Zustände werden gezielt erkundet, was zu robusteren Politiken führt.
• Stabilität: Das Lernen wird weniger anfällig für lokale Optima, da der Agent lernt, aus Unsicherheit zu lernen, statt sie zu vermeiden.

Die Arbeit legt nahe, dass die Integration von Unsicherheitsquantifizierung in das Reward-Design ein vielversprechender Weg ist, um LLM-Agenten in komplexen, interaktiven Umgebungen leistungsfähiger und adaptiver zu machen. Zukünftige Arbeiten könnten diesen Ansatz auf multimodale Aufgaben erweitern.