AdaRubric: Task-Adaptive Rubrics for LLM Agent Evaluation

1. Problemstellung

Die Bewertung von LLM-Agenten (Large Language Models), die komplexe, mehrstufige Aufgaben ausführen (z. B. Web-Automatisierung, API-Orchestrierung, Software-Engineering), stößt an Grenzen, wenn statische Bewertungsrubriken verwendet werden.

• Statische Rubriken-Bottleneck: Herkömmliche „LLM-as-Judge"-Ansätze nutzen feste Dimensionen (z. B. „Hilfreichkeit", „Fluency", „Sicherheit"), die für Chat-Assistenten entwickelt wurden. Diese sind für zielgerichtete Agenten ungeeignet, da sie die spezifischen Erfolgskriterien verschiedener Aufgaben nicht erfassen.
  • Beispiel: Ein Code-Debugging-Auftrag erfordert Kriterien wie „Korrektheit" und „Fehlerbehandlung", während eine Web-Navigation „Zielalignment" und „Handlungseffizienz" benötigt.
• Folgen: Statische Rubriken führen zu systematischen Verzerrungen, belohnen irrelevante stilistische Eigenschaften und liefern keine differenzierten Feedback-Signale für das Training (RL/DPO). Dies resultiert in einer schwachen Korrelation mit menschlichen Bewertungen (Pearson $r \approx 0.46$).

2. Methodik: Das ADARUBRIC-Framework

ADARUBRIC schließt diese Lücke, indem es aufgaben-spezifische Bewertungsrubriken dynamisch generiert und die Agenten-Trajektorien schrittweise bewertet. Der Prozess besteht aus drei Hauptstufen (siehe Abbildung 2 im Paper):

Stufe 1: Adaptive Rubrik-Generierung

• Eingabe: Aufgabenbeschreibung $T$.
• Prozess: Ein LLM generiert eine dynamische Rubrik $R(T)$, die $N$ orthogonale (nicht überlappende) Bewertungsdimensionen enthält.
• Ausgabe: Jede Dimension $d_j$ erhält ein Gewicht $w_j$ und verbalisierte Bewertungskriterien für eine 5-Punkte-Skala (von „defekt" bis „vorbildlich").
• Validierung: Die generierte Rubrik wird automatisch auf Nicht-Überlappung, Summe der Gewichte (1,0) und Vollständigkeit geprüft. Bei Fehlern erfolgt ein Retry oder ein Rückgriff auf eine Vorlage.
• Effizienz: Rubriken werden pro Aufgabentyp zwischengespeichert (Caching), was API-Kosten um >95% senkt.

Stufe 2: Konfidenz-gewichtete Trajektorien-Bewertung

• Schritt-für-Schritt-Bewertung: Für jeden Schritt $k$ einer Trajektorie und jede Dimension $j$ bewertet das LLM:
  1. Einen Score $s_{k,j} \in \{1, \dots, 5\}$.
  2. Eine Konfidenz $c_{k,j} \in [0, 1]$, die angibt, wie relevant dieser Schritt für die Dimension ist (z. B. ist ein reiner Denk-Schritt für die Dimension „Tool-Accuracy" weniger relevant).
• Aggregation: Die Scores werden zu einem globalen Dimensions-Score aggregiert. ADARUBRIC bietet drei Strategien:
  • Weighted Mean (Standard): Berücksichtigt Konfidenz und eine Recency-Decay-Funktion (wichtigere spätere Schritte).
  • Geometric Mean: Erzwingt ausgeglichene Kompetenz über alle Schritte.
  • Min-Score: Kritisch für Sicherheit, da ein einzelner Schrittversagen disqualifiziert.

Stufe 3: Filterung und Reward-Synthese

• DimensionAwareFilter (Neuheit): Ein entscheidender Filter, der verhindert, dass hohe Scores in einigen Dimensionen Fehler in anderen Dimensionen maskieren. Eine Trajektorie wird nur dann als „gut" akzeptiert, wenn alle Dimensionen einen Mindestschwellenwert erreichen. Dies ist eine notwendige Bedingung, um qualitativ hochwertige Präferenzpaare für das Training zu erhalten.
• DPO-Paare: Aus den gefilterten Trajektorien werden Präferenzpaare $(\tau_{chosen}, \tau_{rejected})$ gebildet, wobei die Differenz der Gesamtscores als Margin dient.

3. Wichtige Beiträge

1. Adaptive Rubrik-Generierung: Erstmals werden Bewertungskriterien dynamisch aus der Aufgabenbeschreibung abgeleitet, anstatt manuell festgelegt zu werden.
2. Multi-dimensionale dichte Rewards: Ermöglicht eine schrittweise und dimensionsweise Kreditvergabe (Credit Assignment) für Reinforcement Learning (RL) und Direct Preference Optimization (DPO).
3. Zuverlässigkeitsquantifizierung: Einführung von Krippendorff's $\alpha$ als principled Stopp-Kriterium für den Einsatz von LLM-Evaluatoren (Empfehlung: $\alpha \ge 0.80$).
4. End-to-End-Pipeline: Eine modulare Pipeline, die von der Rubrik-Generierung bis zur Erzeugung von DPO-Paaren reicht, ohne manuelles Engineering der Rubriken.

4. Ergebnisse

Die Evaluation erfolgte auf drei Benchmarks: WebArena, ToolBench und AgentBench.

• Korrelation mit menschlichen Bewertungen:

  • ADARUBRIC erreicht eine Pearson-Korrelation von $r = 0.79$ (WebArena) und $r = 0.74$ (ToolBench).
  • Dies ist eine Steigerung von +0,15 gegenüber dem besten statischen Baseline (GPT-4 Direct, $r \approx 0.64$).
  • Herkömmliche Metriken wie ROUGE-L ($r \approx 0.31$) oder BERTScore ($r \approx 0.43$) sind für Agenten-Aufgaben unzureichend.

• Zuverlässigkeit:

  • ADARUBRIC erreicht einen Krippendorff's $\alpha$ von 0,83, was die Schwelle für den produktiven Einsatz ($\ge 0,80$) überschreitet. Statische Baselines liegen deutlich darunter ($\approx 0,62$).

• Downstream-Training (DPO & PPO):

  • DPO: Agenten, die mit ADARUBRIC-Präferenzpaaren trainiert wurden, zeigen signifikante Verbesserungen bei der Aufgabenerfolgsrate (Success Rate).
    • WebArena: +6,8 pp (Prozentpunkte) gegenüber Prometheus.
    • ToolBench: +8,5 pp gegenüber Prometheus.
    • AgentBench: +7,7 pp.
  • Generalisierung: Die Methode funktioniert auch auf SWE-bench (Code-Reparatur), wo sie eine Korrelation von $r=0,77$ und eine Verbesserung der Resolve-Rate um +4,9 pp erzielt, ohne dass die Rubrik angepasst wurde.
  • PPO-Training: Die Nutzung von ADARUBRIC als Reward-Funktion beschleunigt die Konvergenz von PPO um +6,6 pp bei 5.000 Schritten im Vergleich zu skalaren Rewards.

• Ablationsstudien:

  • Die adaptive Generierung der Dimensionen ist der Haupttreiber der Verbesserung (nicht die Stärke des Basis-LLMs).
  • Der DimensionAwareFilter trägt signifikant (+0,04 $r$) zur Qualität bei, indem er „Maskierungseffekte" verhindert.
  • Die optimale Anzahl der Dimensionen liegt bei $N=5$.

5. Bedeutung und Fazit

ADARUBRIC stellt einen Paradigmenwechsel in der Evaluation von LLM-Agenten dar. Anstatt starre, universelle Kriterien zu verwenden, passt sich das System der spezifischen Natur jeder Aufgabe an.

• Qualität: Die generierten Rubriken erreichen fast die Qualität von manuell von Experten entworfenen Rubriken (4,3/5 vs. 4,6/5 in einer menschlichen Studie).
• Effizienz: Durch Caching und automatische Generierung entfällt der manuelle Aufwand für Rubrik-Engineering.
• Skalierbarkeit: Die Methode ist domänenunabhängig und funktioniert über Web-Automatisierung, API-Nutzung, Code-Generierung und sogar multimodale Aufgaben hinweg.

Das Paper zeigt, dass die Anpassung der Bewertungskriterien an die Aufgabe entscheidender ist als die reine Steigerung der Modellgröße des Evaluators. ADARUBRIC liefert somit hochwertige, dichte Reward-Signale, die für das Training robuster und leistungsfähigerer Agenten unverzichtbar sind.