🤖 AI

Inducing Reward-Free Judging Rubrics that Reduce Over-Crediting in Agent Evaluation

Das Paper stellt RubricForge vor, eine Methode, die aus Ground-Truth-Trajektorien menschenlesbare Bewertungsrubriken entwickelt, um die Überbewertung fehlgeschlagener Agenten-Verhaltensweisen in belohnungsfreien Evaluationen signifikant zu reduzieren, wobei der Fokus auf Treue und der Reduzierung von falsch-positiven Ergebnissen liegt, anstatt auf der bloßen Übereinstimmung mit generischen Baselines.

Ursprüngliche Autoren: Darragh Quinn, David Dylan, Roisin Healy, Fionn Carroll, Maeve Donnelly, Cormac Sheehan

Veröffentlicht 2026-08-17

📖 8 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Darragh Quinn, David Dylan, Roisin Healy, Fionn Carroll, Maeve Donnelly, Cormac Sheehan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der wir digitale Assistenten bauen – intelligente Agenten, die Flüge buchen, Kleidung kaufen oder Code schreiben können, indem sie mit Computern und Websites kommunizieren. Diese Agenten werden unglaublich gut darin, selbstbewusst und höflich zu klingen. Aber hier liegt der knifflige Teil: Woher wissen wir, ob sie die Aufgabe tatsächlich erledigt haben, oder ob sie nur eine wirklich geschmeidige, überzeugende Geschichte darüber erzählt haben, es getan zu haben? In der Vergangenheit mussten wir jede einzelne Aufgabe manuell überprüfen, so wie ein Lehrer, der jeden Aufsatz von Hand bewertet. Aber jetzt gibt es zu viele Agenten, um sie einzeln zu prüfen. Also begannen Wissenschaftler, eine zweite KI einzusetzen, die als „Richter“ fungiert, um den ersten zu bewerten. Dies ist so, als würde man einen Roboter-Lehrer engagieren, um die Arbeit eines anderen Roboters zu benoten. Das Problem ist, dass diese Roboter-Lehrer oft leicht zu täuschen sind. Sie lieben eine gute Geschichte. Wenn ein Agent einen langen, flüssigen, selbstbewusst klingenden Bericht schreibt, aber eigentlich den Flug nicht gebucht hat, gibt der Richter ihm vielleicht trotzdem eine „Eins“, nur weil das Schreiben so schön war. Das ist gefährlich, denn es bedeutet, dass wir Software ausliefern könnten, die auf dem Papier perfekt aussieht, aber in der Realität abstürzt.

Dieses Paper stellt eine clevere neue Methode vor, um diese Roboter-Richter zu trainieren, damit sie nicht mehr in die „Geschwätzigkeitsfalle“ tappen. Anstatt dem Richter nur mit einem generischen Regelwerk vorzugeben, worauf er achten soll, oder das Gehirn des Richters zu manipulieren (was teuer und schwer nachvollziehbar ist), haben die Autoren eine Methode namens RUBRICFORGE entwickelt. Denken Sie an einen Detektiv, der einen neuen Partner ausbildet. Anstatt dem Partner nur eine Liste von Regeln zu geben, zeigt er ihm einen kleinen Stapel echter Fälle, bei denen er genau weiß, wer entkommen ist und wer nicht. Der Detektiv bittet den Partner dann, einen neuen Satz von Regeln basierend auf diesen spezifischen Fällen zu schreiben, und sie verfeinern diese Regeln immer wieder, bis der Partner in der Lage ist, die Fälschungen perfekt zu entlarven. Das Ergebnis ist ein Satz von Anweisungen in klarem Englisch, dem der Richter folgt. Die große Überraschung? Diese neue Methode sorgt nicht unbedingt dafür, dass der Richter bei einfachen Ja/Nein-Fragen häufiger mit der „Wahrheit“ übereinstimmt. Stattdessen macht sie den Richter viel besser darin, genau die Art von Fehler zu entdecken, die am wichtigsten ist: eine Bestehensnote für ein Versagen zu geben, das sich nur sehr gut angehört hat.

Die Geschichte des „geschwätzigen“ Roboters

In der Welt der künstlichen Intelligenz haben wir diese „Agenten“, die wie digitale Mitarbeiter agieren. Sie versuchen, Aufgaben zu erledigen wie etwa ein Hemd zu kaufen oder einen Bug zu beheben. Um zu sehen, ob sie eine gute Arbeit geleistet haben, nutzen wir normalerweise eine „Ground Truth“ – eine perfekte, unveränderliche Antwortlösung. Wenn der Agent zum Beispiel ein rotes Hemd kaufen sollte, ist die Ground Truth eine Datenbankabfrage: „Wurde ein rotes Hemd in den Warenkorb gelegt?“

Aber diese Datenbank zu prüfen ist langsam, teuer oder manchmal unmöglich, wenn die Aufgabe echtes Geld oder gefährliche Aktionen beinhaltet. Deshalb nutzen wir eine zweite KI, einen „Richter“, um die Konversation des Agenten zu betrachten und zu erraten, ob er erfolgreich war. Das Problem ist, dass diese Richter voreingenommen sind. Sie sind wie ein Lehrer, der einem Schüler eine Eins gibt, der einen wunderschönen Aufsatz schreibt, aber in Mathe die Antwort falsch hat. Sie bevorzugen Antworten, die flüssig, selbstbewusst und lang sind, auch wenn die eigentliche Aufgabe fehlgeschlagen ist. Dies wird als „Over-Crediting“ bezeichnet. Es ist ein stiller Killer, denn wenn Sie glauben, Ihr Agent funktioniere, weil der Richter „Bestanden“ gesagt hat, er aber in Wirklichkeit defekt ist, könnten Sie ihn der Öffentlichkeit zur Verfügung stellen und eine Katastrophe auslösen.

Die Lösung: RUBRICFORGE

Die Autoren, Darragh Quinn und sein Team, wollten dies beheben. Sie wollten nicht einfach nur ein besseres Regelwerk von Hand schreiben (was langsam ist und Dinge übersehen könnte) oder das Gehirn des Richters neu trainieren (was teuer ist und eine „Black Box“ erzeugt, die wir nicht verstehen können). Stattdessen erfanden sie RUBRICFORGE.

So funktioniert es, Schritt für Schritt:

Das Trainingsgelände: Sie nehmen einen kleinen Satz realer Agenten-Versuche, bei denen sie das wahre Ergebnis bereits kennen (die „Ground Truth“). Einige waren erfolgreich, andere fehlgeschlagen.
Die Evolution: Sie nutzen einen Prozess namens „Reflective Evolution“. Stellen Sie sich einen Roboter vor, der versucht, ein Regelwerk zu schreiben. Er schreibt einen Entwurf, testet ihn an den bekannten Fällen und sieht, wo er Fehler gemacht hat. Dann schaut er sich die Fehler an und fragt: „Warum habe ich das falsch gemacht? Was war der wahre Hinweis, den ich übersehen habe?“ Er schreibt das Regelwerk um, um diesen spezifischen Fehler zu beheben. Er macht dies immer und immer wieder und wird mit jedem Versuch klüger.
Das Einfrieren: Sobeder das Regelwerk für die Trainingsfälle perfekt ist, „frieren“ sie es ein. Sie verändern das Gehirn des Richters überhaupt nicht; sie geben ihm lediglich diesen neuen, super-spezischen Satz von Anweisungen.
Der Test: Sie setzen diesen eingefrorenen Richter auf neue, ungesehene Agenten-Versuche ein. Da der Richter einem textbasierten Regelwerk folgt, kann er bei jeder Bewertung genau darauf hinweisen, welche Regel er verwendet hat. Es ist transparent.

Was sie fanden: Die Entdeckung „Schwerer zu täuschen“

Die Ergebnisse waren faszinierend und etwas kontraintuitiv. Die Autoren waren sehr ehrlich darüber, was sie fanden und was nicht.

Zuerst prüften sie, ob der neue Richter häufiger mit der „Wahrheit“ übereinstimmte als ein standardmäßiger, generischer Richter. Die Antwort lautete: nicht wirklich. Bei einem einfachen Bestanden/Nicht-bestanden-Test waren die neue Methode und die alte Methode im Grunde gleichauf. Das Paper stellt explizit fest, dass der Unterschied in der Gesamteinigkeit statistisch nicht signifikant war. Mit anderen Worten: Wenn man nur fragte: „Stimmten sie mit der Antwortlösung überein?“, gewann die neue Methode keinen klaren Sieg.

Der wahre Erfolg lag jedoch in der Sicherheit. Das Paper konzentriert sich auf eine spezifische Art von Fehler: den False Pass (Falsches Bestehen). Dies ist der Fall, in dem der Richter dem Agenten ein „Erfolg“ zuspricht, obwohl dieser eigentlich gescheitert ist. Dies ist der gefährliche Fehler, da er defekte Software ausliefert.

Der standardmäßige generische Richter gab fehlgeschlagenen Agenten in etwa 17,3 % der Fälle ein „Bestanden“ (auf dem $\tau$ -bench Datensatz).
Der neue RUBRICFORGE-Richter gab fehlgeschlagenen Agenten nur in etwa 11,5 % der Fälle ein „Bestanden“.

Das ist ein massiver Rückgang. Die neue Methode hat drei spezifische Fälle entdeckt, in denen der alte Richter durch eine geschmeidige Geschichte getäusst wurde und der neue Richter korrekt „Fehlgeschlagen“ sagte. Entscheidend ist, dass der neue Richter nie einen Fehler machte, den der alte nicht auch schon gemacht hätte; er hat lediglich mehr Fehler erkannt. Er ist „schwerer zu täuschen“.

Die Falle des „Flüssigen Scheiterns“

Das Paper hebt hervor, dass sich dieser Vorteil besonders dann zeigt, wenn der Agent „flüssig“ ist – also wenn er viel redet und sehr selbstbewusst klingt.

Im Airline-Bereich (eine schwierige Aufgabe) wurde der alte Richter bei fehlgeschlagenen Versuchen 43,8 % der Zeit getäuscht.
Der neue Richter wurde nur 25,0 % der Zeit getäuscht.
Dies galt besonders für Agenten, die eine „selbst-evolvierende“ Strategie nutzten, bei der sie lange, detaillierte Berichte schrieben. Der alte Richter liebte die langen Berichte; der neue Richter sah auf die Beweise und erkannte das Scheitern.

Das Paper untersuchte auch „graduierte“ Scores (wie eine Note von 0 bis 100). Hier war die neue Methode besser beim Ranking (zu wissen, welcher Agent besser als der andere war), aber die alte Methode war etwas besser darin, die exakte Zahl anzugeben. Die Autoren sagen vorsichtig: Wenn Sie Agenten vergleichen müssen, um zu sehen, wer am besten ist, verwenden Sie die neue Methode. Wenn Sie eine präzise Punktzahl für einen Bericht benötigen, ist die alte Methode möglicherweise etwas genauer.

Warum das wichtig ist

Die wichtigste Erkenntnis ist eine Verschiebung in der Art und Weise, wie wir Erfolg messen sollten. Das Paper argumentiert, dass für KI-Agenten Einigkeit nicht das Ziel ist, sondern Treue (Faithfulness). Ein Richter, der in 90 % der Fälle mit der Wahrheit übereinstimmt, aber die 10 % der defekten Agenten übersieht, die perfekt aussehen, ist nutzlos. Ein Richter, der diese defekten Agenten erkennt, selbst wenn er in anderen Bereichen etwas weniger perfekt ist, ist sicher zu verwenden.

Indem die Autoren die Regeln des Richters in realen, beschrifteten Beispielen des Scheiterns verankerten, schufen sie ein System, das der Falle des „Goodharts Gesetzes“ (wo die Optimierung einer Metrik diese Metrik unbrauchbar macht) widersteht. Sie haben den Richter nicht nur intelligenter gemacht; sie haben ihn ehrlicher gemacht. Das abschließende Urteil? Die neue Methode ist schwerer zu täuschen als sie es ist, übereinzustimmen, und genau das brauchen wir, um unseren KI-Agenten in der realen Welt zu vertrauen.

Technisches Resümee: Induktion von belohnungsfreien Beurteilungsrubriken zur Reduzierung von Überbewertung in der Agenten-Evaluierung

1. Problemstellung

Die Skalierung der Evaluierung von Sprachmodell-Agenten stützt sich zunehmend auf „LLM-as-a-judge“-Systeme, da das Grundwahrheits-Signal (eine ausführbare Belohnung in einer Umgebung) während des Einsatzes oft zu teuer, zu langsam oder zu destruktiv ist, um es abzufragen. Aktuelle automatische Richter verlassen sich typischerweise entweder auf handgeschriebene Bewertungsrubriken (z. B. G-EVAL) oder auf feinabgestimmte Modellgewichte.

Das Paper identifiziert einen kritischen, asymmetrischen Fehlermodus dieser bestehenden Richter: Überbewertung (Over-crediting). Richter neigen dazu, fluide, verbale und selbstbewusste Narrative zu belohnen, selbst wenn der zugrunde liegende Agenten-Trajektorien das eigentliche Ziel nicht erreicht hat (z. B. eine Buchungsbestätigung, die Erfolg narrativiert, aber niemals die Transaktion abschließt).

False Pass (Falsch-Positiv): Die Einstufung eines fehlgeschlagenen Trajektors als Erfolg. Dies ist gefährlich, da es defekte Agenten stillschweigend zertifiziert, Erfolgsraten künstlich aufbläht und Regressionen maskiert.
False Fail (Falsch-Negativ): Die Einstufung eines erfolgreichen Trajektors als Fehlschlag. Dies ist lediglich ineffizient und führt zu einem erneuten Versuch oder einem verworfenen Sample.

Die Autoren argumentieren, dass für einen belohnungsfreien Evaluator die primäre Erfolgsmetrik für den Einsatz nicht die aggregierte Übereinstimmung mit der Grundwahrheit sein sollte, sondern die Minimierung der False-Pass-Rate.

2. Methodik: RUBRICFORGE

Das Paper schlägt RUBRICFORGE vor, eine Methode, die den Text einer agenten-beurteilenden Rubrik induziert, anstatt sie von Hand zu schreiben oder Modellgewichte feinabzustimmen. Die zentrale Innovation besteht darin, den Rubrik-String selbst zu optimieren, während das Richter-Modell eingefroren bleibt.

Kernkomponenten

Frozen Backbone: Ein einzelnes Sprachmodell (Qwen2.5-7B) dient sowohl als Agent als auch als Richter. Die Modellgewichte werden nie aktualisiert; nur der Rubrik-Text wird optimiert.
Reflektive Evolution: Die Rubrik wird mittels GEPA (einem reflektiven Prompt-Evolutionsalgorithmus) entwickelt.
- Input: Ein kleiner Satz von mit Grundwahrheit etikettierter Trajektorien (Trainingspool).
- Prozess: Die aktuelle Rubrik bewertet die Trainings-Trajektorien. Falsch bewertete Fälle (in denen das Urteil des Richters vom Grundwahrheits-Label abweicht) werden gesammelt.
- Reflektion: Ein Meta-Prompt präsentiert die aktuelle Rubrik, die falsch bewerteten Fälle und deren wahre Labels an das Modell. Das Modell wird angewiesen, eine revidierte Rubrik vorzuschlagen, die die beobachtbaren Beweise für ein Scheitern korrekt identifiziert (z. B. „Tool-Fehler“, „fehlende Bestätigung“), anstatt lediglich das Label auswendig zu lernen.
- Selektion: Die evolvierten Rubriken werden auf einem gehaltenen Validierungsset evaluiert. Die am besten performende Rubrik wird ausgewählt.
Einfrieren und Anwendung: Die ausgewählte Rubrik wird wortgetreu eingefroren. Zur Testzeit wird sie auf gehaltene Trajektorien in einem einzigen Modellaufruf angewendet, ohne Zugriff auf die Umgebung.

Zentrale Designentscheidungen

Verankerung (Grounding): Die Induktion ist in externen, programmatischen Ergebnislabels verankert, was verhindert, dass die Rubrik zu den internen Biases des Richters (Fluenz) driftet.
Interpretierbarkeit: Da das optimierte Artefakt menschenlesbarer Text ist, kann jedes Urteil spezifischen, benannten Kriterien (z. B. „Erfolgreiche Authentifizierung“, „Bestellverifizierung“) zugeordnet werden.
Sicherheit: Der Output-Kontrakt ist ein striktes JSON; jeder Parsing-Fehler führt standardmäßig zu einem „Fail“-Urteil, wodurch das System konservativ (in die sichere Richtung) agiert, anstatt fälschlicherweise defekte Agenten durchgehen zu lassen.

3. Zentrale Beiträge

RUBRICFORGE: Eine Methode zur automatischen Metrik-Induktion, die eine Richter-Rubrik gegen Grundwahrheits-Labels unter Verwendung eines Frozen Backbones entwickelt und dabei konkrete, menschenlesbare, trajektorien-basierte Kriterien erzeugt.
Faithfulness über Agreement: Das Paper zeigt, dass die Induktion die Faithfulness (Reduzierung von False-Passes) signifikant verbessert, selbst wenn sie die rohe binäre Übereinstimmung (Agreement) nicht wesentlich steigert.
Verbessertes Ranking: Bei graduierten Aufgaben ordnet die induzierte Rubrik Ergebnisse treuer (höhere Spearman-Korrelation) ein als generische Richter, obwohl sie in der absoluten Score-Kalibrierung geringfügig schlechter abschneidet.
Evaluationsprotokoll: Die Autoren schlagen ein umfassendes Protokoll für die belohnungsfreie Evaluierung vor, das Folgendes umfasst:
- Eine Oracle-Reward-Obergrenze (Ceiling).
- Eine spezifische False-Pass-Rate-Prüfung.
- Eine Trennung zwischen Ranking-Faithfulness und absoluter Kalibrierung.
- Per-Kriterium Leave-one-out-Attribution.
- Stratifizierung nach Schwierigkeit und Fluenz.

4. Experimentelle Ergebnisse

Die Experimente wurden auf $\tau$ -Bench (Einzelhandel/Fluggesellschaft Kundenservice, binäre Belohnung) und WEBSHOP (Shopping, graduierte Belohnung) durchgeführt.

$\tau$ -Bench (Binärer Erfolg)

Übereinstimmung (Agreement): RUBRICFORGE erreichte eine Genauigkeit von 0,774 gegenüber 0,726 bei G-EVAL. Dieser Unterschied war jedoch nicht statistisch signifikant (McNemar $p = 0,248$ ). Die Autoren stellen explizit fest, dass der eingefrorene 7B-Richter bei harten binären Labels nahe seinem Agreement-Limit liegt.
Überbewertung (False-Positive-Rate): Hier glänzt die Methode.
- G-EVAL False-Pass-Rate: 0,173 (9/52 Fehler).
- RUBRICFORGE False-Pass-Rate: 0,115 (6/52 Fehler).
- Ergebnis: RUBRICFORGE überbewertet etwa halb so oft wie der Vergleichsrichter. Die gesamte Differenz zwischen den beiden Richtern besteht aus drei Trajektorien, bei denen G-EVAL versagte (überbewertete) und RUBRICFORGE korrekt scheiterte. Es gab null Umkehrungen (RUBRICFORGE hat nie ein Trajektorium als Erfolg gewertet, das G-EVAL als Fehler eingestuft hatte).
Fallstudien: Die drei erfassten Trajektorien waren eloquent, scheiterten aber an spezifischen beobachtbaren Fehlern (z. B. „Bestellung nicht gefunden“, „Zahlungsdiskrepanz“). RUBRICFORGE identifizierte diese korrekt über seine induzierten Kriterien (z. B. „Bestellverifizierung“, „Anforderungserfüllung“), während G-EVAL durch das selbstbewusste finale Narrativ getäuscht wurde.

WEBSHOP (Graduierte Belohnung)

Ranking: RUBRICFORGE erreichte eine Spearman-Korrelation von 0,410 gegenüber 0,370 bei G-EVAL, was auf eine bessere Faithfulness bei der Ordnung von Ergebnissen hindeutet.
Kalibrierung: G-EVAL war geringfügig besser bei der absoluten Score-Kalibrierung (Differenz im Mean Absolute Error von -0,048, $p = 2 \times 10^{-4}$ ). Die Autoren merken an, dass die Scores von RUBRICFORGE tendenziell entscheidender sind (0,2 oder 1,0), was das Ranking schärft, aber den absoluten Fehler gegenüber glatten, graduierten Belohnungen erhöht.

Stratifizierung

Der Vorteil von RUBRICFORGE war nicht gleichmäßig verteilt. Er konzentrierte sich in schwierigeren Domänen (Airline vs. Retail) und fluenten Policies (RSEA vs. ReAct). Die Methode war am effektivsten darin, „fluente, aber falsche“ Trajektorien zu identifizieren, welche die primäre Fehlerquelle generischer Richter darstellen.

5. Bedeutung und Behauptungen

Die zentrale Behauptung des Papers ist bescheiden, aber präzise: Induktion macht einen belohnungsfreien Evaluator „schwerer zu täuschen als zuzustimmen“.

Relevanz für den Einsatz: Für einen belohnungsfreien Evaluator ist die False-Pass-Rate die kritische Kennzahl für den Einsatz. Ein False Pass bedeutet, dass ein defekter Agent ausgeliefert wird; ein False Fail kostet lediglich einen erneuten Versuch. RUBRICFORGE reduziert diesen gefährlichen Fehlertyp signifikant, ohne die Leistung bei anderen Metriken zu verschlechtern.
Verankerung vs. Goodharts Gesetz: Die Autoren verbinden ihre Methode mit dem Goodharts Gesetz. Ein ungeankerter Richter optimiert auf das „Aussehen von Erfolg“ (Fluenz), was zu Metrik-Drift führt. Durch die Verankerung der Rubrik-Induktion in prüfbaren, externen Labels widersteht RUBRICFORGE diesem Drift und verleiht Faithfulness.
Interpretierbarkeit: Im Gegensatz zum Black-Box-Fine-Tuning ist die induzierte Rubrik Text. Praktiker können die spezifischen Kriterien (z. B. „Erfolgreiche Authentifizierung“) inspizieren, bearbeiten und auditieren, die zu einem Urteil führen, was den Evaluierungsprozess transparent macht.

Die Autoren kommen zu dem Schluss, dass die aggregierte Übereinstimmung zwar oft die Schlagzeile ist, aber die falsche Metrik für die belohnungsfreie Evaluierung darstellt. Der wahre Wert von RUBRICFORGE liegt in seiner Fähigkeit, das asymmetrische Risiko zu reduzieren, defekte Agenten auszuliefern, indem das Evaluationsziel in echten Ergebnissen statt in den ungebundenen Intuitionen des Richters verankert wird.