🤖 AI

Stop Comparing LLM Agents Without Disclosing the Harness

Dieses Positionspapier argumentiert, dass bei Aufgaben mit langem Zeithorizont die Agenten-Ausführungsinfrastruktur oft ein stärkerer Leistungsbestimmungsfaktor ist als das zugrundeliegende Sprachmodell, und fordert die Gemeinschaft auf, bewusste Infrastruktur-Evaluierungsprotokolle einzuführen, um eine systematische Fehlzuordnung von Infrastrukturgewinnen zu Modellverbesserungen zu verhindern.

Ursprüngliche Autoren: Yunbei Zhang, Janet Wang, Yingqiang Ge, Weijie Xu, Jihun Hamm, Chandan K. Reddy

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yunbei Zhang, Janet Wang, Yingqiang Ge, Weijie Xu, Jihun Hamm, Chandan K. Reddy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Es geht nicht nur um den Motor, sondern um das Auto

Stellen Sie sich vor, Sie versuchen zu beurteilen, welcher Automotor der beste ist. Sie montieren einen Ferrari-Motor in eine rostige, kaputte Limousine mit platten Reifen und einem Lenkrad, das nicht funktioniert. Dann setzen Sie einen etwas weniger leistungsstarken Motor in ein brandneues, hochtechnisches Rennauto mit perfekten Reifen und einem GPS-Navigationssystem.

Wenn das zweite Auto das Rennen gewinnt, hat es dann gewonnen, weil der Motor besser war? Nein. Es hat gewonnen, weil das Auto (das Chassis, die Reifen, die Navigation) besser war.

Dieses Papier argumentiert, dass wir derzeit genau diesen Fehler bei der KI machen.

Wenn wir KI-"Agenten" (KI-Programme, die Aufgaben wie das Schreiben von Code oder das Beheben von Softwarefehlern übernehmen können) testen, schauen wir normalerweise auf eine einzelne Punktzahl und sagen: „Wow, Modell A ist besser als Modell B." Die Autoren sagen, dies sei irreführend. Sie argumentieren, dass für komplexe, langfristige Aufgaben die Punktzahl viel mehr von der „Zügelung" (der Software-Infrastruktur, die die KI umgibt) abhängt als vom KI-Modell selbst.

Die „Zügelung": Der Körper und das Nervensystem der KI

Das Papier nennt die Infrastruktur die „Zügelung". Stellen Sie sich das KI-Modell (das „Gehirn") als Piloten vor. Die Zügelung ist das Cockpit, das Autopilot-System, der Kraftstoffanzeiger und das Funkgerät.

Das Modell (Das Gehirn): Es ist nur der Teil, der denkt und Text generiert. Es ist „offen-loop", was bedeutet, dass es einfach eine Antwort ausspuckt und auf den nächsten Prompt wartet. Es weiß nicht, ob es einen Fehler gemacht hat, bis ihm jemand davon erzählt.
Die Zügelung (Der Controller): Dies ist die Softwareschicht, die:
- Entscheidet, welche Informationen der KI angezeigt werden (Kontext).
- Prüft, ob die Antwort der KI Sinn ergibt (Verifikation).
- Die KI auffordert, es erneut zu versuchen, wenn sie scheitert (Retry-Logik).
- Verhindert, dass die KI durch zu viele Informationen verwirrt wird (Speicherverwaltung).

Das Papier behauptet, dass für lange, schwierige Aufgaben die Zügelung die „bindende Einschränkung" ist. Das bedeutet, die Zügelung ist der Flaschenhals. Wenn die Zügelung schlecht ist, wird selbst die intelligenteste KI scheitern. Wenn die Zügelung großartig ist, kann ein etwas weniger intelligentes KI-Modell erfolgreich sein.

Die „These der bindenden Einschränkung"

Die Autoren schlagen eine Theorie vor, die These der bindenden Einschränkung heißt. Auf Deutsch bedeutet sie:

„Wenn wir erstklassige KI-Modelle bei schwierigen, langen Aufgaben vergleichen, wird der Unterschied in ihren Punktzahlen eher durch den Aufbau der Zügelung verursacht als durch die Wahl des Modells."

Sie fanden heraus, dass eine Änderung der Zügelung eine Punktzahl um 15 Prozentpunkte verschieben kann, während eine Änderung des Modells die Punktzahl normalerweise nur um 2 bis 4 Punkte verändert.

Die Analogie: Stellen Sie sich zwei Läufer vor. Der eine ist ein olympischer Sprinter (Modell A), der andere ein sehr gut trainierter Amateur (Modell B).

Wenn Sie den olympischen Sprinter in schlammigen Stiefeln stecken und ihm einen schweren Rucksack geben (schlechte Zügelung), könnte er gegen den Amateur unterlegen sein, der in perfekten Schuhen läuft (gute Zügelung).
Das Papier sagt, dass aktuelle Leaderboards wie ein Rennen sind, bei dem jeder unterschiedliche Schuhe trägt, wir aber nur melden, wer gewonnen hat, und die Schuhe ignorieren.

Warum aktuelle Leaderboards „unvollständig" sind

Derzeit verhalten sich Benchmarks (wie SWE-bench oder Terminal-Bench) so, als würden sie nur das „Gehirn" testen. In Wirklichkeit testen sie jedoch Gehirn + Zügelung.

Da Forscher selten genau veröffentlichen, wie sie ihre Zügelung aufgebaut haben (das „Rezept" für das Cockpit), können wir nicht sagen, ob ein Modell tatsächlich intelligenter ist oder ob das Team einfach eine bessere Zügelung darum herum gebaut hat.

Die Beweise des Papiers:

Beispiele aus der Praxis: Sie zeigten, dass dasselbe KI-Modell (Claude Opus) mit einer Zügelung eine Punktzahl von 45,9 % und mit einer anderen eine Punktzahl von 55,4 % erreichte. Das ist ein riesiger Sprung nur durch den Wechsel des Software-Wrappers, nicht des Modells.
Kontrolliertes Experiment: Sie nahmen drei verschiedene erstklassige Modelle und ließen sie durch drei verschiedene Zügelungen laufen (Minimal, Verbessert und Voll).
- Ergebnis: Eine Änderung der Zügelung veränderte die Punktzahlen viel mehr als eine Änderung des Modells.
- Die Wendung: Manchmal schlug ein „schlechteres" Modell mit einer „besseren" Zügelung ein „besseres" Modell mit einer „schlechteren" Zügelung. Die Rangliste wurde umgekehrt!

Die Lösung: „Offenlegung" und „Varianzzerlegung"

Das Papier sagt nicht, dass wir aufhören sollten, Modelle zu verwenden. Es sagt, wir müssen aufhören, so zu tun, als ob die Zügelung nicht existiere. Sie schlagen eine neue Art vor, KI zu bewerten:

Die „Zügelungskarte": Genau wie Lebensmittelkennzeichnungen Zutaten auflisten, sollte jede KI-Benchmark-Einreichung ihre „Zügelungskarte" auflisten. Diese Karte beschreibt genau, wie der Kontext aufgebaut ist, wie Fehler behandelt werden und wie die KI verifiziert wird.
Varianzzerlegung: Anstatt nur eine Punktzahl anzugeben, sollten Forscher berichten:
- Wie viel des Unterschieds in der Punktzahl ist auf das Modell zurückzuführen?
- Wie viel ist auf die Zügelung zurückzuführen?
- Wie viel ist auf die Interaktion zwischen ihnen zurückzuführen?

Das Fazit

Wenn Sie ein Forscher, Investor oder Benutzer sind, der sich KI-Leaderboards ansieht, warnt Sie das Papier: Vertrauen Sie den Ranglisten nicht blind.

Bis wir die „Zügelungskarte" sehen, ist eine Leaderboard-Rangliste wie das Beurteilen eines Rennens, ohne zu wissen, wer welches Auto gefahren hat. Der „Gewinner" hatte vielleicht nur ein besseres Auto, nicht einen besseren Fahrer. Um den Fortschritt der KI wirklich zu verstehen, müssen wir aufhören, nur die Gehirne zu vergleichen, und anfangen, das gesamte System zu vergleichen – das Gehirn und den Körper, in dem es lebt.

Technische Zusammenfassung: Stoppen Sie den Vergleich von LLM-Agenten ohne Offenlegung des Harness

1. Problemstellung

Die aktuellen Evaluierungspraktiken für Large Language Model (LLM)-Agenten bei Aufgaben mit langem Horizont vermischen systematisch die Modellfähigkeit mit der Leistung des Ausführungs-Harness. Der Ausführungs-Harness ist die Infrastrukturebene, die für den Kontextaufbau, die Vermittlung von Werkzeuginteraktionen, die Ausgabeüberprüfung, die Orchestrierung (Retry-/Eskalationslogik) und die Stoppkriterien verantwortlich ist.

Standard-Ranglisten (z. B. SWE-bench, Terminal-Bench, AgentBench) berichten einen einzelnen Score pro {Modell, Benchmark}-Paar und schreiben das Ergebnis implizit ausschließlich dem Modell zu. Diese Arbeit argumentiert, dass bei Aufgaben mit langem Horizont, die vergleichbare Frontier-Modelle betreffen, der Harness oft die bindende Einschränkung für die Leistung darstellt. Folglich schreiben aktuelle Evaluierungsprotokolle Harness-bedingte Gewinne fälschlicherweise Modellverbesserungen zu, was Modellvergleiche unzuverlässig und potenziell irreführend macht. Diese Vermischung entsteht, weil:

Beobachtbare Evidenz: Das Festhalten eines Modells bei gleichzeitiger Änderung nur der Harness-Infrastruktur kann Leistungsverschiebungen (z. B. 15 Prozentpunkte) erzeugen, die die berichteten Modellverbesserungen (typischerweise 2–4 Punkte) weit übertreffen.
Strukturelle Realität: Agenten operieren als geschlossene dynamische Systeme, wobei der Harness als Regler und das LLM als stochastische Policy fungiert. Die Zuverlässigkeit bei langem Horizont hängt von den Eigenschaften des Reglers (Stabilität, Management von Kontextdrift, Regelverzögerung) ab und nicht nur von der rohen Fähigkeit der Policy.

2. Methodik und Theoretischer Rahmen

Die These der bindenden Einschränkung

Die Arbeit formalisiert die These der bindenden Einschränkung: Im Regime von Aufgaben mit langem Horizont und vergleichbaren Frontier-Modellen ist die durch den Harness verursachte Varianz in Benchmark-Scores ($HV$) oft vergleichbar mit oder größer als die durch die Modellwahl verursachte Varianz ($MV$).

Die gesamte Leistungsvarianz wird wie folgt zerlegt:
$\text{Var}(B(M, H)) = \underbrace{\text{Var}_M[E_H[B(M, H)]]}_{MV} + \underbrace{\text{Var}_H[E_M[B(M, H)]]}_{HV} + \underbrace{\text{Var}(\text{Interaktion})}_{\text{Interaktion}}$
Die These besagt, dass $HV$ und der Interaktionsterm $MV$ in aktuellen Evaluierungen dominieren.

Kontrolltheoretische Formalisierung

Die Autoren reframen die Agentenausführung von einer einfachen Inferenzschleife zu einem geschlossenen dynamischen System:

Das LLM ( $\pi_\theta$ ): Eine offene stochastische Policy, die eine Kontextprojektion $c(s_t)$ empfängt, aber keinen direkten Zugriff auf den vollständigen Zustand $s_t$ hat.
Der Harness ( $C_H$ ): Der Regler, der den Zustand aktualisiert, Beobachtungen filtert und die Feedback-Schleife verwaltet.
Zuverlässigkeitsgrößen: Der Harness bestimmt drei kritische strukturelle Größen:
1. Stabilität: Ob das System einen nicht abnehmenden erwarteten Fortschritt zum Ziel hin erzielt (Lyapunov-ähnliches Maß).
2. Kontextdrift ( $\delta_t$ ): Die Rate, mit der aufgabenrelevante Informationen aus dem Kontextfenster verloren gehen.
3. Regelverzögerung ( $\tau$ ): Die Verzögerung zwischen der Erkennung einer Anomalie und dem Eintreffen eines Korrektursignals bei der Policy.

Empirischer Ansatz

Die Arbeit stützt die These durch zwei Beweislinien:

Beobachtbare Daten: Analyse öffentlicher Ranglisten (SWE-bench Pro, Terminal-Bench, HAL), die zeigen, dass „nur-Gerüst"-Variationen (Ändern des Harness bei festem Modell) zweistellige Leistungsschwankungen und Rangumkehrungen bewirken.
Kontrollierter faktorieller Experiment: Ein 3x3-Gitter-Experiment, das drei Frontier-Modelle (GPT-5.4, Kimi K2.6, GLM-5.1) gegen drei verschiedene Harness-Konfigurationen ( $H_1$ : Minimal/Offen-loop, $H_2$ : Verbessert/Basis-geschlossener Loop, $H_3$ : Vollständig/Erweiterter geschlossener Loop) auf einem geschichteten Teilset von SWE-bench Verified testet.

3. Wichtige Ergebnisse

Beobachtbare Evidenz

SWE-bench Pro: Unter einem standardisierten Gerüst erstrecken sich Top-Modelle über 4,9 Punkte. Das Festhalten eines Modells (Claude Opus 4.5) und der Wechsel vom SEAL-Gerüst zu Claude Code erhöht den Score jedoch um 9,5 Punkte.
Rangumkehrungen: Das Hinzufügen eines einzelnen Such-Subagenten (WarpGrep) zur identischen Infrastruktur kehrte die Rangfolge zwischen MiniMax 2.5 und Claude Opus 4.6 um.
Gerüst-übergreifende Lücken: Auf SWE-bench Verified Mini zeigte dasselbe Modell (z. B. Claude Sonnet 4.5) eine 34-Punkte-Lücke zwischen verschiedenen Gerüsten (SWE-Agent vs. HAL Generalist).

Ergebnisse des kontrollierten faktoriellen Experiments

Varianz-Dominanz: Die durch den Harness verursachte Varianz ($HV$) war 7,80-mal größer als die durch das Modell verursachte Varianz ($MV$).
- Durchschnittliche $HV$: 18,48 pp²
- Durchschnittliche $MV$: 2,37 pp²
Leistungsverschiebungen: Das Ändern des Harness verschob die Scores für feste Modelle um 8,5 bis 13,0 Prozentpunkte, während das Ändern des Modells innerhalb eines festen Harness die Scores nur um 2,5 bis 5,0 Punkte verschob.
Instabilität der Rangfolge: 6 von 9 möglichen Modellpaar-/Harnesspaar-Vergleichen führten zu Rangumkehrungen.
Mechanismusanalyse:
- Die Gewinne von $H_1 \to H_2$ wurden durch reduzierte Regelrauschen (besseres Formatieren, Abruf, Fehlerbehandlung) getrieben.
- Die Gewinne von $H_2 \to H_3$ wurden durch das Schließen der Verifikations- und Wiederherstellungsschleife (Selbstprüfung, Anomalieerkennung, Rollback) getrieben.

4. Vorgeschlagener Rahmen: Harness-bewusste Evaluierung

Die Arbeit schlägt ein neues Evaluierungsregime vor, das drei Komponenten erfordert:

Harness-Karte (Strukturierte Offenlegung): Jeder Benchmark-Einreichung muss eine Offenlegung beigefügt sein, die nach der ETCSOVG-Taxonomie organisiert ist:
- Execution (Laufzeit, Sandboxing, Timeouts)
- Tool (Liste, Schema, Fehlerverträge)
- Context (Fensterkapazität, Kompression, Abruf, Speicher)
- Scheduling (Schleife, Retry, Eskalation, Rollback)
- Observability (Protokollierung, Traces)
- Verification (Parsing, Selbstprüfung, Anomalieerkennung)
- Governance (Berechtigungen, Seiteneffekte)
Protokoll zur Varianzzerlegung: Evaluierungen sollten entweder Folgendes anwenden:
- Locked-Harness-Protokoll: Ein einzelnes, spezifiziertes Harness, das auf alle Modelle angewendet wird, für eine saubere Rangfolge.
- Faktorielles Protokoll: Variation sowohl der Modelle als auch der Harnesses, um $HV$, $MV$, Interaktionsterme und die Anzahl der Rangumkehrungen zu berichten.
Trajektorien-Level-Metriken: Um Leistungsverschiebungen spezifischen Harness-Schichten zuzuordnen, schlägt die Arbeit vor:
- Wiederherstellungsrate (RR): Wahrscheinlichkeit, innerhalb von $k$ Schritten nach einer Anomalie in einen aufgabenfortschreitenden Zustand zurückzukehren (misst Stabilität).
- Kontexterhalt: Anteil der aufgabenrelevanten Dateien/Einschränkungen, die im Kontext vorhanden sind (misst Drift).
- Regelverzögerung ( $\tau$ ): Schritte zwischen Anomalieerkennung und Eintreffen des Korrektursignals.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Benchmark-Scores für Agenten mit langem Horizont für Modellvergleiche ungültig sind, sofern der Ausführungs-Harness nicht offengelegt wird.

Wissenschaftliche Genauigkeit: Aktuelle Ranglisten messen eine Mischung aus Modell und Harness, was zu einer systematischen Fehlzuschreibung von Gewinnen führt. Dies verzerrt Forschungsanreize, indem Investitionen in die Modellskalierung gelenkt werden, während in das Harness-Engineering unterinvestiert wird, welches die größere Varianzquelle darstellt.
Praktische Auswirkungen: Entscheidungen zur Bereitstellung, die auf aktuellen Rangfolgen basieren, sind fehlerhaft, da sie den Beitrag des Modells nicht isolieren. Die „bindende Einschränkung" ist oft die Infrastruktur und nicht die Modellgewichte.
Aufruf zum Handeln: Das Feld muss sich davon lösen, den Harness als versteckte Variable zu behandeln, und ihn stattdessen als primäre experimentelle Bedingung betrachten. Solange Harness-Spezifikationen nicht offengelegt werden und die Varianzzerlegung nicht zur Routine wird, sollten Ranglistenvergleiche als unvollständig betrachtet werden.

Die Arbeit lehnt die Vorstellung explizit ab, dass „bessere Modelle dies lösen werden", und stellt fest, dass mit der Verbesserung der Modelle die Harnesses komplexer werden (z. B. Claude Code, das Komponenten neu gestaltet, anstatt sie zu entfernen), um die erhöhte Fähigkeit zu bewältigen. Die Lösung liegt in der strukturellen Offenlegung, nicht nur in Standardisierung oder Skalierung.