🤖 machine learning

Benchmarking the Residual: What Long-Horizon Evaluations Add Beyond Matched Short-Task Performance

Dieses Positionspapier argumentiert, dass Benchmarks, um einen „Langzeitversagen“ (long-horizon failure) rigoros zu beanspruchen, die „Horizont-Residuum“ quantifizieren müssen – also die Leistungslücke zwischen dem tatsächlichen Erfolg bei der vollständigen Aufgabe und einer Basisprognose, die aus abgeglichenen Kurzzeitaufgaben abgeleitet wurde –, um echte Degradation von der bloßen Akkumulation gewöhnlicher Fehler zu unterscheiden.

Ursprüngliche Autoren: Chao Peng, Zhiheng Lyu, Peijie Dong, Hande Dong, Qiang Lin

Veröffentlicht 2026-07-31

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chao Peng, Zhiheng Lyu, Peijie Dong, Hande Dong, Qiang Lin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der lange Weg nach Hause: Warum KI auf langen Reisen die Orientierung verliert

Stellen Sie sich vor, Sie bringen einem sehr klugen, aber etwas vergesslichen Roboter bei, eine Reihe von Rätseln zu lösen. In der Welt der künstlichen Intelligenz wird dieser Roboter „Agent“ genannt, und die Rätsel sind Aufgaben, die er bewältigen muss. Manchmal wird der Roboter gebeten, nur eine kleine Sache zu tun, wie zum Beispiel einen einzelnen Tippfehler in einem Dokument zu korrigieren. Manchmal aber wird er gebeten, eine „Long-Horizon“-Reise anzutreten – das bedeutet, ein massives, mehrstufiges Problem zu lösen, das Planung, den Einsatz von Werkzeugen und das Erinnern an das erfordert, was ganz am Anfang geschah. Denken Sie an den Unterschied zwischen der Bitte an einen Freund, ein Glas Wasser zu holen, und der Bitte, eine Reise quer durch das Land zu planen, den Verkehr zu navigieren, einen Reifen zu wechseln und dann das Abendessen zu kochen – und das alles, ohne den Überblick zu verlieren.

Wissenschaftler haben etwas Besorgniserregendes beobachtet: Je länger diese Reisen werden, desto häufiger scheitert der Roboter. Es ist nicht nur so, dass die Reise länger wird; es scheint, als würde der Roboter immer schlechter, je weiter er voranschreitet. Aber hier liegt die große Frage: Scheitert der Roboter, weil die späteren Schritte tatsächlich schwieriger sind, oder scheitert er, weil er müde wurde, durch seine eigenen Notizen verwirrt wurde oder einen frühen Schritt vermasselt hat, was den Rest der Reise ruiniert hat? Dieses Paper taucht in dieses Mysterium ein und versucht herauszufinden, ob der Roboter einfach schlecht in langen Aufgaben ist oder ob er bei jedem einzelnen Schritt eigentlich gut zurechtkommt, aber an der schieren Länge des Abenteuers scheitert.

Die große Idee des Papers: Das „Horizon Residual“

Die Autoren dieses Papers, ein Team von Tencent und anderen Institutionen, sagen im Wesentlichen: „Gebt nicht der Länge der Reise die Schuld am Absturz!“ Sie argumentieren, dass wir oft annehmen, die Aufgabe selbst sei zu schwer geworden, wenn wir sehen, dass eine KI bei einer langen Aufgabe versagt. Aber vielleicht wäre die KI durchaus in der Lage gewesen, jeden einzelnen Schritt perfekt auszuführen, wenn sie für jeden Schritt neu gestartet wäre. Das Problem könnte einfach sein, dass sich die Fehler aufgestaut haben oder der Roboter durch seine eigene lange Historie von Handlungen verwirrt wurde.

Um dies zu beweisen, schlagen sie eine clevere neue Art vor, Roboter zu testen, die sie das „Horizon Residual“ nennen.

Die Analogie: Das Staffellauf-Vergleich zum Einzelsprint

Stellen Sie sich ein Staffellauf vor, bei dem vier Läufer einen Stab weitergeben müssen, um ein Rennen zu beenden.

Der Long-Horizon-Lauf (Der echte Test): Sie beobachten das Team über die gesamten 400 Meter laufen. Wenn sie auch nur einmal den Stab fallen lassen, verliert das gesamte Team.
Der Short-Task-Lauf (Der Benchmark): Sie nehmen genau dieselben vier Läufer und lassen sie die 100-Meter-Strecke einzeln laufen, wobei jeder Läufer jedes Mal bei einem sauberen, frischen Zustand beginnt. Sie messen, wie oft jeder Läufer seinen eigenen Abschnitt erfolgreich abschließt.

Wenn Läufer A in 80 % der Fälle Erfolg hat, Läufer B 80 %, Läufer C 80 % und Läufer D 80 %, können Sie eine mathematische Berechnung anstellen, um den Erfolg des Teams vorherzusagen. Wenn sie unabhängig voneinander laufen, sollte das Team etwa 41 % der Zeit erfolgreich sein (0,8 × 0,8 × 0,8 × 0,8).

Nun kommt der magische Teil. Wenn Sie den eigentlichen Staffellauf durchführen und das Team nur in 10 % der Fälle erfolgreich ist, gibt es eine riesige Lücke zwischen dem, was Sie erwartet haben (41 %), und dem, was tatsächlich passiert ist (10 %). Die Autoren nennen diese Lücke das „Horizon Residual“.

Was das Residual uns verrät

Dieses „Residual“ ist eine Zahl, die Ihnen sagt, wie viel schlechter der Roboter auf der langen Reise abgeschnitten hat, verglichen mit dem, was er basierend auf seinen Kurzstrecken-Fähigkeiten hätte leisten müssen.

Wenn die Zahl Null ist: Der Roboter scheitert genau so oft, wie man es allein aufgrund der höheren Anzahl an Schritten erwarten würde. Es handelt sich lediglich um „Fehler-Kumulierung“ (Error Compounding).
Wenn die Zahl hoch ist: Der Roboter schneidet viel schlechter ab als erwartet. Dies deutet darauf hin, dass etwas Seltsames passiert. Vielleicht lässt sich der Roboter von seiner eigenen langen Text-Historie ablenken (ein Problem, das sie „Context Rot“ nennen), vielleicht vergisst er das ursprüngliche Ziel oder vielleicht hat ein kleiner Fehler am Anfang die Umgebung für die späteren Schritte komplett unbrauchbar gemacht.

Das Paper argumentiert, dass wir nicht einfach nur die endgültige Fehlerrate betrachten und sagen dürfen: „Lange Aufgaben sind schwer.“ Wir müssen zuerst dieses Residual berechnen. Wenn das Residual hoch ist, dann wissen wir, dass wir ein echliches Rätsel zu lösen haben, nämlich warum der Roboter Schwierigkeiten mit langen Kontexten hat.

Was sie ausgeschlossen haben

Die Autoren sind sehr deutlich darüber, was diese Methode nicht ist.

Sie ist kein Zauberstab, der Ihnen sofort sagt, warum der Robot gescheitert ist. Ein hohes Residual zeigt nur auf die Diskrepanz hin; es nennt nicht den Übeltäter. Man muss immer noch weitere Experimente durchführen (wie das Zurücksetzen des Gedächtnisses des Roboters oder das Komprimieren seiner Historie), um die spezifische Ursache zu finden.
Sie besagt nicht, dass lange Aufgaben einfach sind. Sie geben zu, dass lange Aufgaben schwieriger sind, weil es schlichtweg mehr Chancen gibt, einen Fehler zu machen. Das Paper möchte nur zwischen „mehr Chancen auf Fehler“ und „die Aufgabe wird magisch schwieriger“ unterscheiden.

Wie sicher sind sie sich?

Dieses Paper ist ein „Position Paper“, was bedeutet, dass es eine neue Denkweise und einen neuen Satz von Regeln vorschlägt, wie wir KI testen sollten. Sie haben kein riesiges neues Experiment durchgeführt, das beweist, dass ihre Theorie die absolute Wahrheit für jeden Roboter der Welt ist. Stattdessen sagen sie: „Schauen wir uns die Daten an, die wir bereits haben. Wenn wir sie auf diese Weise betrachten, ergibt es mehr Sinn.“

Sie verweisen auf bestehende Studien, in denen Roboter an langen Aufgaben scheiterten, aber an kurzen Aufgaben erfolgreich waren, was darauf hindeutet, dass das „Long-Horizon-Versagen“ eine Illusion sein könnte, die durch die Art unserer Messung entsteht. Sie schlagen vor, dass wir, wenn wir ihre Methode des „Horizon Residual“ anwenden, aufhören werden, Fehler bei der Diagnose von KI-Problemen zu machen. Sie sind zuversichtlich, dass diese Methode notwendig ist, um voranzukommen, laden aber andere Wissenschaftler ein, sie auszuprobieren und zu prüfen, ob sie standhält.

Das Fazit

Kurz gesagt ist das Paper ein Aufruf an die Wissenschaft, mit dem Raten aufzuhören. Anstatt nur zu sagen: „Die KI ist an der langen Aufgabe gescheitert“, wollen sie, dass wir sagen: „Die KI ist an der langen Aufgabe gescheitert, aber basierend auf ihren Kurzstrecken-Fähigkeiten hätte sie in 40 % der Fälle Erfolg haben müssen. Da sie nur in 10 % der Fälle erfolgreich war, gibt es eine 30-prozentige Lücke, die wir untersuchen müssen.“

Es verwandelt die vage Beschwerde „lange Aufgaben sind schwer“ in eine präzise, messbare Wissenschaft. Es ist so, als würde man erkennen, dass das Auto nicht kaputt ist, weil die Fahrt lang ist, sondern weil man vergessen hat, beim ersten Stopp den Ölstand zu prüfen, und nun der Motor raucht. Das Horizon Residual ist das Werkzeug, das uns hilft, das Öl zu prüfen, bevor wir der Entfernung die Schuld geben.

Technisches Resümee: Benchmarking des Residuums

Problemstellung

Langzeit-Benchmarks für Sprachmodell-Agenten zeigen konsistent, dass die Erfolgsraten sinken, wenn Aufgaben in der Länge zunehmen. Das Paper argumentiert jedoch, dass ein bloßer Rückgang der End-to-End-Leistung unzureichend ist, um die zugrunde liegenden Fehlermechanismen zu diagnostizieren. Eine niedrigere Erfolgsrate bei einer langen Aufgabe kann schlicht das Resultat einer gewöhnlichen Fehlerkumulation (der statistischen Wahrscheinlichkeit eines Scheiterns mit der Anzahl unabhängiger Stadien) sein und nicht auf eine spezifische „Langzeit-Einschränkung“ wie Kontextdegradation, Zustandskontamination oder Planungskollaps zurückzuführen sein.

Aktuelle Benchmarks vermengen oft drei unterschiedliche Quellen der Leistungsdegradation:

Fehlerkumulation: Mehr Stadien schaffen mehr Gelegenheiten für Fehler, selbst wenn die einzelnen Stadien in ihrer Schwierigkeit unverändert bleiben.
Schwerere lokale Arbeit: Längere Aufgaben enthalten möglicherweise von Natur aus mehrtönige oder spezialisierte Stadien.
Historien- und Zustandsabhängigkeit: Akkumulierter Kontext, Tool-Outputs oder vorangegangene Fehler machen nachfolgende Schritte schwieriger (bezeichnet als trajektorieninduzierte Degradation oder Kontext-Fäulnis / context rot).

Oh\ne diese Faktoren zu unterscheiden, kann eine sinkende Leistungskurve nicht identifizieren, ob ein Agent scheitert, weil die Aufgabe lang ist, weil die Stadien schwierig sind oder weil seine Historie seine zukünftige Leistung aktiv verschlechtert.

Methodik

Das Paper schlägt ein Diagnoserahmenwerk vor, das auf dem Horizont-Residuum ( $\Gamma_H$ ) basiert – einer Metrik, die die tatsächliche End-to-End-Leistung mit einer Baseline-Vorhersage vergleicht, die aus gematchten Kurzzeit-Evaluierungen abgeleitet wurde.

1. Dekomposition und Checkpoints

Die Methodik erfordert eine vordefinierte Dekomposition einer langen Aufgabe in verifizierbare semantische Stadien (z. B. „Bug finden“, „API aktualisieren“) anstatt willkürlicher Turn-Zahlen.

Checkpoints: Der eingesetzte Agent (Modell, Prompt, Tools, Gedächtnis) wird von deklarierten Checkpoints aus gestartet. Ein Checkpoint umfasst den spezifischen Umgebungszustand, die sichtbare Historie, die enthüllten Informationen und das lokale Budget.
Bedingte Wahrscheinlichkeiten ( $q_i$ ): Für jedes Stadium $i$ wird die Erfolgswahrscheinlichkeit gemessen, unter der Bedingung, dass alle vorherigen erforderlichen Stadien abgeschlossen wurden und der Agent am deklarierten Checkpoint gestartet ist: $q_i = \Pr(S_i = 1 \mid S_{<i} = 1, I)$ .

2. Die Produkt-Baseline ( $P_{expected}$ )

Unter Verwendung der Kettenregel konstruiert das Paper eine prüfbare Baseline-Vorhersage für die Erfolgsrate der vollständigen Aufgabe durch Multiplikation der bedingten Stadienwahrscheinlichkeiten:
$P_{expected} = \prod_i q_i$
Diese Baseline setzt voraus, dass, wenn der Agent jedes Stadium unabhängig unter angepassten Bedingungen erfolgreich abschließen kann, der Gesamterfolg das Produkt dieser Wahrscheinlichkeiten sein sollte. Das Paper räumt ein, dass dies ein „Nullmodell“ ist, das möglicherweise keine Erholung (recovery), Verzweigungspfade oder Zustandsänderungen berücksichtigt, und schlägt Erweiterungen (z. B. Checkpoint-Simulatoren) für heterogene Aufgaben vor.

3. Das Horizont-Residuum ( $\Gamma_H$ )

Die Kernmetrik ist das Log-Verhältnis zwischen der erwarteten Erfolgsrate (aus der Baseline) und der beobachteten Erfolgsrate ( $P_{observed}$ ) eines natürlichen End-to-End-Durchlaufs:
$\Gamma_H = \log \left( \frac{P_{expected}}{P_{observed}} \right)$

$\Gamma_H > 0$ : Der natürliche Durchlauf schneidet schlechter ab als die gematchte Kurzzeit-Vorhersage, was auf eine Diskrepanz hindeutet (potenzielle trajektorieninduzierte Degradation).
$\Gamma_H \approx 0$ : Der natürliche Durchlauf stimmt mit der Vorhersage überein, was darauf hindeutet, dass der Leistungsabfall auf gewöhnliche Fehlerkumulation zurückzuführen ist.
$\Gamma_H < 0$ : Der natürliche Durchlauf schneidet besser ab als die Vorhersage (z. B. aufgrund von Feedback- oder Erholungsmechanismen, die in der Baseline fehlen).

4. Strukturelle Annotationen

Um die Aufgabenstruktur von der lokalen Schwierigkeit zu trennen, plädiert das Paper für die Angabe zweier komplementärer Annotationen:

Arbeitsaufwand ( $N_{work}$ ): Die Anzahl der erforderlichen, separat verifizierbaren Stadien.
Abhängigkeitstiefe ( $H_{dep}$ ): Die Tiefe der längsten erforderlichen Abhängigkeitskette.
Dies ermöglicht es Benchmarks zu unterscheiden, ob Aufgaben „lang“ sind aufgrund des Volumens (viele unabhängige Schritte) oder aufgrund tiefer Inter-Stadien-Abhängigkeiten.

Kernbeiträge

Diagnostische Unterscheidung: Das Paper argumentiert dafür, den rohen Leistungsabfall als deskriptives Deployment-Ergebnis zu behandeln und das Horizont-Residuum als eine separate, protokollabhängige Diagnose. Es behauptet, dass die Behauptung eines „Langzeit-Versagens“ Beweise erfordert, dass der vollständige Durchlauf von einer aus gematchten Kurzstadien aufgebauten Baseline abweicht.
Prüfbare Baseline-Vorschlag: Es schlägt eine einfache, prüfbare Produkt-Baseline ( $P_{expected}$ ) vor und skizziert Erweiterungen (bedingte Modelle, Checkpoint-Simulatoren) für Aufgaben mit Verzweigungen oder Erholung. Es betont, dass die Baseline vor der Evaluierung des natürlichen Durchlaufs deklariert werden muss.
Berichterstattung und Interventionsagenda: Das Paper formuliert spezifische Berichtsanforderungen (Dekomposition, Checkpoint-Zustände, Budgets) und eine Interventionsagenda. Es postuliert, dass das Residuum keine kausale Erklärung ist, sondern ein Signal, um gezielte Experimente (z. B. Historien-Reset, Zustandsreparatur, Kontextkompression) zu steuern, um den spezifischen Mechanismus des Versagens zu identifizieren.

Ergebnisse und Evidenz

Das Paper präsentiert keine neuen experimentellen Ergebnisse, sondern synthetisiert bestehende Literatur, um die Notwendigkeit dieses Rahmens zu demonstrieren:

SWE-Milestone vs. Kontinuierliche Ausführung: Unabhängige Meilensteine zeigen oft Erfolgsraten von >80 %, während die kontinuierliche Evolution auf demselben Codebase auf ~38 % sinkt. Das Paper stellt fest, dass ohne die Komposition der unabhängigen Scores zu einer Ketten-Level-Gegenüberstellung dieser Unterschied mehrdeutig bleibt.
ChainSWE: Zeigt einen Abfall von 58,9 % Genauigkeit (Oracle-korrekter Vorzustand) auf 36,5 % (Agent-generierter Vorzustand), was den Wert der Zustandsreparatur illustriert, aber gleichzeitig das Fehlen einer zusammengesetzten Ketten-Level-Vorhersage anmerkt.
SWE-Marathon: Zeigt, dass Kontextkompaktion mit Fehlern korreliert, aber ohne gematchte Interventionen ist unklar, ob die Kompaktion den Fehler verursacht oder lediglich fehlerhafte Trajektorien markiert.
Illusion: Kontrollierte Manipulationen der Historie zeigen, dass Fehler in der vorangegangenen Historie die nachfolgende Genauigkeit reduzieren, wodurch der Inhalt gegenüber der Länge als Ursache isoliert wird.

Das Paper überprüft repräsentative Benchmarks (SWE-EVO, NL2Repo-Bench, SWE-Chain, etc.) und kommt zu dem Schluss, dass in Tabelle 4 keine bestehende Studie die vollständige Sequenz implementiert: gematchte lokale Messung, deklarierte Komposition, natürlicher Durchlauf, Handhabung der Zustandskompatibilität, gezielte Intervention und Protokoll-Sensitivitätsanalyse.

Bedeutung und Behauptungen

Die Bedeutung des Papers liegt in der Umformulierung von „länger ist schwerer“ von einer deskriptiven Beobachtung in ein prüfbares Forschungsprogramm.

Deployment vs. Diagnose: Es klärt, dass Deployment-Benchmarks fragen, ob ein System erfolgreich ist, während diagnostische Benchmarks fragen, warum es scheitert. Das Horizont-Residuum überbrückt diese Lücke, indem es die Kluft zwischen lokaler Kompetenz und globaler Leistung quantifiziert.
Kausale Disziplin: Die Autoren behaupten, dass das Residuum keine kausale Antwort ist. Ein positives Residuum zeigt lediglich eine Diskrepanz zum gewählten Baseline-Modell an. Es lenkt Forscher auf spezifische Hypothesen (z. B. „Ist es Kontext-Fäulnis?“) um, die dann durch gezielte Interventionen getestet werden müssen.
Falsifizierbarkeit: Die Position ist falsifizierbar, wenn:
1. Das Vorzeichen von $\Gamma_H$ über zulässige Protokolle hinweg instabil ist.
2. Gematchte Checkpoints nicht zu vertretbaren Kosten konstruiert werden können.
3. Das Residuum keine inkrementellen diagnostischen Informationen über bestehende Vergleiche zwischen persistenten und zurückgesetzten Zuständen hinaus liefert.

Letztlich argumentiert das Paper, dass solange eine sinkende Kurve nicht von einer vordefinierten kompositorischen Vorhersage und dem daraus resultierenden Residuum begleitet wird, Behauptungen über Langzeit-Mechanismen nicht legitimiert sind. Das Framework verwandelt die Beobachtung des Scheiterns in eine strukturierte Untersuchung von Historie, Zustand, Information und Erholung.