Technisches Resümee: Long-Horizon-Terminal-Bench

Problemstellung

Aktuelle KI-Agenten, die auf Large Language Models (LLMs) basieren, haben eine Kompetenz in kurzen, eng gefassten Terminal-Aufgaben (z. B. Behebung eines spezifischen Code-Fehlers oder Ausführen einiger weniger Shell-Befehle) bewiesen. Bestehende Terminal-Benchmarks (wie Terminal-Bench und SWE-Bench) konzentrieren sich jedoch weitgehend auf diese kurzfristigen Probleme (Short-Horizon-Probleme), die typischerweise innerhalb von Minuten evaluiert und ausschließlich nach einem binären „Pass/Fail“-Ergebnis bewertet werden. Dieses Evaluationsparadigma schafft zwei kritische Lücken:

1. Unterschätzung der Schwierigkeit: Kurze Horizonte erfassen nicht die Komplexität realer Arbeitsabläufe, die hunderte von Schritten, kontinuierliche Planung über Stunden hinweg und iteratives Debugging erfordern.
2. Spärliche Belohnungssignale (Sparse Reward Signals): Die binäre Bewertung ignoriert Zwischenfortschritte. Ein Agent, der 90 % eines komplexen Workflows abschließt, aber beim letzten Schritt scheitert, erhält dieselbe Punktzahl wie ein Agent, der sofort scheitert. Dies verschleiert die tatsächliche Leistungsfähigkeit des Agenten und erschwert die Diagnose spezifischer Fehlermodi (z. B. vorzeitiges Stoppen vs. Timeout).

Methodik

Die Autoren führen den Long-Horizon-Terminal-Bench (LHTB) ein, einen Benchmark, der darauf ausgelegt ist, Agenten durch dichte, prozessbasierte Belohnungsbewertung bei langfristigen, domänenspezifischen Terminal-Aufgaben zu testen.

Aufgabenkonstruktion

• Umfang: Der Benchmark besteht aus 46 Aufgaben, die neun Kategorien abdecken, darunter Experiment-Reproduktion, Softwareentwicklung, multimodale Analyse, interaktive Spiele und wissenschaftliches Rechnen.
• Format: Die Aufgaben folgen der Terminal-Bench-Formulierung: eine containerisierte Docker-Umgebung mit einer natürlichen Sprachanweisung, relevanten Dateien/Werkzeugen und einer Oracle-Lösung. Agenten interagieren ausschließlich über das Terminal.
• Komplexität: Die Aufgaben sind explizit so konzipiert, dass sie hunderte von Schritten erfordern und Ausführungszeiten von zehn Minuten bis hin zu mehreren Stunden umfassen. Sie beinhalten das Lesen/Modifizieren von Code, das Ausführen langer Skripte und das Inspizieren partieller Ausgaben.
• Schwierigkeitskalibrierung: Die Aufgaben wurden durch das Erstellen von „absichtlich fehlerhaften“ Terminal-only-Projekten erstellt. Um Overfitting zu verhindern, sind öffentliche Prüfungen minimal (sie validieren lediglich das CLI-Verhalten und einfache Beispiele), während der Großteil der Belohnung aus versteckten Stressfällen (z. B. verschachtelte Manifeste, Schema-Variationen, injizierter Rauschen) abgeleitet wird, die robuste, generalisierbare Lösungen erfordern.

Bewertungsmechanismus: Dichte Belohnungen (Dense Rewards)

Im Gegensatz zur binären Evaluierung verwendet LHTB ein subaufgabenbasiertes Bewertungsschema:

• Jede Aufgabe wird in semantisch bedeutsame Subaufgaben ($s_1, \dots, s_K$) zerlegt.
• Ein deterministischer Grader weist jeder Subaufgabe einen normalisierten Score $r_k \in [0, 1]$ basierend auf objektiven Belegen (Dateien, Ausgaben, Testergebnisse) zu.
• Die endgültige Belohnung $R$ ist ein gewichteter Durchschnitt: $R = \frac{\sum w_k r_k}{\sum w_k}$.
• Dies ermöglicht Teilpunkte (Partial Credit) und erfasst, wie weit ein Agent fortgeschritten ist, selbst wenn er das Endziel nicht erreicht.

Evaluations-Setup

• Modelle: 15 Frontier-Modelle wurden evaluiert (darunter GPT-5.5, DeepSeek V4 Pro, Kimi K2.7 Code, etc.).
• Harness: Für die meisten Modelle wurde das Terminus-2 Agent-Harness verwendet, welches über eine einzige Long-Horizon-Terminal-Sitzung interagiert.
• Beschränkungen: Aufgaben haben ein 90-minütiges Wall-Clock-Timeout.
• Metriken: Pass@1 (bei Schwellenwerten $R \ge 0,9, 0,95, 1,0$), mittlere normalisierte Belohnung, Episoden pro Aufgabe, Ausführungszeit und geschätzte Kosten.

Kernergebnisse

Die Evaluation zeigt, dass die langfristige Ausführung (Long-Horizon Execution) selbst für die fortschrittlichsten Modelle einen erheblichen Engpass darstellt.

• Niedrige Erfolgsraten: Selbst das stärkste Modell, GPT-5.5, erreichte eine Erfolgsquote von nur 15,2 % am Schwellenwert $R \ge 0,95$ und 10,9 % bei vollständiger Fertigstellung ($R=1,0$). Die mittlere Erfolgsquote über alle 15 Modelle hinweg betrug lediglich 4,3 % bei $R \ge 0,95$.
• Ressourcenverbrauch: Die Aufgaben sind extrem anspruchsvoll und beanspruchen im Durchschnitt 231 Episoden, 9,9 Millionen Token und 85,3 Minuten Ausführungszeit pro Durchlauf.
• Kosteneffizienz: Es gibt eine große Varianz in der Kosteneffizienz. GPT-5.5 ist am teuersten ($21/Aufgabe), aber auch am effektivsten. Hy3 bildet die Grenze der kostengünstigen Frontlinie ($2,5/Aufgabe) mit moderatem Erfolg. Viele Modelle verursachen hohe Kosten bei vernachlässigbarem Erfolg, was darauf hindeutet, dass eine bloße Erhöhung der Inference-Ausgaben das Problem der Long-Horizon-Fehler nicht löst.
• Fehlermodi:
  • Timeouts: 79 % der ungelösten Durchläufe endeten durch das Ablaufen des 90-Minuten-Budgets, während der Agent noch arbeitete, oft mit niedrigen mittleren Belohnungen (0,10–0,35).
  • Falsche Abschlüsse (False Finishes): Ein signifikanter Teil der „vorzeitigen Exits“ (Agenten, die freiwillig stoppten) trat bei hohen Belohnungsniveaus ($R \ge 0,75$) auf, wo der Agent die Aufgabe fälschlicherweise als abgeschlossen bewertete. Dies unterstreicht eine Schwäche in der Selbstverifizierung und den Stopp-Kriterien.
  • Binär vs. Dicht: Unter strikter binärer Bewertung ($R \ge 1,0$) lösten 10 der 15 Modelle null Aufgaben. Die dichte Bewertung zeigte, dass 62,8 % der Durchläufe einen bedeutsamen Teilfortschritt erzielten, wodurch Modelle, die „nahe dran“ waren, von solchen unterschieden werden konnten, die sofort scheiterten.

Bedeutung und Ansprüche

Das Paper behauptet, dass der Long-Horizon-Terminal-Bench notwendig ist, um über die Limitationen der rein ergebnisorientierten (Outcome-only) Evaluierung hinauszugehen. Seine primären Beiträge sind:

1. Aufdeckung verborgener Fortschritte: Dichte Belohnungen legen „Beinahe-Erfolge“ und Teilfortschritte offen, die die binäre Bewertung verschleiert, und bieten so eine nuanciertere Sicht auf die Fähigkeiten von Agenten.
2. Identifizierung des Engpasses: Die Ergebnisse legen nahe, dass die primäre Einschränkung aktueller Agenten nicht die Korrektheit des lokalen Denkens ist (was Kurzzeit-Benchmarks messen), sondern die zuverlässige langfristige Fertigstellung (Long-Horizon Completion). Agenten haben Schwierigkeiten mit dem Zeitmanagement, der Aufrechterhaltung des Zustands über lange Trajektorien hinweg und der Kalibrierung von Stopp-Entscheidungen.
3. Benchmarking der Realität: Durch die Forderung nach hunderten von Schritten und Stunden der Ausführung bietet LHTB einen realistischeren Stresstest für autonome Agenten als bisherige Benchmarks und zeigt erheblichen Verbesserungsspielraum auf.
4. Ressource für zukünftige Arbeiten: Die Autoren stellen den Benchmark und das Evaluierungs-Harness zur Verfügung, um die Entwicklung von Agenten zu unterstützen, die in der Lage sind, über verlängerte Horizonte hinweg zuverlässig zu planen, zu verifizieren und auszuführen.

Die Autoren kommen zu dem Schluss, dass aktuelle Agenten zwar lokale Schritte korrekt ausführen können, ihnen aber die Robustheit fehlt, um Fortschritte aufrechtzuerhalten und die Fertigstellung über die langen Horizonte zu verifizieren, die für praktische, reale Arbeitsabläufe erforderlich sind.