The Reliability Gap: Repeated-Trial Consistency and the Deployable Autonomy Horizon of Frontier AI Agents

In der sich schnell entwickelnden Welt der künstlichen Intelligenz ist eine neue Art von Software entstanden: Agenten, die nicht nur Fragen beantworten, sondern auch Handlungen vollziehen. Diese Systeme können eine Sequenz von Schritten planen, digitale Werkzeuge nutzen und komplexe Umgebungen wie Softwarecode oder Webbrowser navigieren, oft mit wenig oder gar keiner menschlicher Aufsicht. Um zu verfolgen, wie fähig diese Agenten werden, haben Forscher einen Weg entwickelt, ihren Fortschritt mithilfe eines „Zeithorizonts“ zu messen. Dieses Konzept beschreibt die Länge einer Aufgabe, gemessen an der Zeit, die ein menschlicher Experte benötigen würde, um sie abzuschließen, welche ein KI-Agent die Hälfte der Zeit erfolgreich bewältigen kann. Wenn ein Agent einen Zeithorizont von einer Stunde hat, bedeutet dies, dass er Probleme, die ein Mensch etwa eine Stunde zur Lösung benötigt, zuverlässig bewältigen kann, aber wahrscheinlich bei Aufgaben scheitern wird, die zwei Stunden dauern. Diese Metrik ist zu einer Standardsprache für die Beschreibung des KI-Fortschritts geworden, wobei Berichte zeigen, dass sich dieser Horizont etwa alle sieben Monate verdoppelt, was auf eine Zukunft hindeutet, in der Maschinen zunehmend komplexe Arbeiten bewältigen können.

Es besteht jedoch ein entscheidender Unterschied zwischen dem, was ein Agent im Durchschnitt leisten kann, und dem, was man ihm jedes einzelne Mal zutrauen kann. Für einen menschlichen Manager, der eine wiederkehrende Aufgabe delegiert, oder einen Regulator, der ein autonomes System überwacht, ist eine Erfolgsquote von 50 Prozent oft unzureichend. Wenn eine Aufgabe wiederholt vorkommt, ist das Ziel nicht, dass der Agent die Aufgabe die Hälfte der Zeit erfolgreich bewältigt, sondern dass er sie jedes Mal erfolgreich bewältigt, wenn die Aufgabe erscheint. Ein System, das bei jedem zweiten Versuch scheitert, ist für viele reale Anwendungen nicht zuverlässig genug, doch die Standardmetrik des „Zeithorizonts“ erfasst dieses Risiko nicht. Sie misst die Grenze der Leistungsfähigkeit, nicht den Boden der Zuverlässigkeit. Diese Lücke zwischen durchschnittlicher Leistung und konsistenter Leistung ist das zentrale Rätsel, das eine neue Studie lösen will, indem sie fragt, wie weit die tatsächliche Zuverlässigkeit dieser Agenten hinter ihren Schlagzeilen machenden Leistungsbewertungen zurückliegt.

Um dies zu beantworten, wandten sich die Forscher an eine massive Sammlung öffentlicher Datensätze der Organisation METR, die seit 2023 Bewertungen von KI-Agenten bei Hunderten verschiedener Aufgaben durchführt. Die Studie konzentrierte sich auf 30 verschiedene Modelle, die zwischen 2023 und Anfang 2026 veröffentlicht wurden, und analysierte über 60.000 einzelne Versuche bei verschiedenen Aufgaben. Anstatt nur zu untersuchen, ob ein Agent eine Aufgabe einmalig erfolgreich abgeschlossen hat oder gescheitert ist, untersuchten die Forscher, was passierte, wenn derselbe Agent dieselbe Aufgabe mehrfach versuchte. Sie schauten speziell darauf, an welchem Punkt ein Agent in der Lage war, eine Aufgabe viermal hintereinander mit einer Wahrscheinlichkeit von 50 Prozent des Gesamterfolgs zu bewältigen. Dieser „Zuverlässigkeitshorizont“ repräsentiert die Länge einer Aufgabe, die ein Agent mit hoher Erwartung konsequent bewältigen kann, anstatt nur gelegentlich.

Die Ergebnisse zeigten eine signifikante und beständige Lücke zwischen dem, was Agenten tun können, und dem, was man ihnen vertrauen kann. Für jedes getestete Modell war der Zeithorizont für zuverlässigen, wiederholten Erfolg wesentlich kürzer als der Standard-Leistungshorizont. Im Durchschnitt war der zuverlässige Horizont etwa 2,4 Mal kürzer als der Horizont des durchschnittlichen Erfolgs. Um dies in Perspektive zu setzen: Wenn ein erstklassiges Modell in der Lage ist, eine Aufgabe, die einen Menschen 715 Minuten lang beschäftigen würde, mit einer Erfolgschance von 50 Prozent zu bewältigen, kann dasselbe Modell nur darauf vertraut werden, eine Aufgabe von etwa 355 Minuten viermal hintereinander mit demselben Vertrauensniveau zu bewältigen. Diese Lücke hat sich in den letzten drei Jahren nicht signifikant geschlossen; obwohl die Modelle leistungsfähiger werden, ist der Abstand zwischen ihrer durchschnittlichen Leistung und ihrer konsistenten Leistung etwa gleich geblieben.

Man könnte annehmen, dass es sich bei einem Scheitern eines Agenten bei einer Aufgabe lediglich um Pech oder einen zufälligen Fehler handelt und dass ein erneuter Versuch wahrscheinlich ein anderes Ergebnis liefern würde. Die Studie ergab, dass diese Annahme nicht korrekt ist. Die Forscher entdeckten, dass die Ergebnisse wiederholter Versuche stark mit der spezifischen Aufgabe selbst verknüpft sind und nicht zufällig sind. Wenn ein Agent bei einer Aufgabe scheitert, neigt er dazu, bei jedem Versuch dieser spezifischen Aufgabe zu scheitern. Umgekehrt gilt: Wenn er Erfolg hat, neigt er dazu, bei dieser Aufgabe jedes Mal erfolgreich zu sein. Das bedeutet, dass die Zuverlässigkeit eines Agenten nicht durch einen Würfelwurf bei jedem Versuch bestimmt wird, sondern durch die inhärente Schwierigkeit der Aufgabe im Verhältnis zu den Fähigkeiten des Agenten. Aufgrund dieser starken Verbindung ist die beobachtete Zuverlässigkeit wesentlich höher, als sie wäre, wenn jeder Versuch unabhängig voneinander ablaufen würde. Wären die Versuche wirklich zufällig und unzusammenhängend, wäre der zuverlässige Horizont drastisch kürzer, aber die Realität ist, dass die Leistung des Agenten im Kontext eines spezifischen Problems konsistent ist.

Die Studie lokalisierte auch genau, wo diese Inkonsistenzen auftreten. Das unvorhersehbarste Verhalten tritt weder bei den schwierigsten Aufgaben auf, bei denen die Agenten konsequent scheitern, noch bei den einfachsten Aufgaben, bei denen sie konsequent erfolgreich sind. Stattdessen gruppieren sich die „gemischten Ergebnisse“ – bei denen ein Agent mal Erfolg hat und mal scheitert – eng um die Grenze der Leistungsfähigkeit des Agenten. Dies ist die Zone unmittelbar unterhalb des Standard-Zeithorizonts, in der eine Aufgabe schwierig genug ist, um den Agenten herauszufordern, aber nicht so schwer, dass sie unmöglich ist. Es ist genau in dieser Zone, in der neue, delegierte Aufgaben am wahrscheinlichsten fallen, was sie zum kritischsten Bereich für das Verständnis von Risiken macht.

Trotz der klaren Beweise für eine Lücke fanden die Forscher heraus, dass die Rate, mit der sich diese Lücke schließt, statistisch nicht signifikant ist. Obwohl die Daten eine leichte Tendenz zeigen, dass der zuverlässige Horizont den Leistungs-Horizont einholt, ist der Trend zu klein, um angesichts der aktuellen Anzahl der getesteten Modelle von zufälliger Variation unterschieden werden zu können. Dies deutet darauf hin, dass KI-Agenten zwar besser darin werden, schwierigere Probleme zu lösen, sie aber nicht zwangsläufig im gleichen Tempo konsistenter in ihrer Ausführung werden. Die Studie kommt zu dem Schluss, dass es für jeden, der diese Systeme einsetzt, eine zu optimistische Sicht auf die Zukunft darstellt, sich allein auf durchschnittliche Erfolgsraten zu verlassen. Um wirklich zu verstehen, was einem Agenten man vertrauen kann, müssen Berichte einen zuverlässigkeitsbereinigten Zeithorizont enthalten, der die Notwendigkeit von wiederholtem, konsistentem Erfolg berücksichtigt. Ohrem dieser Anpassung bleibt das Versprechen autonomer Agenten ein Maß für Potenzial statt einer Garantie für Leistung.