The Reliability Gap: Repeated-Trial Consistency and the Deployable Autonomy Horizon of Frontier AI Agents
Diese Arbeit analysiert Leistungsdaten von Frontier-KI-Agenten, um eine signifikante „Zuverlässigkeitslücke“ aufzuzeigen, bei der die Aufgabenzeitdauer, die ein Agent konsistent abschließen kann, etwa 2,4-mal kürzer ist als sein durchschnittlicher Kapazitätshorizont, primär weil Ausfälle stark innerhalb spezifischer Aufgaben korreliert sind statt zufällig zu erfolgen, was einen Wechsel der Evaluationsmetriken von der durchschnittlichen Erfolgsrate hin zu zuverlässigkeitsbereinigten Horizonten für eine sichere Bereitstellung erforderlich macht.