The Reliability Gap: Repeated-Trial Consistency and the Deployable Autonomy Horizon of Frontier AI Agents
Dit artikel analyseert prestatiegegevens van frontier AI-agenten om een significante "betrouwbaarheidsgat" te onthullen waarbij de taakduur die een agent consistent kan voltooien ongeveer 2,4 keer korter is dan zijn gemiddelde capaciteitshorizon, primair omdat fouten sterk gecorreleerd zijn binnen specifieke taken in plaats van willekeurig te zijn, wat een verschuiving in evaluatiemetrieken noodzakelijk maakt van gemiddeld succes naar betrouwbaarheidsgecorrigeerde horizons voor veilige implementatie.