The Reliability Gap: Repeated-Trial Consistency and the Deployable Autonomy Horizon of Frontier AI Agents

In de snel evoluerende wereld van kunstmatige intelligentie is een nieuw soort software opgekomen: agenten die niet alleen vragen beantwoorden, maar ook acties ondernemen. Deze systemen kunnen een reeks stappen plannen, digitale hulpmiddelen gebruiken en complexe omgevingen navigeren, zoals softwarecode of webbrowsers, vaak met weinig tot geen menselijk toezicht. Om bij te houden hoe bekwaam deze agenten worden, hebben onderzoekers een manier ontwikkeld om hun vooruitgang te meten met behulp van een "tijdshorizon". Dit concept beschrijft de lengte van een taak, gemeten in de tijd die een menselijke expert nodig zou hebben om deze te voltooien, die een AI-agent de helft van de tijd succesvol kan afronden. Als een agent een tijdshorizon heeft van één uur, betekent dit dat de agent problemen kan oplossen die een mens ongeveer een uur laten duren, maar dat de agent waarschijnlijk zal falen bij taken die twee uur duren. Deze metriek is een standaardtaal geworden voor het beschrijven van AI-vooruitgang, waarbij rapporten laten zien dat deze horizon ongeveer elke zeven maanden verdubbelt, wat wijst op een toekomst waarin machines steeds complexer werk kunnen afhandelen.

Er bestaat echter een cruciaal onderscheid tussen wat een agent gemiddeld kan doen en wat men elke keer kan vertrouwen dat hij doet. Voor een menselijke manager die een terugkerende baan toewijst, of een toezichthouder die een autonoom systeem controleert, is een succespercentage van 50 procent vaak onvoldoende. Als een taak herhaaldelijk voorkomt, is het doel niet dat de agent de helft van de tijd slaagt, maar dat hij elke keer slaagt wanneer de taak verschijnt. Een systeem dat bij elke twee pogingen één keer faalt, is voor veel real-world toepassingen niet betrouwbaar genoeg, toch vangt de standaard "tijdshorizon"-metriek dit risico niet op. Het meet de grens van bekwaamheid, niet de bodem van betrouwbaarheid. Deze kloof tussen gemiddelde prestaties en consistente prestaties is het centrale mysterie dat een nieuwe studie probeert op te lossen, door te vragen hoe ver de werkelijke betrouwbaarheid van deze agenten achterloopt op hun indrukwekkende score voor bekwaamheid.

Om dit te beantwoorden, wendden onderzoekers zich tot een enorme collectie openbare gegevens van de METR-organisatie, die sinds 2023 evaluaties van AI-agenten uitvoert op honderden verschillende taken. De studie richtte zich op 30 verschillende modellen die tussen 20 much 2023 en begin 2026 zijn uitgebracht, waarbij meer dan 60.000 individuele pogingen aan diverse taken werden geanalyseerd. In plaats van te kijken of een agent een taak slechts één keer slaagde of faalde, onderzochten de onderzoekers wat er gebeurde wanneer dezelfde agent dezelfde taak meerdere keren probeerde. Ze keken specif '} naar het punt waarop een agent een taak vier keer achter elkaar kon voltooien met een kans van 50 procent op totaal succes. Deze "betrouwbaarheidshorizon" vertegenwoordigt de lengte van een taak die een agent naar verwachting consistent kan afhandelen, in plaats van slechts incidenteel.

De resultaten onthulden een significante en hardnekkige kloof tussen wat agenten kunnen doen en wat men hen kan toevertrouwen. Voor elk geteste model was de tijdshorizon voor betrouwbaar, herhaald succes veel korter dan de standaard bekwaamheidshorizon. Gemiddeld was de betrouwbaarheidshorizon ongeveer 2,4 keer korter dan de horizon van gemiddeld succes. Om dit in perspectief te plaatsen: als een topmodel in staat is een taak aan te kunnen die een mens 715 minuten kost om met een kans van 50 procent te voltooien, kan datzelfde model slechts worden vertrouwd om een taak van ongeveer 355 minuten vier keer achter elkaar te voltooien met hetzelfde niveau van vertrouwen. Deze kloof is de afgelopen drie jaar niet significant gedicht; ondanks dat modellen krachtiger worden, is de afstand tussen hun gemiddelde prestaties en hun consistente prestaties ongeveer gelijk gebleven.

Men zou kunnen aannemen dat als een agent een taak niet slaagt, dit simpelweg een kwestie is van pech of een willekeurige fout is, en dat opnieuw proberen waarschijnlijk een ander resultaat zou opleveren. De studie toonde aan dat deze aanname onjuist is. De onderzoekers ontdekten dat de uitkomsten van herhaalde pogingen sterk verbonden zijn met de specifieke taak zelf, in plaats van willekeurig te zijn. Wanneer een agent een taak niet slaagt, heeft hij de neiging om telkens te falen bij diezelfde taak. Omgekeerd, wanneer hij slaagt, heeft hij de neiging om telkens te slagen bij diezelfde taak. Dit betekent dat de betrouwbaarheid van een agent niet wordt bepaald door een worp van de dobbelsteen voor elke poging, maar door de inherente moeilijkheid van de taak in relatie tot de vaardigheden van de agent. Vanwege deze sterke verbinding is de waargenomen betrouwbaarheid veel hoger dan wanneer elke poging onafhankelijk zou zijn. Als de pogingen werkelijk willekeurig en ongerelateerd zouden zijn, zou de betrouwbaarheidshorizon drastisch korter zijn, maar de realiteit is dat de prestaties van de agent consistent zijn binnen de context van een specifcomt probleem.

De studie bracht ook exact in kaart waar deze inconsistenties optreden. Het meest onvoorspelbare gedrag vindt niet plaats bij de moeilijkste taken, waar de agenten consequent falen, noch bij de makkelijkste taken, waar ze consequent slagen. In plaats daarvan clusteren de "gemengde uitkomsten" — waarbij een agent soms slaagt en soms faalt — strak rond de rand van de bekwaamheid van de agent. Dit is de zone net onder de standaard tijdshorizon, waar een taak moeilijk genoeg is om de agent uit te dagen, maar niet zo moeilijk dat het onmogelijk is. Het is precies in deze zone dat nieuwe, gedelegeerde taken het meest waarschijnlijk vallen, wat het de meest kritieke zone maakt voor het begrijpen van risico's.

Ondanks het duidelijke bewijs van een kloof, vonden de onderzoekers dat de snelheid waarmee deze kloof wordt gedicht, niet statistisch significant is. Hoewel de data een lichte tendens laten zien waarbij de betrouwbaarheidshorizon de bekwaamheidshorizon inhaalt, is de trend te klein om te onderscheiden van willekeurige variatie, gezien het huidige aantal geteste modellen. Dit suggereert dat hoewel AI-agenten beter worden in het oplossen van moeilijkere problemen, ze niet noodzakelijkerwijs consistenter worden in hun uitvoering met hetzelfde tempo. De studie concludeert dat voor iedereen die deze systemen inzet, het uitsluitend vertrouwen op gemiddelde succespercentages een te optimistisch beeld van de toekomst geeft. Om echt te begrijpen wat een agent kan worden toevertrouwd, moeten rapporten een betrouwbaarheid-gecorrigeerde horizon bevatten die rekening houdt met de noodzaak van herhaald, consistent succes. Zonder deze correctie blijft de belofte van autonome agenten een maatstaf van potentieel in plaats van een garantie van prestatie.