🤖 AI

Measuring AI Ability to Complete Long Software Tasks

Dit artikel introduceert de "50%-taakvoltooiingstijdhorizon"-metriek om AI-capaciteiten te kwantificeren door deze te vergelijken met menselijke inspanning, waarbij wordt vastgesteld dat grensmodellen nu taken kunnen voltooien in 50 minuten waar mensen doorgaans 50 minuten voor nodig hebben, met een verdubbelingstrend die suggereert dat AI binnen vijf jaar maandlange softwaretaken zou kunnen automatiseren.

Oorspronkelijke auteurs: Thomas Kwa, Ben West, Joel Becker, Amy Deng, Katharyn Garcia, Max Hasin, Sami Jawhar, Megan Kinniment, Nate Rush, Sydney Von Arx, Ryan Bloom, Thomas Broadley, Haoxing Du, Brian Goodrich, Nikola Jurkov

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thomas Kwa, Ben West, Joel Becker, Amy Deng, Katharyn Garcia, Max Hasin, Sami Jawhar, Megan Kinniment, Nate Rush, Sydney Von Arx, Ryan Bloom, Thomas Broadley, Haoxing Du, Brian Goodrich, Nikola Jurkovic, Luke Harold Miles, Seraphina Nix, Tao Lin, Chris Painter, Neev Parikh, David Rein, Lucas Jun Koba Sato, Hjalmar Wijk, Daniel M. Ziegler, Elizabeth Barnes, Lawrence Chan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een race kijkt tussen een mens en een robot, maar in plaats van op een atletiekbaan te rennen, proberen ze beiden een gigantische, steeds groter wordende stapel softwarepuzzels op te lossen. Jarenlang hebben we geprobeerd te meten hoe goed deze AI-robots zijn met ingewikkelde tests, maar die tests voelen vaak als kunstmatige videogame-levels die niet echt vertellen hoe snel de robot daadwerkelijk kan werken in de echte wereld.

Om dit op te lossen, besloot een team onderzoekers van METR iets veel intuïtievers te meten: Hoe lang kan een AI werken voordat hij begint te falen?

Ze noemden dit de "Time Horizon" (tijdshorizon). Denk aan dit als de batterijduur van intelligentie. Als een AI een puzzel kan oplossen die een mens 10 minuten kost om af te ronden, dan is de tijdshorizon van die AI 10 minuten. Als het een taak kan afhandelen die een mens 4 uur kost, is de horizon 4 uur. De onderzoekers wilden het specifieke punt vinden waarop een AI een kans van 50% heeft om de klus correct te klaren.

De Grote Ontdekking: De Exponentiële Explosie

Het team verzamelde een enorme collectie van 170 verschillende taken, variërend van piepkleine controles van 1 seconde (zoals het opsporen van een specifieke bestandsnaam) tot enorme onderzoeksprojecten van 8 uur. Ze huurden deskundige menselijke experts in om te timen hoe lang zij nodig hadden om deze taken te voltooien. Daarna lieten ze 12 verschillende AI-modellen, van de oude GPT-2 (uitgebracht in 2019) tot de gloednieuwe o3 (uitgebracht in 2025), proberen deze taken op te lossen.

Hier is het verbazingwekkende deel: De "batterijduur" van de AI verdubbelt elke zeven maanden.

In 2019 kon de beste AI alleen betrouwbaar taken aan die een mens ongeveer 2 seconden kostten om te voltooien. Tegen 2025 konden de topmodellen (zoals o3) taken aan die een mens ongeveer 110 minuten (bijna twee uur) kosten, met een succespercentage van 50%.

De onderzoekers ontdekten dat deze groei niet zomaar een beetje sneller gaat; het is een exponentiële curve. Het is alsoals kijken naar een sneeuwbal die een heuvel afrolt, waarbij de bal bij elke boom die hij passeert twee keer zo groot wordt. Ze maten deze trend van 2019 tot 2025 en vonden dat de "verdubbelingstijd" ongeveer 207 dagen (ongeveer zeven maanden) bedraagt.

Waarom worden ze beter?

Het paper suggereert dat de AI niet alleen op een vage manier "slimmer" wordt; het wordt beter in specifieke, praktische vaardigheden. Wanneer de onderzoekers keken naar waarom de oudere modellen faalden en de nieuwere modellen slaagden, zagen ze dat de nieuwere modellen:

Beter zijn in het gebruiken van tools: Ze weten hoe ze een rekenmachine of een code-editor moeten gebruiken zonder deze te breken.
Beter zijn in het herstellen van fouten: Als een oude AI een fout maakte, bleef hij die fout vaak steeds opnieuw maken. De nieuwe modellen kunnen de fout herkennen, "oeps" zeggen en een ander pad proberen.
Beter zijn in logisch redeneren: Ze kunnen een denkketen volgen zonder de draad kwijt te raken.

De "Rommelige" Nuance: Het echte leven is moeilijker

Echter, het paper is zeer voorzichtig om niet te beweren dat de robots de oorlog al gewonnen hebben. De onderzoekers stellen expliciet dat deze tests te "schoon" kunnen zijn.

Stel je voor dat de AI een videogame speelt waarbij de regels in een duidelijk handboek staan geschreven, de vijanden voorspelbaar zijn en er geen plotselinge stroomuitval is. De onderzoekers noemen echt werk "rommelig" (messy). In de echte wereld hebben taken vaak onduidelijke instructies, vereisen ze communicatie met andere mensen, of zijn er middelen die opraken.

Wanneer het team de AI testte op taken die "rommeliger" waren (minder gestructureerd, chaotischer), daalde de prestatie van de AI aanzienlijk. Het paper suggereert dat hoewel de AI geweldig wordt in de "schone" puzzels, het mogelijk nog steeds moeite heeft met de chaotische, onvoorspelbare aard van de dag van een echte software engineer. Ze vonden geen bewijs dat de verbetering van de AI op "rommelige" taken al afneemt, maar ze waarschuwen dat de kloof tussen de "schone test" en de "rommelige realiteit" een groot onbekend is.

Wat betekent dit voor de toekomst?

De onderzoekers deden wat wiskunde om te zien waar deze curve naartoe leidt. Als de trend van verdubbeling elke zeven maanden doorzet, voorspellen zij dat AI-systemen binnen 5 jaar (ergens tussen medio 2028 en medio 2031) in staat zullen zijn om autonoom softwaretaken te voltooien die momenteel een mens één maand (ongeveer 167 werkuren) kosten.

Ze benadrukken dat dit een projectie is, geen garantie. Het hangt ervan af of de AI blijft verbeteren met precies deze snelheid en of die "schone" testresultaten van toepassing zijn op de "rommelige" echte wereld. Als de trend standhoudt, zouden we binnenkort AI-agenten kunnen zien die in essentie kunnen werken als fulltime werknemers aan complexe projecten. Maar als de trend vertraagt of de "rommeligheid" van het echte leven te moeilijk blijkt, kan die tijdlijn veranderen.

De Kern van het Verhaal

Het paper beweert niet dat AI alles heeft opgelost. In plaats daarvan geeft het ons een nieuwe liniaal om vooruitgang te meten. Het laat zien dat de capaciteit van AI om langdurige, complexe taken aan te pakken gedurende de afgelopen zes jaar met een angstaanjagend tempo is gegroeid, waarbij de "werkdag" ongeveer elke zeven maanden verdubbelt. Hoewel er nog steeds grote hiaten zijn in hoe goed ze omgaan met de chaotische, echte wereld, suggereert de koers dat de dag dat een AI een maandlange werkshift zelfstandig kan draaien, dichterbij is dan we denken.

Technische Samenvatting: Het meten van het vermogen van AI om langdurige softwaretaken te voltooien

Probleemstelling

Ondanks de snelle vooruitgang in AI-benchmarks blijft de werkelijke betekenis van benchmarkprestaties ambigu. Bestaande benchmarks lijden onder drie primaire beperkingen: ze bestaan vaak uit kunstmatige taken die geen economische waarde hebben; ze zijn vaak adversarieel geselecteerd om de huidige zwakheden van modellen te benadrukken, wat vergelijkingen met menselijke prestaties bevoordeelt; en ze verzadigen snel, waardoor het moeilijk is om modellen met zeer verschillende capaciteiten (bijv. GPT-2 versus Claude 3.7) op een uniforme schaal te vergelijken. Bijgevolg is er een gebrek aan een algemene, intuïtieve en kwantitatieve metriek om de voortgang van AI-capaciteit in de loop van de tijd te volgen in termen van menselijke arbeid.

Methodologie

De auteurs stellen een nieuwe metriek voor: de taakvoltooiingstijdhorizon (task completion time horizon). Dit wordt gedefinieerd als de duur van taken die een AI-model kan voltooien met een specifieke slaagkans (bijv. 50%). Deze metriek relateert AI-prestaties direct aan de typische tijd die menselijke experts nodig hebben om soortgelijke taken te voltooien.

Data en Takenreeks

Om deze metriek te operationaliseren, hebben de auteurs een dataset samengesteld van 170 taken die een breed scala aan moeilijkheidsgraden beslaan, gecategoriseerd in drie suites:

HCAST (Human-Calibrated Autonomy Software Tasks): 97 diverse softwaretaken (cybersecurity, ML, software engineering) variërend van 1 minuut tot 30 uur.
RE-Bench: 7 moeilijke machine learning research engineering-taken, elk ontworpen om een menselijke expert ongeveer 8 uur te laten werken.
Software Atomic Actions (SWAA): Een nieuwe suite van 66 korte, enkelvoudige taken (1 seconde tot 30 seconden) ontworpen om pre-2023 modellen te meten en de kloof voor zeer korte duurzaamheden op te vullen.

Menselijke Baseline

Om de AI-prestaties te funderen, hebben de auteurs gemeten hoe lang geschoolde professionals (software engineers, ML-onderzoekers, cybersecurity-experts) nodig hadden om deze taken te voltooien.

Totale Inspanning: Meer dan 800 menselijke baselines met een totaal van 2.529 uur.
Metriek: Taakmoeilijkheid wordt gedefinieerd door de geometrische gemiddelde tijd van succesvolle menselijke baselines.
Context: De baseliners kregen minimale taakspecifieke context (vergelijkbaar met een externe contractant), in tegenstelling tot de diepe institutionele kennis van interne onderhouders.

AI-Evaluatie en Modellering

De auteurs evalueerden 12 frontier- en near-frontier modellen die tussen 2019 en 2025 zijn uitgebracht. Elk model werd meerdere keren per taak uitgevoerd met gestandaardiseerde agent-scaffolds (bijv. modular-public, triframe) die tools zoals Python en Bash-executie boden.

Binarisatie: Continue scores werden omgezet naar binaire succes/falen op basis van taakspecifieke drempels die menselijke prestatieniveaus vertegenwoordigen.
Logistische Regressie: De auteurs pasten een logistisch regressiemodel toe, geïnspireerd door Item Response Theory (IRT), om de tijdhorizon ( $h_{agent}$ ) te schatten waarbij de slaagkans 50% is:
$P_{success}(agent, task) = \sigma((\log h_{agent} - \log t_{task}) \cdot \beta_{agent})$
Waarbij $t_{task}$ de menselijke baseline-tijd is en $h_{agent}$ de geleerde parameter is die de 50% tijdhorizon vertegenwoordigt.

Belangrijkste Resultaten

Exponentiële Groei in Capaciteit

De studie stelt vast dat de 50% taakvoltooiingstijdhorizon exponentieel is gegroeid van 2019 tot 2025.

Verdubbelingstijd: De tijdhorizon verdubbelt ongeveer elke 207 dagen (ongeveer 7 maanden).
Bereik: De horizon breidde zich uit van ~2 seconden voor GPT-2 tot ongeveer 110 minuten voor het o3-model.
Recente Acceleratie: De groei tussen 2023–2025 lijkt ongeveer 20% sneller te zijn dan het gemiddelde van 2019–2025, hoewel dit binnen de foutmarge valt.

Drijvers van Verbetering

Kwalitatieve analyse van faalmodi (vergelijking tussen GPT-4 1106 en o1) geeft aan dat vooruitgang wordt gedreven door:

Betrouwbaarheid en Adaptatie: Een duidelijke afname van "het herhalen van mislukte acties" en een toegenomen vermogen om te herstellen van fouten.
Toolgebruik: Verbeterde capaciteit in het gebruiken van tools (bijv. bestanden bewerken, commando's uitvoeren) zonder syntactische fouten.
Logisch Redeneren: Betere prestaties bij taken die een meerstaps logische redenering en codegeneratie vereisen.
Beperkingen: Modellen worstelen nog steeds aanzienlijk in "rommeligere" omgevingen die een gebrek aan duidelijke feedbackloops vertonen of proactieve informatieverwerving vereisen.

Externe Validiteit en Robuustheid

SWE-bench Verified: Het toepassen van de methodologie op SWE-bench Verified levert een vergelijkbare exponentiële trend op met een nog steilere helling (verdubbelingstijd ~70 dagen), hoewel de auteurs opmerken dat dit kan komen door een onderschatting van de menselijke tijd door annotatoren voor gemakkelijkere taken.
Messiness Factoren: Taken werden beoordeeld op 16 "messiness"-factoren (bijv. dynamische omgevingen, middelenbeperkingen). Hoewel de absolute prestaties lager zijn bij rommeliger taken, is de groeisnelheid over de tijd vergelijkbaar voor zowel hoge als lage messiness-subsets.
Interne PR's: Testen op interne pull requests toonde aan dat AI-prestaties beter correleren met de tijd genomen door externe contractanten (lage context) dan door repository-onderhouders (hoge context), wat suggereert dat huidige metrieken de capaciteiten van arbeid met lage context weerspiegelen.

Extrapolatie en Voorspellingen

Gebruikmakend van de geobserveerde exponentiële trend, extrapoleren de auteurs wanneer AI-systemen een tijdhorizon van één maand (ongeveer 167 werkuren) zullen bereiken, een drempel die vaak wordt geassocieerd met transformerende economische waarde of catastrofaal risico.

Centrale Schatting: Als de trend doorzet, worden AI-systemen in staat om autonoom softwaretaken van een maand te voltooien, voorspeld te verschijnen tussen half 2028 en half 2031.
Gevoeligheid: Als de snellere 2024–2025 trend aanhoudt, zou dit al kunnen gebeuren in begin 2027.
Kanttekeningen: De auteurs benadrukken dat deze extrapolatie ervan uitgaat dat de trend generaliseert naar real-world taken en geen rekening houdt met mogelijke toekomstige verschuivingen in de trend (bijv. verzadiging, algoritmische doorbraken of AGI).

Betekenis en Claims

Het paper beweert de eerste robuuste, kwantitatieve metriek te bieden voor het volgen van de progressie van AI-agenten in termen van menselijke werkuren, waarmee verder wordt gekeken dan statische benchmarkscores.

Governance: De auteurs stellen dat dergelijke metrieken fundamenteel zijn voor verantwoordelijke AI-governance, waardoor ontwikkelaars de noodzakelijke risicomitigaties kunnen bepalen naarmate systemen krachtiger worden.
Veiligheidsimplicaties: De snelle verdubbeling van tijdhorizonen suggereert dat AI-systemen die in staat zijn om autonoom complexe, meerweekse taken uit te voeren (inclusclusief potentieel gevaarlijke capaciteiten zoals CBRN-ontwikkeling of zelfreplicatie), eerder kunnen arriveren dan voorheen verwacht als de huidige trends aanhouden.
Bescheidenheid: De auteurs verklaren expliciet dat hun resultaten beperkt zijn tot software- en onderzoekstaken en mogelijk niet perfect generaliseren naar alle vormen van intellectuele arbeid. Ze waarschuwen dat zorgen over externe validiteit en toekomstige veranderingen in de trendrate aanzienlijke onzekerheid introduceren in langetermijnvoorspellingen.