Measuring Agents in Production
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je net een vloot ongelooflijk slimme, robotische assistenten (AI-agenten) hebt gebouwd die complexe taken kunnen uitvoeren, zoals het schrijven van code, het beheren van financiën of het diagnosticeren van medische problemen. De techwereld bruist van enthousiasme en stelt zich voor hoe deze robots autonoom de wereld gaan besturen.
Maar hier komt de twist: de robots die op dit moment echt in de echte wereld draaien, zijn niet de superautonome, "alleskunners" uit sciencefictionfilms. Ze lij zich meer als voorzichtige, streng gesuperviseerde stagiairs.
Dit paper, getiteld "Measuring Agents in Production" (MAP), is het eerste grote rapportcijfer voor wat deze AI-assistenten daadwerkelijk doen in echte bedrijven. De onderzoekers hebben niet simpelweg gegokt; ze hebben 20 teams geïnterviewd die deze systemen bouwen en 86 echte implementaties onderzocht.
Hier is wat ze ontdekten, eenvoudig uitgelegd:
1. Waarom bouwen bedrijven deze robots?
Het doel: Tijd besparen en meer werk verzetten.
De analogie: Stel je een fabriek voor. De baas probeert geen robot te bouwen die vanuit het niets een nieuwe automotor kan uitvinden. Hij wil een robot die de onderdelen 10 keer sneller kan assembleren dan een mens.
- 80% van de teams gaf aan dat ze deze agenten bouwden om de productiviteit te verhogen.
- Ze proberen mensen nog niet volledig te vervangen; ze helpen menselijke werknemers (zoals artsen, ingenieurs of klantenservicebeambten) vooral om hun werk sneller te doen.
- Verrassing: Ze bouwen ze niet zozeer om "risico's te beperken" of "expertise te verminderen" zoals je misschien zou denken. De belangrijkste drijfveer is simpelweg sneller dingen gedaan krijgen.
2. Hoe worden ze eigenlijk gebouwd? (Het "geheime ingrediënt")
Als je naar onderzoekslaboratoria kijkt, proberen ze de meest complexe, autonome robots te bous. Maar in de echte wereld doen bedrijven precies het tegenovergestelde. Zij kiezen voor eenvoud en controle.
- De "Off-the-Shelf"-regel: 70% van deze agenten heeft geen eigen, aangepaste hersenen. Ze gebruiken gewoon krachtige, vooraf gemaakte AI-modellen (zoals de modellen waar je misschien wel eens van hebt gehoord) en geven ze zeer specifieke instructies. Ze trainen de hersenen niet opnieuw; ze schrijven alleen betere handleidingen voor.
- De "Korte Dienst"-regel: In onderzoek proberen agenten misschien een probleem op te lossen door uit zichzelf 100 stappen te zetten. In productie worden 68% van de agenten gestopt na 10 stappen, waarna ze moeten wachten op een mens die hun werk controleert.
- Analogie: Denk aan een GPS. Een onderzoeksrobot probeert de hele weg naar de bestemming te rijden zonder bestuurder. Een productierobot rijdt 10 minuten, stopt dan en vraagt: "Is dit de juiste afslag?" voordat hij verder gaat.
- De "Human in the Loop"-regel: In 74% van de gevallen is een mens de uiteindelijke rechter. De robot stelt een antwoord voor, maar een mens moet "Ja, dat is correct" zeggen voordat het wordt verzonden.
3. Hoe weten ze of de robot zijn werk goed doet?
Dit is een van de grootste hoofdpijndossiers.
- Geen standaardtests: Er bestaat nog geen "SAT-toets" voor AI-agenten. 75% van de teams gebruikt geen formele benchmarks omdat deze te moeilijk te maken zijn of niet bestaan voor hun specifieke taak.
- De "Menselijke Rechter"-methode: In plaats van een computer die de robot beoordeelt, zijn het mensen die de beoordelaars zijn. Experts kijken naar het werk van de robot en zeggen: "Goed gedaan" of "Probeer het opnieuw."
- De "A/B-test"-methode: Soms laten ze de robot naast een mens of een oud softwaresysteem draaien om te zien welke van de twee de taak sneller voltooit.
4. Wat is het grootste probleem?
Betrouwbaarheid.
- Het probleem: De grootste angst is niet dat de robot "dom" is, maar dat hij een fout kan maken en iets vreemds of gevaarlijks doet.
- De oplossing: Bedrijven proberen dit niet op te lossen door de robot "slimmer" te maken (wat moeilijk is). Ze lossen het op door vangrails (guardrails) te plaatsen.
- Ze beperken het aantal stappen dat de robot mag zetten.
- Ze dwingen de robot om toestemming te vragen voordat hij iets risicovols doet.
- Ze laten de robot eerst in een "sandbox" (een veilige, neppe omgeving) draaien voordat hij met echte gegevens aan de slag gaat.
5. Hoe snel moeten ze zijn?
- De analogie: Je hebt geen Formule 1-auto nodig om je gazon te maaien.
- De realiteit: De meeste van deze agenten zijn verrassend traag. 66% van hen kan minuten (of zelfs uren) nodig hebben om een taak te voltooien.
- Waarom? Omdat ze meestal achtergrondwerk doen (zoals het verwerken van verzekeringsclaims of het organiseren van bestanden). Zolang ze de taak sneller voltooien dan een mens zou doen (zelfs als dat 5 minuten duurt), worden ze als een succes beschouwd. Ze hoeven niet zo direct als een stemassistent te zijn.
De Belangrijkste Conclusie
Het paper concludeert dat succesvolle AI in de echte wereld niet gaat over het bouwen van de meest autonome, complexe AI. Het gaat over het bouwen van eenvoudige, controleerbare tools die goed samenwerken met mensen.
Bedrijven kiezen er bewust voor om "saai" en veilig te zijn. Ze ruilen het "coole aspect" van een robot die van zichzelf alles kan voor de betrouwbaarheid van een robot die een klein deel van de taak perfect uitvoert en om hulp vraagt aan een mens wanneer hij vastloopt.
Kortom: De AI-agenten van vandaag zijn minder als "Jarvis" (de volledig autonome AI uit Iron Man) en meer als een zeer behulpzame, licht zenuwachtige assistent die alles dubbelcheckt bij zijn baas voordat hij een e-mail verstuurt. En dat is precies wat hen succesvol maakt in de echte wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.