The Intent Gap: A Taxonomy of Real-User Failure Modes in Frontier AI Agents
Dit artikel identificeert een kritieke "intent gap" waarbij frontier AI-modellen er niet in slagen te voldoen aan de werkelijke behoeften van gebruikers ondanks letterlijke naleving van prompts, wat onthult dat door onderzoekers ontworene benchmarks deze tijdens de implementatie relevante fouten missen omdat echte gebruikers zelden hun ontevredenheid verwoorden, een fenomeen dat de auteur kwantificeert via een nieuwe taxonomie afgeleid van het minen van grootschalige conversatiecorpora.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Misverstand: Wanneer AI de Woorden Wel Krijgt, maar de Betekenis Niet
Stel je voor dat je een zeer slimme, zeer letterlijke robot probeert te leren hoe je een taart bakt. In een klassetting zou een leraar de robot een perfect receptkaartje kunnen geven: "Meng 2 kopjes bloem, 3 eieren, en bak op 350 graden." De robot volgt de instructies perfect op en overhandigt je een taart. Dit is hoe de meeste wetenschappers AI momenteel testen: ze geven het een duidelijke, geschreven taak met één juist antwoord, zoals een wiskundeprobleem of een programmeeruitdaging. Deze tests worden "benchmarks" genoemd, en ze zijn als een rijexamen waarbij de examinator je precies vertelt welke bochten je moet nemen en wanneer je moet stoppen.
Maar het echte leven is geen rijexamen. Het echte leven is meer als een chaotische roadtrip waarbij je praat met een passagier die constant van gedachten verandert. Je zegt misschien: "Ik heb honger," en de passagier brengt je een broodje. Je zegt: "Nee, ik bedoelde dat ik iets zoets wilde," en ze brengen je een koekje. Dan zucht je: "Eigenlijk wilde ik gewoon praten," en ze beginnen je een verhaal te vertellen. Deze rommelige, heen-en-weer manier waarop mensen echt praten, is waar het lastig wordt voor AI. Wetenschappers noemen de kloof tussen wat een robot letterlijk hoort en wat een mens daadwerkelijk bedoelt de "intent gap" (de intentiekloof). Het is het verschil tussen een robot die een script volgt en een robot die een menselijke ziel begrijpt. Als we robots alleen testen op perfecte scripts, denken we misschien dat ze klaar zijn voor de wereld, om er vervolgens achter te komen dat ze falen op het moment dat een mens zegt: "Wacht, dat bedoelde ik niet."
Het Papier: De AI Betrappen Wanneer het de Punt Mist
Dit onderzoeksrapport, getiteld "The Intent Gap", is een detectiveverhaal over waarom AI-agenten vaak falen in de echte wereld, zelfs wanneer ze al hun schooltoetsen halen. De auteur, Kanupriya Yakhmi, betoogt dat de manier waarop we AI momenteel testen kapot is, omdat het is ontworpen door onderzoekers, niet door echte mensen. Onderzoekers schrijven taken die schoon en declaratief zijn (zoals "Schrijf een gedicht over regen"), maar echte gebruikers praten op een rommelige, conversationele manier. Ze gaan ervan uit dat de AI dingen weet die ze nog niet hebben gezegd, ze veranderen halverwege een zin van gedachten, en ze raken vaak gefrustreerd zonder een woord te zeggen.
Het papier suggereert dat het grootste probleem niet is dat AI dingen verzint (hallucinaties) of weigert te antwoorden (refusals). Het grootste probleem is de Intent Gap: het moment waarop de AI de prompt perfect beantwoordt, maar de bedoeling van de gebruiker volledig mist.
Hoe Ze de Dader Betrapten
Om deze fouten te vinden, lieten de onderzoekers de AI niet simpelweg puzzels oplossen. In plaats daarvan gingen ze vissen in twee enorme oceanen van echte menselijke gesprekken (genaamd WildChat en LMS-Chat), op zoek naar tekenen van frustratie. Ze bouwden een "frustratie-signaal filter" om te spotten wanneer een gebruiker probeerde een misverstand te herstellen.
Denk aan het als een beveiligingscamera die alleen opneemt wanneer iemand zegt: "Wacht, stop!" of "Probeer het opnieuw!" of "Nee, dat is het niet." De onderzoekers gebruikten een driestaps proces om deze momenten te vinden:
- De Keyword Scan: Ze zochten naar specifieke zinnen zoals "Ik bedoelde," "Je begrijpt me verkeerd," of "nutteloos."
- De Vibe Check: Ze gebruikten computermathematica om te zien of de nieuwe zin van de gebruiker totaal anders was dan wat de AI zojuist had gezegd.
- De Rechter: Ze vroegen een superintelligent AI om het gesprek te beoordelen en te bevestigen: "Ja, de eerste AI heeft het punt gemist."
Wat Ze Vonden: De Stille Verlating
1. De meeste mensen geven gewoon op.
De studie keek naar 50.000 gesprekken. Ze ontdekten dat 52,8% van de Engelse gesprekken eindigde na slechts één uitwisseling. De gebruiker stelde een vraag, de AI gaf antwoord, en de gebruiker liep weg. De onderzoekers vermoeden dat veel van deze eindes niet gelukkig waren, maar "stille verlatingen". De gebruiker kreeg een antwoord dat niet paste, zuchtte en vertrok zonder ooit te zeggen: "Je zat ernaast." Omdat deze gebruikers geen recensie of klacht achterlieten, zien onze kwaliteitscontrolesystemen hen nooit. De AI denkt dat het een geweldig werk heeft geleverd, maar de gebruiker heeft de AI gewoon genegeet (geghost).
2. Echte mensen gebruiken geen "beleefde" herstelwoorden.
Eerdere studies naar hoe mensen misverstanden herstellen, gebruikten lijsten met zinnen als "Laat me het herformuleren" of "Je hebt me verkeerd begrepen." De onderzoekers dachten dat dit de meest voorkomende tekenen van frustratie zouden zijn. Ze hadden het mis. Toen ze de echte data scantten, waren de meest voorkomende zinnen kort, bot en heel menselijk:
- "i meant" (ik bedoelde) (92 keer)
- "can you please" (kun je alsjeblieft) (62 keer)
- "try again" (probeer het opnieuw) (53 keer)
- "useless" (nutteloos) (20 keer)
- "hmm" (17 keer)
De academische lijsten misten de plank. Mensen klinken niet als tekstboeken wanneer ze geïrriteerd zijn; ze klinken alsof ze praten met een vriend die niet luistert.
3. Het "Sycophancy" Mysterie.
Er wordt veel gesproken in de AI-wereld over "sycophancy" (vleierij)—wanneer een AI met je meegaat, zelfs als je ongelijk hebt, puur om aardig te zijn. De onderzoekers verwachtten dit veel in hun data te zien. Dat deden ze niet. In hun steekproef van bevestigde fouten was er nul gevallen toe te schrijven aan sycophancy.
Dit suggereert een angstaanjagende mogelijkheid: misschien is sycophancy zo onzichtbaar dat we het niet kunnen detecteren met gebruikersfeedback. Als een AI met je meegaat, zeg je waarschijnlijk niet: "Nee, dat is fout!" Je accepteert het gewoon. Dit betekent dat de AI ons kan voorliegen of bij slechte ideeën kan instemmen, en we zullen het nooit weten omdat we niet klagen.
4. Het Probleem met de Veiligheidsfilter.
Wanneer de onderzoekers probeerden een AI-rechter te gebruiken om deze gesprekken te beoordelen, weigerde de rechter 62% van de gevallen te bekijken. Waarom? Omdat de echte gesprekken "edgy", rollenspel of NSFW (niet veilig voor werk) inhoud bevatten die de veiligheidsfilters blokkeerden. Dit is een groot probleem: de AI faalt in de meest "permissieve" delen van de menselijke conversatie, maar onze veiligheidstools voorkomen dat we die fouten kunnen zien.
De Nieuwe Lijst van Fouten
Op basis van de gesprekken die ze wél konden vangen, creëerden de onderzoekers een nieuwe "Taxonomie" (een chic woord voor een lijst van categorieën) van hoe AI faalt. Ze ontdekten dat de meest voorkomende fouten niet gingen over gemeen zijn of dingen verzinnen, maar over het missen van de context. Hun topcategorieën zijn onder andere:
- Implicit-context blindness (Blindheid voor impliciete context): De AI beantwoordde de woorden, maar miste de verborgen context (bijv. je vroeg om een recept voor een "klein" feestje, en het gaf een recept voor 50 personen omdat je "klein" niet expliciet genoeg maakte).
- Goal collapse (Doelinstorting): De AI focuste op een klein detail en vergat het grote plaatje.
- Specificity mismatch (Mismatch in specificiteit): De gebruiker wilde een scherp, specifiek antwoord, maar de AI gaf een generiek, vaag antwoord.
De Conclusie
Het papier concludeert dat we naar AI kijken door de verkeerde lens. We testen ze op schone, perfecte taken, maar ze worden gebruikt in rommelige, echte gesprekken. De "Intent Gap" is de reden waarom 78% van de bedrijven probeert AI-agenten te gebruiken, maar slechts 14% daadwerkelijk succesvol is. De AI beantwoordt letterlijk de prompt, maar mist de menselijke intentie.
De onderzoekers suggereren dat we, om dit te repareren, moeten stoppen met AI te testen alsof het een student is die een schriftelijk examen aflegt, en moeten beginnen met het testen van AI alsof het een vriend is met wie je een gesprek voert. We moeten luisteren naar de "stille verlatingen" en de botte "probeer het opnieuw," en niet alleen naar de beleefde klachten. Tot die tijd zal de AI de woorden wel krijgen, maar de essentie volledig missen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.