Technisch Overzicht: Denken is niet Vertellen: Informatieonthulling in Gebruiker-Dienst LLM-agenten

1. Probleemstelling

Large Language Model (LLM) agenten worden steeds vaker ingezet in scenario's waarbij een gebruiker een dienst afneemt, waarbij taaksucces afhangt van coördinatie tussen de agent, de gebruiker en een staat-afhankelijke omgeving. In tegenstelling tot statische redeneerbenchmarks, bevatten deze interacties asymmetrische informatie: de agent heeft vaak toegang tot taakbeleid, resultaten van tools en omgevingsstatussen die de gebruiker niet kan waarnemen.

Het artikel identificeert een kritieke foutmodus op communicatieniveau: interne redenering vertaalt zich niet noodzakelijkerwijs in tijdige, naar de gebruiker gerichte informatieonthulling. Hoewel agenten vaak zijn uitgerust met een voor de gebruiker onzichtbare "think"-tool om interne redenering uit te voeren vóór actie ondernemen, faalt deze private verwerking er vaak in om besluitvormingsrelevante informatie te externaliseren naar de gebruiker. Hierdoor kunnen gebruikers beslissingen nemen (bijv. het bevestigen van een actie, het selecteren van een optie) onder onvolledige context, wat leidt tot taalfalen. De auteurs stellen dat de kloof niet ligt in het vermogen van de agent om te redeneren, maar in het falen om die redenering om te zetten in Informatieonthulling (InfoDis)—de proactieve communicatie van correcties van de status, beperkingen, opties, gevolgen en opgehaalde omgevingsgegevens.

2. Methodologie

2.1. Empirische Validatie van de "Think"-tool

De auteurs evalueerden eerst het nut van afgedwongen interne reflectie over vijf modellen (GPT-4o, GPT-4.1, GPT-5, DeepSeek-V3.1, gpt-oss-120b) en drie gebruiker-dienst scenario's (Retail, Airline uit $\tau$-Bench, en TS-Phone uit ToolSandbox).

• Setup: Ze vergeleken agenten met en zonder een afgedwongen "think"-tool vóór elke stap.
• Metriek: Taakbetrouwbaarheid gemeten via $\text{Pass}^k$ (de waarschijnlijkheid dat $k$ onafhankelijke pogingen slagen).
• Bevinding: Afgedwongen denken verbeterde de prestaties niet consistent; in verschillende gevallen (bijv. GPT-4.1 op Retail) verslechterde het de succesratio aanzienlijk. Bovendien schaalde het vergroten van de "denkinspanning" (laag, medium, hoog) niet betrouwbaar mee met de lengte of informatieve waarde van de naar de gebruiker gerichte reacties.

.2. Definiëren en Proberen van Informatieonthulling

Om de ontbrekende communicatie te kwantificeren, definieerden de auteurs Informatieonthulling (InfoDis) als de proactieve communicatie door de agent van besluitvormingsrelevante informatie die de gebruiker waarschijnlijk mist. Ze operationaliseerden dit in vijf binaire categorieën (Tabel 2):

1. Statuscorrectie (SC): Het corrigeren van misvattingen van de gebruiker over de huidige status.
2. Optie (OP): Het presenteren van beschikbare keuzes.
3. Beperking (CN): Het onthullen van regels, beleid of geschiktheidslimieten.
4. Gevolg (CQ): Het uitleggen van uitkomsten (financiële, timing, onomkeerbare effecten).
5. Proactieve Retrieval (PR): Het delen van omgevingsgegevens die door de agent zijn opgehaald maar niet expliciet zijn aangevraagd.

2.3. Bewijs-gebaseerd Proberen en Contrafactuele Interventie

De studie maakte gebruik van een meerfasige pipeline om gefaalde trajecten te analyseren en te interveniëren:

• Bewijs-gebaseerde Annotatie: Annotatoren labelden InfoDis-categorieën op basis van exacte tekstfragmenten in naar de gebruiker gerichte reacties, waarbij de interne "think"-sporen werden gemaskeerd om objectiviteit te waarborgen.
• Contrafactuele Interventie: Voor gefaalde trajecten identificeerden de auteurs het laatste beslismoment van de gebruiker vóór de eerste actie die de omgeving wijzigt (environment-edit). Zij vergeleken deze met gematchte succesvolle ("golden") trajecten.
• Injectiestrategie: Ontbrekende InfoDis-bewijslast uit het gouden traject werd geïnjecteerd in het gefaalde traject. Dit werd vergeleken met twee controlegroepen:
  • +Verbositeit: Het vergroten van de reactielengte zonder specifieke ontbrekende bewijslast toe te voegen.
  • +Think Content: Het injecteren van de ruwe tekst uit het interne "think"-spoor van de agent.
• Metrieken:
  • First Edit Correction Rate (FECR): Het deel van de interventies waarbij de eerste actie die de omgeving wijzigt werd gecorrigeerd om overeen te komen met het gouden traject.
  • Recovery Rate (RR): Het deel van de interventies waarbij de uiteindelijke taakuitkomst succesvol werd.

2.4. Prompt-niveau Interventie

Ten slotte testten de auteurs een lichtgewicht InfoDis-bewuste prompt die aan de systeemprompt werd toegevoegd, die de agent instrueert om besluitvormingsrelevante statussen, beperkingen en gevolgen te onthullen vóór beslismomenten van de gebruiker.

3. Belangrijkste Resultaten

3.1. Intern Denken versus Gebruikerscommunicatie

• Afgedwongen denken toonde een instabiel nut, en slaagde er vaak niet in om de taaksucces of betrouwbaarheid te verbeteren.
• Verhoogde interne denkinspanning correleerde niet met rijkere naar de gebruiker gerichte reacties; in sommige gevallen nam de reactielengte zelfs af ondanks het afgedwongen denken.

3.2. Causale Impact van Informatieonthulling (RQ1)

• Injectie van Gouden Informatie produceerde de duidelijkste verbetering in FECR (micro-gemiddeld 11,74%), wat significant beter presteerde dan zowel +Verbositeit (6,08%) als +Think Content (6,50%).
• Dit geeft aan dat ontbrekende besluitvormingsrelevante onthulling causaal invloed heeft op het directe downstream gedrag van de agent in de omgeving.
• Het injecteren van ruwe "think"-inhoud was minder effectief dan het injecteren van gerichte gouden informatie, wat suggereert dat interne redeneersporen niet automatisch de informatie bevatten of structureren die nodig is voor de onthulling aan de gebruiker.

3.3. Ontbrekende Dimensies in Falen (RQ2)

• Analyse van de interventiefrequentie toonde aan dat Statuscorrectie (SC) en Beperking (CN) de meest frequent ontbrekende categorieën waren in gefaalde trajecten.
• Optie (OP) was de minst frequent ontbrekende categorie.
• Dit suggereert dat falen vaak voortkomt uit het feit dat gebruikers zich niet bewust zijn van de huidige realiteiten van de status of operationele beperkingen (bijv. "u kunt niet zomaar één item annuleren").

3.4. Verbeteringen op Prompt-niveau (RQ3)

• Het toevoegen van een InfoDis-bewuste prompt verbeterde de algehele prestaties voor agenten zonder de "think"-tool.
• Cruciaal was dat het de prestatieverslechtering mitigeerde die werd waargenomen bij agenten met afgedwongen denken. Bijvoorbeeld, de micro $\text{Pass}^1$ van GPT-4o op taken met afgedwongen denken verbeterde van 52,32% naar 57,58% met de InfoDis-prompt.
• De winst was het meest uitgesproken in het Retail-scenario.

4. Bijdragen en Betekenis

Het artikel levert drie primaire bijdragen:

1. Herformulering van het Probleem: Het identificeert ontbrekende informatieonthulling als een onderscheidend redeneer- en communicatieprobleem, en stelt dat interne redenering onvoldoende is wanneer gebruikersbeslissingen afhangen van informatie die de agent bezit.
2. Methodologisch Kader: Het introduceert een bewijs-gebaseerd framework voor het onderzoeken van InfoDis in natuurlijke dialogen en gebruikt contrafactuele interventie om het causale verband tussen onthulling en downstream taakdynamiek vast te stellen.
3. Praktische Interventie: Het demonstreert dat disclosure-bewuste prompting een lichtgewicht, training-vrije methode is om de prestaties van agenten te verbeteren en de negatieve effecten van afgedwongen denken te verzachten.

Betekenis:
De auteurs concluderen dat de centrale uitdaging voor gebruiker-dienst agenten niet louter het verbeteren van interne redeneercapaciteiten is, maar het waarborgen dat private redenering en omgevingskennis worden geexternaliseerd als tijdige, naar de gebruiker gerichte informatieonthulling. De studie suggereert dat toekomstige agent-ontwerpen niet alleen moeten optimaliseren hoe agenten denken, maar ook wat ze onthullen vóór beslismomenten van de gebruiker om voldoende gemeenschappelijke grond te creëren voor collaboratieve taakvoltooiing.