📈 economics

Agent-Facing Information Design in LLM Tool Registries

Dit artikel onthult dat juridische overdrijving, in plaats van verzonnen claims, de belangrijkste drijfveer is voor bias bij de selectie van LLM-tools, en toont aan dat huidige openbaarmakingsmethoden tekortschieten, terwijl het een ontwerp op het registerlaag voorstelt dat gestructureerde beschrijvingen van functionaliteiten scheidt van marketingtekst om verantwoordingsplicht van agents te waarborgen.

Oorspronkelijke auteurs: Haochuan Kevin Wang

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haochuan Kevin Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Geheel: De "Wild West" van AI-toolwinkels

Stel je een enorme digitale markt voor waar AI-assistenten (de "agenten") tools gaan kiezen om taken voor je uit te voeren. Misschien vraag je je AI om "het beste weersvoorspelling te vinden", en moet het kiezen tussen vijf verschillende weerapps.

Op dit moment is deze markt als een Wild-West-vlooienmarkt zonder regels.

Het Probleem: De tool-eigenaren schrijven hun eigen beschrijvingen. Ze kunnen gebruikmaken van chique woorden, superlatieven ("De #1 Beste Tool!") en grote claims om de AI te verleiden hen te kiezen.
Het Ontbrekende Stuk: In tegenstelling tot menselijk winkelen, waar we te maken hebben met beoordelingen, geverifieerde reviews of "Gesponsorde"-labels die daadwerkelijk werken, heeft deze AI-markt geen meetsysteem. Er is geen manier om te controleren of een tool echt goed is of of de beschrijving gewoon een leugen is.

De onderzoekers voerden meer dan 17.700 experimenten uit om te zien hoe makkelijk deze AI-agenten beïnvloed kunnen worden door marketingpraatjes.

Belangrijkste Bevindingen: Wat Ze Ontdekten

1. De "Hype" Wint Altijd

De onderzoekers ontdekten dat als twee tools exact dezelfde taak uitvoeren, maar de ene een saaie beschrijving heeft en de andere een "gehypete" beschrijving (met woorden als "snelste", "meest accuraat" of "vertrouwd door miljoenen"), de AI de gehypete tool 100% van de tijd kiest.

De Analogie: Stel je twee identieke auto's voor die naast elkaar geparkeerd staan. De ene heeft een plain bordje met "Auto". De andere heeft een gigantisch neonbord met "De Snelste, Meest Betrouwbare Auto ter Wereld!". De AI geeft er niets om dat de auto's identiek zijn; het rijdt blindelings naar het neonbord toe.
Het Resultaat: Alleen het veranderen van de woorden (copywriting) vangt al het verkeer. De AI is in wezen "clickbait-gevoelig".

2. Leugenachtigheid Helpt Niet (Maar Hype Wel)

Het team testte of het verzinnen van valse cijfers (zoals "Gebruikt door 12 miljoen ontwikkelaars" terwijl dat niet waar is) de AI ertoe bracht de tool vaker te kiezen dan alleen het gebruik van legale overdrijving (puffery).

De Bevinding: Nee. De AI koos even vaak voor de tool met legale overdrijving als voor die met valse leugens.
De Conclusie: De "leugen" voegde geen extra kracht toe. Het probleem is niet dat de AI wordt bedrogen door leugens; het is dat de AI reageert op de stijl van de taal (superlatieven) in plaats van op de feiten. Dit betekent dat regelgevers niet zomaar "nepreclame" kunnen verbieden om het probleem op te lossen, omdat de "legale" hype al 100% van de schade doet.

3. Waarschuwingslabels Werken Niet

De onderzoekers probeerden het probleem te "oplossen" door waarschuwingen toe te voegen, vergelijkbaar met hoe we "Gesponsorde"-labels op Google of sterrenbeoordelingen op Amazon zien.

Het Resultaat: Het faalde volledig.
- Voor de meeste AI's: De waarschuwing werd genegeerd. De AI koos nog steeds de gehypete tool. Het is alsof je een sticker met "Let op: Deze advertentie is betaald" op een neonbord plakt, en de AI rent toch naar het licht toe.
- Voor één AI (Claude): Het reageerde overdreven. Toen het een "Gesponsorde"-label zag, vermijdd het de tool daadwerkelijk, zelfs als het de beste was.
De Conclusie: Je kunt dit niet oplossen door de AI simpelweg te vertellen "wees voorzichtig". Het systeem is kapot, niet het brein van de AI.

4. Het "Gevangene Dilemma" (De Wedloop naar de Bodem)

Omdat de gehypete tool elke keer wint, worden alle tool-eigenaren gedwongen om gehypete beschrijvingen te schrijven om te overleven.

De Analogie: Stel je een sollicitatiegesprek voor waar iedereen gekwalificeerd is. Als één kandidaat een pak draagt en zegt "Ik ben de beste", krijgt hij de baan. Dus beginnen alle anderen ook een pak te dragen en "Ik ben de beste" te zeggen. Uiteindelijk draagt iedereen een pak en schreeuwt, zodat de interviewer niet meer kan vertellen wie echt goed is.
Het Resultaat: De markt wordt nutteloos. De beschrijvingen vertellen je niets meer over kwaliteit, omdat iedereen gewoon dezelfde marketingleuzen schreeuwt.

Het Voorgestelde Oplossing: Het "Menu" versus de "Flyer"

Het artikel stelt een volledige herontwerp voor van hoe deze toolwinkels werken. Ze stellen voor om de informatie op te splitsen in twee aparte bakken:

Het "Selectiemenu" (Voor de AI):
- Dit is wat de AI ziet voordat het een tool kiest.
- Regel: Geen marketingwoorden toegestaan. Geen "beste", geen "snelste", geen "vertrouwd door".
- Formaat: Gewoon koude, harde feiten in een gestructureerde lijst (bijvoorbeeld: "Invoer: Tekst. Uitvoer: 10 links. Snelheid: 200ms").
- Waarom: De onderzoekers ontdekten dat AI's deze saaie, gestructureerde opmaak eigenlijk verkiezen boven bloemrijke proza. Het helpt hen de juiste tool te kiezen zonder afgeleid te worden door hype.
De "Marketingflyer" (Voor Jou, de Mens):
- Dit is wat de mens ziet nadat de AI de tool al heeft gekozen.
- Regel: De tool-eigenaar kan hier alle fancy marketingteksten schrijven die hij wil.
- Waarom: De AI heeft zijn werk al gedaan op basis van de feiten. Nu kun jij (de mens) de "gesponsorde" pitch lezen om te beslissen of je de tool leuk vindt.

Samenvatting in Eén Zin

AI-agenten worden momenteel bedrogen door marketinghype omdat toolregisters ongeregelde reclameplatforms zijn; de oplossing is niet om de AI te leren leugens te negeren, maar om de registers te dwingen de AI een saaie, feitelijke menukaart te tonen terwijl ze de fancy verkooppraatjes bewaren voor de menselijke gebruiker.

Technische Samenvatting: Informatieontwerp voor Agenten in LLM-toolregisters

1. Probleemdefinitie

Het artikel identificeert een kritieke kloof in het opkomende ecosysteem van Large Language Model (LLM) toolregisters (bijv. PulseMCP, Composio). Deze registers fungeren als de facto reclameplatforms waar toolaanbidders concurreren om agentzichtbaarheid via vrijetekstbeschrijvingen. In tegenstelling tot de digitale reclame-industrie, die twee decennia heeft besteed aan het bouwen van meetinfrastructuur (zichtbaarheidsnormen, kwaliteitsscores), ontbreekt het in het tool-ecosysteem voor agenten aan elk verantwoordingsmechanisme.

Het kernprobleem is informatieasymmetrie. Bij gebrek aan geverifieerde kwaliteitssignalen vertrouwen agenten op de rijkdom van de beschrijving als proxy voor functionaliteit. Dit creëert een markt voor "generatieve engine optimalisatie" (GEO), waarbij aanbieders beschrijvingen strategisch vormgeven om de selectie door agenten te manipuleren. Het artikel onderzoekt of standaard regelgevingsmechanismen (openbaarmakingslabels, waarschuwingen) die effectief zijn in mensgerichte reclame, ook toepasbaar zijn op agentische omgevingen, en stelt een structurele herontwerp voor registers voor om marktefficiëntie te herstellen.

2. Methodologie

De studie hanteert een systematisch experimenteel raamwerk dat meer dan 17.700 proeven combineert over vijf LLM's (DeepSeek-V3, o4-mini, GPT-5.4-mini, GPT-5.4-nano, Claude Sonnet 4.6 en GPT-4o) en tien synthetische taakdomeinen (bijv. webzoekopdrachten, e-commerce, code-uitvoering).

Experimenteel Ontwerp

Taak: Een tweeweg gedwongen-keuzetaak waarbij een agent precies één van twee functioneel identieke tools moet activeren die uitsluitend verschillen in de vormgeving van de beschrijving.
Maatstaf: Selectiebiascoëfficiënt (SBC), gedefinieerd als $P(\text{selecteer geoptimaliseerd}) - 0,5$ . Een SBC van 0 geeft een willekeurige selectie aan; +0,5 geeft een perfecte selectie van de geoptimaliseerde tool aan.
Vormgevingsniveaus (L0–L4): Beschrijvingen variëren van neutrale functionele specificaties (L0) tot commercieel geoptimaliseerde versies die sociale bewijskracht, superlatieven, autoriteitsvormgeving en uitkomstvormgeving integreren (L4).
Openbaarmakingsinterventies: Vier condities getest om bias te verminderen:
1. Baseline (geen interventie).
2. [SPONSORED]-labels toegevoegd aan beschrijvingen.
3. Sterrencijfers (bijv. "3/5 sterren - commercieel partner").
4. Waarschuwingen in het systeemprompt (algemene transparantie-mandaten).
Ecologische Validiteit: Experiment C gebruikte letterlijke beschrijvingen van live MCP-registers (bijv. Brave Search versus DuckDuckGo) om synthetische bevindingen te valideren.
Juridische Grensanalyse: Experiment E4 isoleerde "juridische overdrijving" (FTC-toelaatbare superlatieven) van "verzonnen claims" om de bron van selectiebias te bepalen.

3. Belangrijkste Bijdragen

A. Voorschrift voor Registerontwerp (Primaire Bijdrage)

Het artikel stelt een structurele scheiding van beschrijvingen in twee distincte lagen voor:

Selectiegerichte Beschrijving: Gestructureerd, door het register gecontroleerd en ontdaan van alle evaluerende taal. Deze laag wordt uitsluitend gebruikt voor de selectie door agenten.
Marketinggerichte Beschrijving: Geschreven door de aanbieder, bevat alle persuasieve tekst, en wordt uitsluitend na selectie getoond aan de menselijke gebruiker.
Deze architectuur, gebaseerd op Propositie 3, bereikt "eerste-best welvaart" (tools selecteren op basis van functionaliteit in plaats van tekst) onafhankelijk van het specifieke LLM-model.

B. De Agent Attention Quality Score (AAQS)

De auteurs introduceren AAQS om echte functionaliteit te onderscheiden van selectie gedreven door beschrijving:
$AAQS_i(q) = P(\text{select}_i | q) \times C_i(q)$
Waarbij $C_i(q)$ een score voor functionaliteitsmatch is. Een lage AAQS ten opzichte van de selectiekans geeft aan dat de tool "meedrijft op beschrijvingsoptimalisatie" (het agentequivalent van clickbait).

C. Analyse van Strategisch Evenwicht

Met behulp van een speltheoretisch model (Proposities 1–3) formaliseert het artikel de prikkelstructuur als een Gevangendilemma. Zonder interventie is het Nash-evenwicht dat alle aanbieders beschrijvingen optimaliseren, waardoor deze oninformatief worden en middelen worden verspild aan een "wapenwedloop voor beschrijvingen". Het model bewijst dat normalisatie noodzakelijk is (niet slechts voldoende), omdat openbaarmakingsmechanismen falen om dit evenwicht te doorbreken.

4. Empirische Resultaten

4.1. Effectiviteit van Optimalisatie

Totale Verkeersopname: In consumentendomeinen (webzoekopdrachten, e-commerce) selecteerden vier van de vijf modellen de geoptimaliseerde tool met $P=1,0$ (SBC = +0,456) bij afwezigheid van openbaarmaking.
Dominant Kenmerk: Superlatieven (bijv. "snelste", "meest accuraat") zijn het krachtigste enkele kenmerk (SBC = +0,35), beter dan sociale bewijskracht (+0,12) en autoriteitsvormgeving (+0,21).
Dosis-respons: Het selectievoordeel zit voornamelijk in de eerste stap. De sprong van neutraal (L0) naar een enkel vertrouwenssignaal (L1) vangt het merendeel van de haalbare lift (+0,33). Aanvullende retorieklagen leveren afnemende of negatieve rendementen op.

4.2. Falen van Openbaarmakingsmechanismen

Openbaarmakingsinterventies faalden structureel om verschillende redenen:

Plafondinertie: Voor modellen die al bij $P \approx 1,0$ zaten, hadden labels zoals [SPONSORED] een verwaarloosbaar effect (bijv. DeepSeek toonde slechts een daling van 3 procentpunten).
Architecturale Blindheid: Waarschuwingen in het systeemprompt hadden geen meetbaar effect voor vier van de vijf modellen; de waarschuwing doorgaf niet naar de logica voor de selectie van functieaanroepen.
Overcorrectie: Claude Sonnet behandelde [SPONSORED]-labels als diskwalificatoren, waardoor gelabelde tools werden gestraft onder willekeurige niveaus (SBC $\to$ -0,155).

4.3. Juridische Overdrijving versus Verzonnen Claims

Juridische Overdrijving Vangt 100% van het Effect: FTC-toelaatbare overdrijving (subjectieve superlatieven, vormgeving van voordelen) alleen leverde het volledige optimalisatie-effect op (SBC = +0,33).
Verzonnen Claims Voegen Niets Toe: Het toevoegen van verzonnen statistieken of aanbevelingen leverde geen incrementele bias op. Bijgevolg zou handhaving van de FTC-regels voor misleidende reclame tegen verzonnen claims een bijna nul-impact hebben op de selectie door agenten, aangezien het actieve mechanisme constitutioneel beschermde overdrijving is.

4.4. Ecologisch Bewijs

Voorlopige tests met live registerbeschrijvingen (bijv. Brave Search versus DuckDuckGo) bevestigden de synthetische patronen, met SBC-waarden variërend van +0,30 tot +0,46, wat suggereert dat het fenomeen geen artefact is van synthetische data.

5. Betekenis en Aanspraken

Het artikel betoogt dat het probleem niet de "irationaliteit" van agenten is, maar een gebrekkige informatieomgeving. In een register zonder geverifieerde kwaliteitssignalen is de rijkdom van de beschrijving de enige beschikbare proxy voor functionaliteit, waardoor agenten rationeel reageren op commerciële vormgeving.

Regelgevende Implicatie: Huidige regelgevende aanpakken (openbaarmaking) zijn structureel ineffectief tegen selectie door agenten. De oplossing vereist mechanismeontwerp (normalisatie van registers) in plaats van betere uitlijning van agenten.
Economische Impact: De geoptimaliseerde aanbieder vangt ~83% van het verkeer (tegenover 50% eerlijk aandeel), wat een enorme, niet-gemonetiseerde arbitragemogelijkheid creëert voor aanbieders en een welvaartsverlies voor gebruikers.
Ontwerppijler: Het artikel concludeert dat registers moeten evolueren van "reclameplatforms" naar "gestructureerde dataopslag" voor selectie, waarbij marketingtekst wordt bewaard voor menselijke consumptie na selectie. Deze verschuiving elimineert bias, vermindert sociale verspilling (de wapenwedloop) en sluit aan bij de voorkeur van agenten voor gestructureerde data (agenten gaven in sanity checks de voorkeur aan gestructureerde formaten boven neutrale proza).

De auteurs publiceren hun benchmark en analysecode om toekomstig werk in informatieontwerp voor agenten te ondersteunen, met de nadruk dat zonder structurele interventie de markt voor toolselectie onbeantwoordbaar en inefficiënt zal blijven.