🤖 AI

Can LLM Agents Price Competitively? A Dynamic Multi-Attribute Auction Benchmark for Agentic Commerce

Dit artikel introduceert Bazaar, een dynamische benchmark voor veilingen met meerdere attributen, die aantoont dat hoewel grensverleggende LLM-agenten kunnen handelen in gesimuleerde agentische commercie, ze momenteel minder dan een derde van de optimale winst realiseren en aanzienlijke afruilverschijnselen vertonen tussen klantverwerving, winstgevendheid en aanpassingsvermogen aan marktschokken.

Oorspronkelijke auteurs: Shimaa Ahmed, Yiwei Cai, Mohsen Minaei, Rahul Rachuri

Gepubliceerd 2026-08-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shimaa Ahmed, Yiwei Cai, Mohsen Minaei, Rahul Rachuri

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je winkelassistent niet alleen een behulpzame bibliothecaris is die de beste deals voor je vindt, maar een piepkleine, superintelligente ondernemer die zijn eigen winkel runt. Dit is de grens van "agentic commerce", waar Kunstmatige Intelligentie (AI) niet alleen chat; het onderhandelt, prijzen vaststelt en concurreert met andere AI-winkels in realtime markten. Om te begrijpen hoe deze digitale kooplieden werken, moeten we een paar kernideeën begrijpen. Denk eerst aan veilingen, niet als schreeuwpartijen om antiek, maar als een spel waarbij verkopers een mix van functies aanbieden (zoals een telefoon met een groot scherm maar een trage batterij) en een prijskaartje. De koper kiest het aanbod dat hen de meeste "geluk" (waarde) oplevert voor het geld. Ten tweede zijn dynamische markten als een dansvloer waar de muziek plotseling verandert; klanten kunnen vandaag van een bepaalde functie houden en er morgen een hekel aan hebben, en concurrenten passen voortdurend hun passen aan. De grote vraag die wetenschappers stellen is: Kan een AI-agent leren dansen op deze veranderende muziek, ontdekken wat de klant stiekem wil, en de perfecte prijs bepalen om winst te maken zonder ze weg te jagen?

Dit artikel, getiteld "Can LLM Agents Price Competitively?", introduceert een nieuw videospel voor AI genaamd Bazaar. De onderzoekers bouwden een digitale marktplaats waar één AI-koopman (de "focale" agent) het opneemt tegen drie andere AI-bots en 24 verborgen klanten. De twist? De klanten hebben geheime voorkeuren, en halverwege het spel veranderen de regels: sommige klanten wisselen plotseling waar ze van houden (zoals besluiten dat ze nu liever een rode auto willen dan een blauwe). De AI moet deze verschuiving opmerken, van gedachten veranderen en blijven geld verdienen.

De resultaten zijn een mix van verrassende overwinningen en grappige mislukkingen. De onderzoekers ontdekten dat het winnen van de meeste veilingen niet betekent dat je het meeste geld verdient. Sterker nog, de AI die de meeste spellen won (Gemini 3.1 Pro) was niet degene met de diepste zakken. De echte kampioen qua winst was een andere AI (Opus 4.6), die minder spellen won maar veel beter was in "marge-discipline" — wat betekent dat het precies wist hoeveel extra het kon vragen zonder de verkoop te verliezen. Het is als het verschil tussen een straatverkoper die 100 goedkope hotdogs verkoopt en een paar dollar verdient, versus iemand die 50 gourmetburgers verkoopt tegen een hoge prijs en een fortuin verdient.

De studie onthulde ook een nieuwsgierig persoonlijkheidskenmerk bij deze AI's. Sommige modellen waren "snelle leerlingen" aan het begin, die snel naar de top klommen, maar toen de marktregels veranderden, waren ze koppig en traag in aanpassing. Ze bleven hetzelfde oude product proberen te verkopen, ervan overtuigd dat ze gelijk hadden, zelfs nadat ze herhaaldelijk hadden verloren. Anderen, zoals Gemini, waren wat langzamer bij de start, maar flexibel genoeg om te beseffen dat de wereld veranderd was en hun strategie snel aan te passen.

Zelfs de slimste AI in de test was echter niet perfect. De beste agent veroverde slechts ongeveer één derde van de winst die hij had kunnen maken als hij alle geheimen van de klanten vanaf het begin had gekend. Dit suggereert dat hoewel deze AI-agenten beter worden in het doen van zaken, ze nog een lange weg te gaan hebben voordat ze de chaotische, verschuivende wereld van de echte handel echt onder de knie hebben. Het artikel merkt ook op dat simpelweg "harder nadenken" (meer computerkracht gebruiken) sommige AI's hielp om hun fouten te herstellen, waardoor ze veranderden van verliezers die te laag boden in winnaars die gewoon een beetje geld lieten liggen, maar het maakte hen niet perfect. Uiteindelijk laat de studie zien dat in het hoogstaande spel van AI-prijsstelling, weten wat je moet verkopen slechts de helft van de strijd is; weten hoeveel je moet vragen is de echte toptruc.

Technische Samenvatting: "Kunnen LLM-agenten competitief prijzen? Een dynamische multi-attribuut veilingbenchmark voor agentic commerce"

Probleemstelling
Terwijl Large Language Model (LLM) agenten transformeren van conceptuele prototypes naar ingezette infrastructuur in betalingsnetwerken en retailplatforms, blijft er een kritiek evaluatiegat bestaan: kunnen deze agenten competent prijzen onder reële marktomstandigheden? Bestaande benchmarks evalueren doorgaans productkennis of onderhandeling op vaste instanties, of bestuderen veilingen onder gestileerde, statische regels. Ze slagen er niet in de kernuitdagingen van ingezette agentic commerce te vatten: het leren van verborgen klantvoorkeuren, het beheren van winstmarges in aanwezigheid van adaptieve concurrenten, en het herzien van overtuigingen wanneer de vraag onverwacht verschuift. Het artikel stelt dat zonder systematische tests in dynamische, niet-stationaire omgevingen, het onduidelijk is of LLM's kunnen leren wat klanten waarderen, winstgevende aanbiedingen kunnen kiezen en kunnen adapteren aan marktschokken.

Methodologie: Het Bazaar-framework
De auteurs introduceren Bazaar, een diagnostisch framework voor het evalueren van LLM-kooplieden in dynamische multi-attribuut gesloten biedingsveilingen.

Omgeving: Het framework simuleert een markt met $M$ kooplieden en $I$ klanten over $T$ globale rondes. In elke ronde voert elke klant een gesloten biedingsveiling uit.
Multi-attribuut Veilingen: Kooplieden dienen biedingen in die bestaan uit een productconfiguratie (een vector van $K$ attributen met $L$ niveaus) en een prijs. Klanten hebben verborgen, additieve waarderingsfuncties over deze configuraties. De klant selecteert het aanbod dat de nut maximaliseert ( $V(x) - p$ ).
Informatiebeperkingen: De centrale LLM-koopman observeert alleen schaarse feedback: de identiteit van de winnaar, de winnende configuratie en de winnende prijs. De koopman observeert geen klantwaarderingen, concurrentiekosten of biedingen van concurrenten. Verliezende kooplieden ontvangen geen informatie over het nutsgat.
Dynamische Schokken: Om adaptatie te testen, introduceert het framework onverwachte voorkeursverschuivingen halverwege het spel. Voor een subset van klanten worden de waarderingscurves voor twee attributen omgewisseld (bijv. $A \leftrightarrow B$ ), waardoor de optimale configuratie verandert zonder de onderliggende vraagstructuur te wijzigen. De agent moet deze verschuiving detecteren uitsluitend op basis van de verandering in veilingresultaten.
Tegenstanders: De centrale LLM concurreert tegen drie adaptieve, regelgebaseerde "specialist" bots. Elke bot heeft een structureel kostenvoordeel op één specifiek attribuut en past zijn marge aan op basis van winst/verliesgeschiedenis (verhoging van marges na winst, verlaging na verlies).
Evaluatiemetrieken: De auteurs gaan verder dan eenvoudige winstratio's en gebruiken een diagnostische suite:
- Totale Winst: Cumulatieve inkomsten.
- Marge-discipline: Winst per winst.
- Oracle Regret Decompositie: Het gat tussen de gerealiseerde winst en de achteraf optimale oracle wordt gesplitst in Loss Regret (rondes verloren die de oracle gewonnen zou hebben) en Underprice Regret (rondes gewonnen maar geprijsd onder de optimale marge).
- Schokherstel: Het vermogen om het pre-schok prestatieniveau te herstellen na een voorkeursverschuiving.

Belangrijkste Bijdragen

Een Diagnostisch Framework voor Dynamische Prijsvorming: Bazaar biedt een closed-form utiliteitsomgeving die exacte evaluatie mogelijk maakt ondanks dynamische concurrentie. Het scheidt prestaties in afzonderlijke faalarchetypen: "Verliezers" (die er niet in slagen winstgevende veilingen te winnen) en "Onderprisers" (die wel winnen maar geld laten liggen).
Empirische Evaluatie van Frontier LLM's: De studie evalueert 11 frontier LLM's van vier providers (Anthropic, Google, OpenAI, xAI) over diverse denk-inspanning configuraties.
Ontdekking van Faalmodi en Trade-offs: De benchmark onthult dat hoge winstratio's geen hoge winsten garanderen. Het identificeert een "sterke-leerder/zwakke-adapter" fenomeen waarbij modellen die snel leren pre-schok vaak moeite hebben met het herzien van overtuigingen post-schok.
Regret-gebaseerde Analyse: Door regret te decomponeren, laat het artikel zien dat denk-inspanning (inference compute) modellen langs een faaloppervlak verplaatst, wat vaak "Verliezers" transformeert in "Onderprisers" door configuratiezoektocht te fixen maar te falen in het optimaliseren van marge-extractie.

Resultaten

Winst vs. Winstratio: Over 11 modellen correleert totale winst sterk met marge per winst ( $r=0.99$ ) maar minder met winstratio ( $r=0.88$ ). Bijvoorbeeld, Gemini 3.1 Pro behaalde de hoogste winstratio (77,9%) maar verdiende minder totale winst dan Opus 4.6 (67,8% winstratio) omdat Opus 4.6 aanzienlijk hogere marges extraheerde ($2,22 vs. $1,83 per winst).
De Impact van Denk-inspanning: Het verhogen van de inference compute (denkbudget) verandert de prestaties drastisch. GPT-5.4 bij standaard (geen uitgebreid denken) verdiende slechts $266 (Tier 4), maar bij hoge inspanning verdiende het $1,936 (Tier 2), een 7,3x toename. Deze verschuiving veranderde echter vaak de faalmodus: een high-effort GPT-5.4 verminderde loss regret (meer winnen) maar verhoogde underprice regret (te weinig rekenen).
Schok Adaptatie: Een "sterke-leerder/zwakke-adapter" patroon kwam naar voren. Modellen zoals GPT-5.3 en Opus 4.5 klommen snel in winstratio vóór de schok, maar leden na de schok significante degradatie (verlies van ~19 procentpunten). Daarentegen herstelde Gemini 3.1 Pro, die pre-schok eerder plateau bereikte, het snelst na de schok, wat suggereert dat de beknopte, hypothese-georiënteerde redenering zorgde voor betere herziening van overtuigingen.
Kosten-efficiëntie: Gemini 3.1 Pro was de meest kostenefficiënte top performer, waarbij het een hoge winst behaalde tegen 4,8x lagere API-kosten dan de hoogste winstmaker, Opus 4.6.
Bandit Baselines: Klassieke bandit-algoritmen (Thompson Sampling, EXP4) vormden een niet-verwaarloosbare vloer, waarbij ze enkele basis LLM's overtroffen in winst, hoewel top LLM's hen overtroffen in marge-extractie en adaptatiesnelheid.
Versie Recentheid: Nieuwere modelversies presteerden niet consistent beter dan oudere versies. Bijvoorbeeld, Opus 4.7 presteerde slechter dan Opus 4.6 en Opus 4.5 bij provider defaults, en GPT-5.3 presteerde beter dan GPT-5.4 en GPT-5.5.

Significantie en Claims
Het artikel claimt dat hoewel huidige LLM's vooruitgang boeken in agentic commerce, er nog "substantiële ruimte" is voor verbetering. De sterkste agent behaalde minder dan een derde van de hindsight-optimale winst. De auteurs benadrukken dat statische benchmarks onvoldoende zijn; de dynamische aard van Bazaar onthult faalmodi—zoals het onvermogen om overtuigingen te herzien na marktschokken of de neiging om onder te prijzen zelfs wanneer men wint—die verborgen zouden blijven in statische evaluaties.

Het werk verbindt de velden van LLM-agenten in veilingen, multi-agent benchmarks, e-commerce en algoritmische prijsvorming. Het suggereert dat "marge-discipline" de onderscheidende vaardigheid is voor winstgevende agenten en dat de "denk-budget" een primaire hefboom is voor prestaties, hoewel dit gebalanceerd moet worden tegen het risico van het verschuiven van een "Verliezer" naar een "Onderpriser". De auteurs concluderen dat hoewel LLM's in staat worden als economische agenten, hun prijsstrategieën in competitieve, niet-stationaire markten een open uitdaging blijven die verdere verfijning vereist in belief revision en strategische redenering.

Meer zoals dit