Agentic AI and Hallucinations

Titel: Agentic AI en Hallucinaties

Auteurs: Engin Iyidogan en Ali I. Ozkes
Datum: 1 september 2025

1. Het Probleem

De paper adresseert het economische probleem van hallucinaties (foutieve of verzonnen antwoorden) in de markt voor Agentic AI. AI-agenten fungeren als tussenpersonen die vragen van eindgebruikers doorsturen naar upstream generatieve modellen (zoals Large Language Models, LLMs) en de resultaten verwerken.

De kernuitdaging is een moraal gevaar (moral hazard):

• Agenten kunnen kosten maken om hallucinaties te verifiëren en te reduceren (bijv. via menselijke controle of geavanceerde zoekfuncties), maar deze inspanning is voor de gebruiker niet waarneembaar.
• Gebruikers variëren in hun tolerantie voor fouten: gebruikers in sectoren zoals rechten en geneeskunde (hoog-risico) hebben een enorme disnutte bij een hallucinatie, terwijl gebruikers voor entertainment (laag-risico) dit als een lichte ongemak zien.
• De vraag is of concurrentie en relatieve contracten voldoende zijn om agenten te stimuleren om kostbare verificatie-inspanningen te leveren, vooral wanneer de markt een mix van hoog- en laag-risico gebruikers bevat.

2. Methodologie

De auteurs ontwikkelen een discrete-tijd, oneindig herhaald spelmodel met de volgende kenmerken:

• Actoren:
  • Een continue massa van AI-agenten (perfect concurrerend).
  • Een eenheidsmassa van gebruikers met heterogene types: $\theta \in \{H, L\}$ (Hoog/Laag).
  • Een eindige set upstream modelproviders met verschillende prijzen ($k_m$) en basis-hallucinatierisico's ($h_0(m)$).
• Gebruikerstypes:
  • Type H (Hoog): Waardeert een correct antwoord hoog ($v(H)$) en lijdt grote schade bij een hallucinatie ($\alpha(H)$).
  • Type L (Laag): Lagere waarde en lagere schade bij fouten.
  • Het aandeel van Type H in de populatie is $\mu$.
• Mechanisme:
  • Agenten kiezen een upstream model en een retailprijs ($p$).
  • Agenten kiezen per periode een verificatie-inspanning ($e$) die het hallucinatierisico exponentieel verlaagt: $h(m,e) = h_0(m) \exp(-\beta e)$.
  • Inspanning $e$ is kostbaar ($c(e)$) en niet contracteerbaar (niet waarneembaar voor de gebruiker).
• Relational Contracting:
  • De relatie eindigt onmiddellijk bij een hallucinatie.
  • De dreiging van het verlies van toekomstige inkomsten (rentes) fungeert als een discipline-mechanisme. Dit maakt de inspanning incentive-compatible.
  • De prijs moet hoog genoeg zijn om de "informatierente" van de agent te dekken, zodat deze geen prikkel heeft om de inspanning te verlagen.

3. Belangrijkste Resultaten

A. Benchmark: De Spotmarkt ($\delta = 0$)

Als agenten geen waarde hechten aan de toekomst (geen disconteringsfactor), is er geen incentive om inspanning te leveren.

• Resultaat: De enige duurzame inspanning is $e^* = 0$.
• Agenten kiezen het goedkoopste model en vragen de kostprijs. De kwaliteit van de dienst degradeert tot het minimum. Dit toont aan dat reputatie essentieel is om het moraalgevaar op te lossen.

B. Het Reputatie-evenwicht ($\delta > 0$)

Wanneer agenten toekomstige inkomsten waarderen, ontstaat er een uniek evenwicht waarbij inspanning wordt geleverd.

• Prijsbepaling: De prijs $p$ wordt bepaald door de kosten van het model, de verificatiekosten, en een opslag (rente) die nodig is om de inspanning te garanderen:
  $$p(m,e) = k_m + c(e)[1 + R(m,e)]$$
  Waar $R(m,e)$ de markering is die voortvloeit uit het risico van verlies van de relatie.
• Deelnemingsvoorwaarde: Het evenwicht bestaat alleen als de gebruikers (vooral het type dat de bindinge voorwaarde bepaalt) een niet-negatieve levenslange nutswaarde behalen. Dit vereist dat agenten "geduldig" genoeg zijn (hoge $\delta$).

C. Vergelijkende Statistieken (Kerninzicht)

De paper levert een scherp inzicht in hoe de samenstelling van de markt de kwaliteit beïnvloedt:

• Resultaat: De evenwichtsinspanning $e^*$ is strikt stijgend in het aandeel van hoog-risico gebruikers ($\mu$).
  $$\frac{de^*}{d\mu} > 0$$
• Interpretatie: Sectoren met een hoger aandeel kritische gebruikers (zoals rechtspraak en geneeskunde) genereren endogeen zwaardere verificatie-inspanningen. Omdat deze inspanning kostbaar is, leiden deze sectoren ook tot hogere prijzen.
• Modelkeuze: De paper toont via een numeriek voorbeeld aan dat bij een laag aandeel van Type H, agenten kiezen voor goedkopere, risicovollere upstream modellen en dit compenseren met hoge verificatie-inspanning. Zodra het aandeel van Type H een bepaalde drempel overschrijdt, wordt het economisch efficiënter om direct een duurdere, hogere kwaliteit upstream model te kiezen.

4. Bijdragen aan de Literatuur

1. Economische Analyse van Agentic AI: Het paper is een van de eerste die de economische dynamiek van AI-agenten als tussenpersonen modelleert, specifiek gericht op het hallucinatierisico.
2. Relational Contracts in Competitieve Markten: Het integreert de theorie van relationele contracten (waarbij toekomstige rentes inspanning disciplineren) in een markt met heterogene gebruikers. Het toont aan hoe deze mechanismen werken in een competitieve omgeving waar informatie over inspanning asymmetrisch is.
3. Endogene Kwaliteitsdifferentiatie: Het paper toont aan dat marktsamenstelling (de mix van gebruikers) een disciplinerend mechanisme is. Het verklaart waarom AI-diensten in kritieke sectoren van nature duurder en betrouwbaarder zijn dan in entertainmentsectoren, zonder dat er externe regulatie nodig is.

5. Significance en Implicaties

De bevindingen hebben belangrijke implicaties voor de ontwikkeling en regulering van AI:

• Marktdynamiek: De markt kan zichzelf corrigeren voor hallucinaties in kritieke sectoren via prijs- en reputatiemechanismen, mits de agenten een langere horizon hebben.
• Sectorendifferentiatie: Het verklaart waarom we in de toekomst waarschijnlijk een tweedeling zullen zien in de AI-markt: goedkope, "vlotte" AI voor entertainment en dure, zwaar verifieerde AI voor professionele toepassingen.
• Beleid: Regulatoren hoeven mogelijk niet in elke sector even streng te ingrijpen; de marktmechanismen zorgen al voor strengere verificatie waar de kosten van een fout het hoogst zijn. Echter, in sectoren waar de "patience" (disconteringsfactor) van agenten laag is (bijv. door hoge concurrentie of korte contracten), kan marktfalen optreden, wat wel regulatie vereist.

Kortom, het paper biedt een robuust theoretisch raamwerk dat aantoont hoe reputatie en toekomstige inkomsten de kwaliteit van AI-diensten in kritieke sectoren kunnen waarborgen, en hoe de prijsstructuur endogeen wordt bepaald door de risicoprofielen van de gebruikers.