Agentic AI and Hallucinations

Titel: Agentic AI und Halluzinationen

Autoren: Engin Iyidogan & Ali I. Ozkes
Institutionen: SKEMA Business School & WU Wien
Datum: September 2025 (vorläufige Version)

---

1. Problemstellung

Die Arbeit adressiert das wirtschaftliche Dilemma in Märkten für Agentic AI (KI-Agenten), die als Intermediäre zwischen upstream-Anbietern generativer Modelle (z. B. Large Language Models, LLMs) und Endnutzern agieren.

• Das Kernproblem: Generative Modelle neigen zu „Halluzinationen" (falsche Behauptungen oder Antworten). Für Agenten ist es kostspielig, diese durch Verifikationsmaßnahmen (z. B. Retrieval-Augmentation, menschliche Überprüfung) zu reduzieren.
• Das moralische Risiko: Da Verifikationsaufwand ($e$) für den Agenten nicht beobachtbar ist, besteht die Gefahr, dass Agenten aus Kostengründen keine Anstrengung unternehmen, obwohl dies für die Nutzerqualität essenziell ist.
• Heterogene Nachfrage: Nutzer unterscheiden sich stark in ihrer Toleranz gegenüber Halluzinationen.
  • Niedrig-Kritische Nutzer (Low-Type): Nutzen die KI für Unterhaltung; Halluzinationen sind nur ein Ärgernis.
  • Hoch-Kritische Nutzer (High-Type): Nutzen die KI in Bereichen wie Recht oder Medizin; der Schaden durch eine falsche Antwort übersteigt den Preis der Dienstleistung um Größenordnungen.
• Forschungsfrage: Kann Wettbewerb und relationaler Vertrag allein Agenten dazu bringen, den hohen Qualitätsstandards der kritischen Nutzer gerecht zu werden, und wie passt sich das Gleichgewicht an die Zusammensetzung der Nachfrage an?

2. Methodik und Modellierung

Die Autoren entwickeln ein diskretes, unendlich wiederholtes Spiel mit folgenden Komponenten:

• Akteure:
  • Eine Masse von Nutzern mit heterogenen Typen $\theta \in \{H, L\}$ (High/Low), die private Werte für korrekte Antworten ($v(\theta)$) und Disnutzen bei Halluzinationen ($\alpha(\theta)$) haben. Der Anteil der High-Typen ist $\mu$.
  • Ein perfekt wettbewerbsfähiges Kontinuum von KI-Agenten.
  • Eine endliche Menge an upstream-Modell-Anbietern mit unterschiedlichen Basis-Halluzinationsraten $h_0(m)$ und Kosten $k_m$.
• Ablauf:
  1. Agenten wählen ein Modell $m$ und einen Preis $p$.
  2. Agenten wählen in jeder Periode einen nicht beobachtbaren Verifikationsaufwand $e$.
  3. Die Wahrscheinlichkeit einer Halluzination sinkt exponentiell mit dem Aufwand: $h(m,e) = h_0(m) \exp(-\beta e)$.
  4. Kontinuitätsbedingung: Tritt eine Halluzination auf, beendet der Nutzer die Beziehung sofort und verlässt den Markt. Neue, uninformierte Nutzer füllen die Lücke.
• Anreizmechanismus:
  • Da der Aufwand nicht vertraglich festgelegt werden kann, wird er durch relationale Verträge (Reputation) gesichert.
  • Die Drohung, zukünftige Mieten (Rents) zu verlieren, wenn eine Halluzination auftritt, diszipliniert den Agenten.
  • Die Anreizverträglichkeitsbedingung (IC) lautet: Der Kosten des Aufwands $c(e)$ muss kleiner sein als der diskontierte Wert des zukünftigen Gewinns, der durch Vermeidung von Halluzinationen gesichert wird.

3. Wichtige Beiträge

1. Modellierung von Agentic AI: Das Paper ist eines der ersten, das die ökonomische Rolle von KI-Agenten als Qualitätsintermediäre formalisiert, die sowohl die Wahl des Modells als auch den Verifikationsaufwand steuern.
2. Reputationsgleichgewicht unter Heterogenität: Es wird gezeigt, wie ein einziges Gleichgewichtsverhältnis existiert, das sowohl High- als auch Low-Typen bedient, wobei der Preis die notwendigen Anreizrenten für den Agenten widerspiegelt.
3. Endogene Qualitätssteigerung: Der zentrale Beitrag ist die Erkenntnis, dass die Marktzusammensetzung ($\mu$) selbst als Disziplinierungsmechanismus wirkt. Ein höherer Anteil an kritischen Nutzern führt endogen zu höherem Verifikationsaufwand und höheren Preisen.

4. Ergebnisse

A. Benchmark: Spot-Markt ($\delta = 0$)

Ohne zukünftige Interaktionen (kein Diskontfaktor) gibt es keinen Anreiz für Verifikation.

• Ergebnis: Der optimale Aufwand ist $e^* = 0$.
• Konsequenz: Agenten bieten nur das billigste Modell an, das für den Durchschnittsnutzer akzeptabel ist. Die Qualität degeneriert auf das Minimum. Dies unterstreicht die Notwendigkeit von Reputation.

B. Reputationsgleichgewicht ($\delta > 0$)

Wenn Agenten geduldig genug sind (hoher $\delta$), kann ein positives Gleichgewicht existieren.

• Theorem 1: Ein aktives Gleichgewicht existiert genau dann, wenn $\delta$ einen kritischen Schwellenwert überschreitet.
• Hauptergebnis (Vergleichsstatik): Der Gleichgewichts-Verifikationsaufwand $e^*$ ist strikt monoton steigend im Anteil der High-Typen ($\mu$).
  • Logik: Ein höherer Anteil an High-Typen erhöht den erwarteten zukünftigen Gewinn (da diese Nutzer bei einer Halluzination sofort abspringen, ist der Verlust für den Agenten größer, wenn sie den Markt dominieren). Dies ermöglicht es dem Agenten, höhere Kosten für Verifikation zu tragen, was durch höhere Preise an die Nutzer weitergegeben wird.
• Modellwahl:
  • Bei niedrigem $\mu$ wählen Agenten günstigere, aber riskantere Modelle und kompensieren dies durch hohen Verifikationsaufwand.
  • Bei hohem $\mu$ (z. B. > 26% im numerischen Beispiel) wechseln Agenten zu teureren, aber qualitativ hochwertigeren upstream-Modellen, da dies den Gesamtüberschuss maximiert.

C. Numerische Simulation

Die Simulationen zeigen:

• Höhere Geduld ($\delta$) oder effizientere Verifikationstechnologie ($\beta$) verschieben die Kurve des Verifikationsaufwands nach oben.
• Es gibt einen „Qualitätsdeckel": Sobald der Aufwand einen bestimmten Punkt erreicht, sinkt die Halluzinationsrate so stark, dass weitere Investitionen marginal weniger Nutzen bringen.

5. Signifikanz und Implikationen

• Sektorale Unterschiede: Der Markt erklärt, warum Sektoren wie Recht und Medizin (hoher $\mu$) automatisch zu strengeren Verifikationsprozessen und höheren Kosten in der Agentic-AI-Nutzung führen, während Unterhaltungssektoren (niedriger $\mu$) bei niedrigerer Qualität und niedrigeren Preisen bleiben.
• Wohlfahrt: Das Modell zeigt, dass Wettbewerb allein ohne den Mechanismus der relationalen Verträge (Reputation) zu Marktversagen führt. Erst die langfristige Beziehung ermöglicht die Internalisierung des Halluzinationsrisikos.
• Politische Implikation: Regulierungen, die die Transparenz von Halluzinationsraten erhöhen oder die Kosten der Verifikation senken, könnten die Effizienz in hochkritischen Sektoren weiter steigern.

Zusammenfassend demonstriert das Paper, dass in wettbewerbsorientierten KI-Agenten-Märkten die Zusammensetzung der Kundennachfrage der primäre Treiber für Qualitätsinvestitionen ist. Hohe Sensibilität gegenüber Fehlern bei einer signifikanten Nutzergruppe erzwingt endogen höhere Verifikationsstandards, die durch Preisaufschläge finanziert werden.