Markets with Heterogeneous Agents: Dynamics and Survival of Bayesian vs. No-Regret Learners

1. Probleemstelling

Het artikel onderzoekt het langetermijnoverleven en de marktdominantie van heterogene leervolgende agenten die concurreren in activa-markten met stochastische uitkeringen. Het adresseert een fundamentele kloof tussen twee belangrijke theoretische kaders:

• Economie (Bayesiaans Leren): Gaat ervan uit dat agenten een prior hebben over het onderliggende stochastische proces en bijwerken via de regel van Bayes. Succes wordt gemeten door het maximaliseren van de verwachte nut (vermogensgroei).
• Informatica (No-Regret Leren): Maakt geen aannames over het onderliggende proces (waardoor vijandige omgevingen mogelijk zijn) en minimaliseert "regret" ten opzichte van de beste vaste strategie achteraf.

Kernvraag: In een concurrerende markt waar beide soorten agenten coëxisteren, welke leervorm garandeert overleven (d.w.z. het behouden van een niet-nul vermogensaandeel), en hoe verhouden hun prestatie-indicatoren (regret versus nauwkeurigheid van overtuigingen) zich tot marktsellectie?

2. Methodologie en Model

De auteurs maken gebruik van een volledig activa-marktmodel (specifiek met Arrow-securiteiten) met de volgende kenmerken:

• Omgeving: Discrete tijdstappen $t=1, 2, \dots$. Een staat $s_t$ wordt gerealiseerd uit een eindige verzameling staten $S$ volgens een i.i.d.-verdeling $q$.
• Agenten: $N$ agenten met startvermogen $w_0^n$. Agenten kiezen investeringsportefeuilles $\alpha_t^n$ om de groeifactor van hun vermogen te maximaliseren.
• Dynamiek: Vermogen ontwikkelt zich multiplicatief. De verhouding van vermogen tussen twee agenten $n$ en $m$ hangt af van het cumulatieve verschil in hun log-vermogensgroeisnelheden.
• Kernmetriek: Het artikel legt een direct verband tussen Regret en Vermogensaandeel.
  • Laat $R_T(\alpha)$ het regret zijn van een investeringsreeks $\alpha$ ten opzichte van de beste vaste strategie achteraf.
  • De log-vermogensverhouding wordt uitgedrukt als: $\log(r_{nm}^T) = R_T(\alpha^m) - R_T(\alpha^n) + \text{const}$.
  • Overlevingsvoorwaarde: Een agent overleeft dan en slechts dan als hun regret begrensd blijft ten opzichte van elke concurrent. Als het regretverschil divergeert naar oneindig, convergeert het vermogensaandeel van de agent naar nul (verdwijnt).

3. Belangrijkste Bijdragen en Theoretische Resultaten

A. De Relatie tussen Regret en Overleven

Het artikel formaliseert dat laag regret alleen geen overleven garandeert.

• Stelling 3.1: Een agent overleeft dan en slechts dan als $\limsup_{T \to \infty} (R_T^n - R_T^m) < \infty$ voor alle concurrenten $m$.
• Implicatie: Zelfs als twee agenten beide $O(\log T)$ regret bereiken, zal de agent met de grotere constante factor in de regretgrens bijna zeker verdwijnen. Het absolute niveau van regret is van belang, niet alleen de asymptotische snelheid.

B. Prestaties van Perfecte Bayesiaanse Leraars

• Stelling 5.3: Een Bayesiaanse leraar met een prior met eindige steun die de ware verdeling $q$ bevat, bereikt constant verwacht regret.
• Resultaat: Een dergelijke "perfecte" Bayesiaan domineert de markt. Ze drijven elke concurrent weg wiens regret groeit in de tijd (zelfs als die groei sublineair is, zoals $O(\log T)$ of $O(\sqrt{T})$). Dit valideert de "Market Selection Hypothesis" in de economie: rationele Bayesiaanse leraars met correcte modellen overleven.

C. Fragiliteit van Bayesiaans Leren

Het artikel demonstreert dat Bayesiaans leren zeer fragiel is voor misspecificatie:

1. Onnauwkeurige Priors (Stelling 6.1): Als de ware verdeling $q$ niet in de steun van de prior zit, convergeert de Bayesiaanse leraar naar het "dichtstbijzijnde" model in relatieve entropie. Dit resulteert in lineair regret ($\Theta(T)$), waardoor de agent verdwijnt tegenover elke no-regret leraar.
2. Ruizige Updates (Stelling 6.5): Zelfs als het correcte model in de prior zit, als de update-regel kleine "trembling hand"-fouten bevat (ruis met gemiddelde nul in het wegen van data versus prior), faalt de Bayesiaanse leraar om te convergeren. De overtuigingen oscilleren, wat leidt tot lineair regret en uiteindelijke uitsterving.
3. Verdelingsverschuivingen (Propositie 7.1): Standaard Bayesiaans leren past zich traag aan aan verschuivingen in het datagenererend proces. Als de verdeling verschuift, wordt de posterior (die geconcentreerd was op het oude model) de nieuwe prior, waardoor de agent aanzienlijke tijd doorbrengt met onjuiste modellen en lineair regret opbouwt.

D. Robuustheid van No-Regret Leren

• No-regret leraars (bijvoorbeeld met behulp van Online Convex Optimization of UCB) vereisen geen model van de omgeving.
• Ze garanderen sublineair regret (bijvoorbeeld $O(\log T)$ of $O(\sqrt{T})$) ongeacht het proces.
• Hoewel ze verliezen van een "perfecte" Bayesiaanse leraar, overleven ze tegenover "onvolmaakte" Bayesiaanse leraars (die met verkeerde priors of ruizige updates werken) omdat de onvolmaakte Bayesiaanse leraars lineair regret incasseren.

4. Voorgestelde Hybride Strategieën

Gemotiveerd door de afweging tussen de snelheid van Bayesiaans leren en de robuustheid van no-regret leren, stellen de auteurs twee hybride methoden voor:

1. Geregulariseerde Bayesiaanse Update (voor Verdelingsverschuivingen):

   • Mechanisme: Voegt een kleine regularisatieterm $\epsilon_t$ toe aan de Bayesiaanse update-weights, waardoor geen enkele hypothese-weight exact tot nul kan vervagen.
   • Resultaat: Behoudt constant regret in stationaire omgevingen (zoals standaard Bayes), maar bereikt logaritmisch regret ($O(\log T)$) wanneer verdelingsverschuivingen optreden. Dit stelt de agent in staat zich snel te herstellen van verschuivingen zonder weggedreven te worden.

2. Bayes-naar-No-Regret Schakeling (voor Prior-Misspecificatie):

   • Mechanisme: Voert een Bayesiaanse strategie en een no-regret strategie parallel uit. Het volgt de cumulatieve nut-gap ($D_t$). Als de Bayesiaanse strategie voldoende achterblijft bij de no-regret benchmark (een dynamische drempel overschrijdt), schakelt de agent permanent over naar de no-regret strategie.
   • Resultaat:
     • Als de prior correct is: Blijft de agent met hoge waarschijnlijkheid Bayesiaans, met constant regret.
     • Als de prior misspecificeerd is: Schakelt de agent over naar de no-regret strategie, en erft diens sublineaire regret-garantie.

5. Betekenis en Implicaties

• Brug tussen Disciplines: Het artikel biedt de eerste formele verbinding tussen het economische concept van "overleven" en het informaticaconcept van "regret-minimalisatie" in activa-markten.
• Verfijning van Marktsellectie: Het daagt het simplistische beeld uit dat "rationele" (Bayesiaanse) agenten altijd winnen. Het toont aan dat robuustheid even cruciaal is als nauwkeurigheid. Een lichtelijk misspecificeerde Bayesiaanse leraar doet het slechter dan een robuuste no-regret leraar.
• Praktische Toepassing: De bevindingen suggereren dat in werkelijke markten (waar modellen zelden perfect zijn en omgevingen verschuiven), pure Bayesiaanse benaderingen riskant zijn. De voorgestelde hybride strategieën bieden een "beste-van-beide-werelden"-benadering, die de snelle convergentie van Bayes combineert met het veiligheidsnet van regret-minimalisatie.
• Beleid en Ontwerp: Voor algoritmische handel en marktontwerp impliceren de resultaten dat de keuze van het leeralgoritme diepgaande langetermijngevolgen heeft voor marktsamenstelling en prijsstabiliteit.

6. Conclusie

Het artikel concludeert dat Bayesiaans leren optimaal is onder perfecte specificatie, maar breekbaar is in realistische omgevingen. No-regret leren biedt een robuuste fallback, maar kan worden overtroffen door nauwkeurige Bayesiaanse leraars. De optimale strategie voor heterogene agenten is een hybride aanpak die Bayesiaanse updates benut voor snelheid, terwijl mechanismen (regularisatie of schakeling) worden ingebouwd om modelfalen of omgevingsverschuivingen te detecteren en zich daarvan te herstellen.