📈 economics

Dynamic Decision-Making under Model Misspecification: A Stochastic Stability Approach

Dit artikel analyseert de prestaties van Thompson Sampling onder model-misspecificatie door de posterieure evolutie te classificeren in afzonderlijke regimes binnen een twee-armige Gaussische bandit en een verenigd raamwerk voor stochastische stabiliteit voor algemene eindige modelklassen vast te stellen om limiterende overtuigingen en asymptotische regret te karakteriseren.

Oorspronkelijke auteurs: Xinyu Dai, Daniel Chen, Yian Qian

Gepubliceerd 2026-07-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xinyu Dai, Daniel Chen, Yian Qian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij door een doolhof moet navigeren, maar je hebt hem een kaart gegeven die er een beetje naast zit. Misschien zegt de kaart dat een muur van glas is, terwijl het eigenlijk baksteen is, of denkt de robot dat een kortere route naar de uitgang leidt, terwijl het in werkelijkheid een doodlopende weg is. Dit is de wereld van "misspecified learning" (foutief gespecificeerd leren). In de wetenschap en economie gaan we er vaak van uit dat als we een slim systeem genoeg data geven, het uiteindelijk de waarheid zal ontdekken en stopt met het maken van fouten. Dit idee rust op het concept van "Bayesiaans leren", waarbij een systeem zijn overtuigingen bijstelt op basis van nieuw bewijs, zoals een detective die aanwijzingen verzamelt om een zaak op te lossen. Normaal gesproken verwachten we dat de detective met genoeg aanwijzingen naar de ene ware verdachte zal wijzen. Maar wat gebeurt er als de detective een gebrekkige theorie gebruikt over hoe de wereld werkt? Leert de robot uiteindelijk het juiste pad, of raakt hij gevangen in een lus van verwarring? Deze vraag is belangrijk omdat vandaag de dag alles, van algoritmen voor online winkelen tot overheidsbeslissingen, vertrouwt op deze leersystemen. Als ze vast komen te zitten in een lus, kunnen de gevolgen dure prijzen, slechte aanbevelingen of ineffectieve wetten zijn.

Dit artikel, geschreven door onderzoekers Xinyu Dai, Daniel Chen en Yian Qian, duikt diep in wat er gebeurt wanneer een leersysteem een specifieke, populaire strategie gebruikt die "Thompson Sampling" wordt genoemd, terwijl zijn interne kaart foutief is. Thompson Sampling is een slimme manier voor een robot om te leren: in plaats van alleen de optie te kiezen die hij op dit moment het beste vindt, probeert hij af en toe een andere optie uit, gewoon om te zien wat er gebeurt. Het is als een chefkok die meestal zijn favoriete gerecht kookt, maar af en toe een nieuw recept probeert om zijn vaardigheden scherp te houden. De auteurs wilden weten: als het receptenboek van de chef vol fouten zit, helpt dit "proefgedrag" hem dan om uiteindelijk de waarheid te vinden, of vangt het hem in een vreemde, eindeloze cyclus?

De onderzoekers ontdekten dat het antwoord volledig afhangt van hoe de foute recepten interageren met de echte ingrediënten. Ze ontdekten drie hoofdscenario's. Ten eerste is er de "Self-Confirming" (zelfbevestigende) valstrik. Stel je voor dat de robot gelooft dat een hoge prijs het beste is, en hij blijft hoge prijzen rekenen. Als de echte wereld toevallig goed oogt bij hoge prijzen (zelfs om de verkeerde reden), wordt de robot zelfverzekerd en verandert hij niet meer van gedrag. Hij legt zich voor altijd vast op één enkele strategie, wat de juiste kan zijn, of een permanente fout. Ten tweede is er het "Uniform Dominance" (uniforme dominantie) scenario, waarbij een van de foute modellen van de robot simpelweg duidelijk beter is dan de andere modellen in het verklaren van alles. In dit geval ontdekt de robot uiteindelijk welk model het "minst fout" is en houdt hij zich daaraan, wat convergeert naar een stabiele beslissing.

Maar de meest verrassende ontdekking is het derde scenario: de "Self-Defeating" (zelfvernietigende) lus. Dit gebeurt wanneer de foute modellen van de robot zo verraderlijk zijn dat elke keer dat hij probeert te bewijzen dat er één juist is, de resultaten juist bewijzen dat het fout is. Bijvoorbeeld, als de robot denkt dat een hoge prijs het beste is, rekent hij hoge prijzen. Maar de data van die hoge prijzen zorgen ervoor dat de robot denkt: "Wacht, misschien is een lage prijs beter!" Dus schakelt hij over naar een lage prijs. Maar dan maken de data van de lage prijs hem weer denken: "Nee, een hoge prijs was beter!" De robot eindigt met het heen en weer pendelen tussen beide. De auteurs laten zien dat in deze specifieke opstelling de robot nooit tot rust komt. Zelfs met een oneindige hoeveelheid data stopt hij nooit met gissen. In plaats van één enkel antwoord te vinden, vallen zijn overtuigingen uiteen in een permanente, ritmische dans van onzekerheid.

Het artikel bewijst wiskundig dat dit "Self-Defeating" gedrag niet zomaar een glitch is; het is een stabiele staat waarin het systeem blijft experimenteren. Dit is een grote zaak omdat het de oude opvatting uitdaagt dat "meer data altijd leidt tot zekerheid". De auteurs laten zien dat als een leeralgoritme is ontworpen om te blijven experimenteren (zoals Thompson Sampling doet), en de wereld op een specifieke manier wordt misbegrepen, het systeem nooit zal stoppen met fluctueren. Het zal steeds van gedachten veranderen, wat leidt tot constante veranderingen in gedrag — zoals een bedrijf dat zijn prijzen eindeloos op en neer blijft aanpassen, niet omdat de markt verandert, maar omdat het leeralgoritme vastzit in een lus van zelftwijfel. De onderzoekers hebben dit idee ook uitgebreid naar situaties met veel meer modellen, waarbij ze lieten zien dat hoewel deze lussen kunnen voorkomen, ze vaak worden "gesnoeid" tot eenvoudigere lussen of enkele keuzes naarmate het systeem complexer wordt, tenzij de omstandigheden precies goed zijn om de chaos levend te houden.

Kortom, dit artikel vertelt ons dat "slim" en "nieuwsgierig" zijn niet altijd genoeg is om de waarheid te vinden. Als je uitgangspunten op een specifieke manier fout zijn, kan je nieuwsgierigheid je er zelfs van weerhouden om ooit tot een beslissing te komen. De robot zal misschien nooit stoppen met nieuwe dingen proberen, niet omdat hij leert, maar omdat het proces van leren hem juist steeds verder weg van het antwoord duwt. Dit suggereert dat we voor systemen die echte beslissingen nemen, voorzichtig moeten zijn met hoe we hun leerregels ontwerpen, want soms is de beste manier om te leren juist om te stoppen met gissen en te beginnen met het vertrouwen op een simpelere, stabielere aanpak.

Technische Samenvatting: Dynamische Besluitvorming onder Model-misspecificatie

Probleemstelling
Dit artikel onderzoekt de langetermijngevolgen van dynamische besluitvorming wanneer actoren vertrouwen op online leeralgoritmen (specifiek Thompson Sampling) binnen gespecificeerde modelklassen. In veel economische en algoritmische settings—zoals bedrijven die de vraag leren begrijpen, platforms die betrokkenheid optimaliseren, of beleidsmakers die behandelingen evalueren—vormen de acties van de besluitvormer de data die beschikbaar is voor het leerproces. Wanneer het parametrische model van de actor over de omgeving misspecificeerd is (d.w.z. het werkelijke datagenereerende proces is niet opgenomen in de kandidaat-modelset), kan de interactie tussen endogene datageneratie en onjuiste overtuigingen complexe, niet-convergerende dynamieken produceren.

Terwijl de bestaande literatuur convergentie naar stabiele uitkomsten zoals Berk-Nash-evenwichten of pseudo-ware parameters karakteriseert onder deterministische best-response regels, blijft het gedrag van posterior-sampling algoritmen (die endogene exploratie induceren) onder misspecificatie slecht begrepen. De centrale vraag is: Wat zijn de langetermijn-overtuigingsdynamieken geïnduceerd door Thompson Sampling onder misspecificatie, en hoe beïnvloeden deze dynamieken actiefrequenties en regret?

Methodologie
De auteurs maken gebruik van een stochastisch stabiliteitskader om het posterior-overtuigingsproces te analyseren als een Markovketen op het overtuigingssimplex. De analyse verloopt in twee stadia:

Twee-armen, Twee-modellen Gaussische Bandit: Het artikel biedt eerst een volledige classificatie van de posterior-dynamiek in de eenvoudigste niet-triviale omgeving. De actor kiest tussen twee armen en observeert beloningen getrokken uit een ware distributie $g$ , terwijl hij gelooft dat de beloningen een van de twee misspecificeerde Gaussische modellen ( $\nu$ of $\gamma$ ) volgen. De dynamiek wordt beheerst door het log-odds proces $S_t = \log(\pi_t / (1-\pi_t))$ . De auteurs karakteriseren het asymptotische gedrag op basis van twee primitieven:
- Modelovereenstemming: Of de twee modellen dezelfde optimale actie aanbevelen.
- Log-likelihood Drift ( $\Delta_i$ ): De verwachte log-likelihood ratio increment onder elke actie $i$ , gedefinieerd als $\Delta_i = E[\log(f_\nu/f_\gamma) | A_t=i]$ . Dit meet welke model dichter bij de ware datagenereerende procedure ligt in termen van de Kullback-Leibler (KL) divergentie wanneer actie $i$ wordt uitgevoerd.
Algemene Eindige Modelklassen: De analyse wordt uitgebreid naar $M$ modellen en willekeurige actiesets. De evolutie van de posterior wordt behandeld als een Markovproces op het $(M-1)$ -dimensionale simplex. De auteurs maken gebruik van de theorie van algemene toestands-Markovketens (Meyn en Tweedie, 1993; Khasminskii, 2012) om condities voor ergodiciteit versus transiëntie vast te stellen. Belangrijke instrumenten zijn:
- Log-odds Representatie: Transformatie van het posterior-proces naar een additieve random walk met toestand-afhankelijke drift: $S_{t+1} = S_t + \xi(S_t) + \epsilon_t$ .
- Drift Geometrie: Analyse van het vectorveld van de voorwaardelijke drift $\xi(S)$ , wat een convexe combinatie is van vertex drift-vectoren $d(a_j)$ (de verwachte log-likelihood increments wanneer de geprefereerde actie van model $j$ wordt genomen).
- Lyapunov Functies: Afleiding van voldoende voorwaarden voor stabiliteit met behulp van een "hoekconditie" (drift wijst naar een intern fixpunt) en een "spectrale conditie" (analyse van de symmetrische deel van de driftmatrix $G$ ten opzichte van een softmax-potentiaal).
- Recursieve Dimensionaliteitsreductie: Wanneer overtuigingen naar de rand van het simplex driften (modeleliminatie), erven de dynamieken op de resulterende lager-dimensionale zijden dezelfde structurele vorm, wat inductieve analyse mogelijk maakt.

Kernresultaten en Classificatie
Het artikel biedt een volledige classificatie van langetermijnregimes op basis van de interactie tussen model-actie mapping en statistisch bewijs.

1. De Twee-armen Casus:
Drie kwalitatieve regimes ontstaan wanneer modellen verschillen van mening over de optimale actie:

Zelfbevestigend Regime ( $\Delta_1 > 0 > \Delta_2$ ): Elk model wordt ondersteund door data van de arm die het aanbeveelt. De posterior convergeert naar een van de twee rand-vertices (concentratie op ofwel model $\nu$ of $\gamma$ ). De selectie is pad-afhankelijk en random, bepaald door vroege likelihood-schokken. De limiterende uitkomsten zijn strikte Berk-Nash evenwichten.
Uniform-Dominantie Regime ( $\Delta_1, \Delta_2 > 0$ ): Eén model is dichter bij de waarheid onder beide acties. De posterior convergeert bijna zeker naar dit superieure model, waardoor de andere geëlimineerd wordt.
Zelfvernietigend Regime ( $\Delta_1 < 0 < \Delta_2$ ): Elk model wordt ondermijnd door data van zijn eigen aanbevolen arm. De posterior convergeert niet naar een punt. In plaats daarvan convergeert het in distributie naar een unieke, niet-degeneratieve stationaire maat $\mu$ in het binnenste $(0,1)$ . Dit resulteert in persistente stochastische oscillatie tussen modellen en acties, zelfs met oneindige data.

2. Implicaties voor Regret:

In het Zelfvernietigende regime incasseert de actor lineaire regret omdat de posterior fluctueert in het binnenste, wat leidt tot een positieve langetermijnfrequentie van suboptimale acties.
In het Zelfbevestigende regime is de regret lineair als de posterior concentreert op het onjuiste model (dat de verkeerde arm aanbeveelt), maar nul als het concentreert op het juiste model.
In Uniform-Dominantie is de regret nul als het dominante model correct is, of lineair als het incorrect is.

3. Algemene Multi-Model Setting:
De auteurs stellen voldoende voorwaarden vast voor de posterior om ergoidisch (stochastisch stabiel in het binnenste) of transiënt (driften naar de rand) te zijn:

Interne Ergodiciteit: Vereist een intern fixpunt van de mean-field drift (het nulpunt ligt in de convexe huls van de drift-vectoren) en ofwel de Hoekconditie (drift wijst naar binnen) of de Spectrale Conditie (de symmetrische deel van de driftmatrix is negatief definit en de ruis is voldoende klein).
Transiëntie: Treedt op als het nulpunt buiten de convexe huls van de drift-vectoren ligt, of als de spectrale conditie instabiliteit aangeeft. In gevallen van transiëntie verschuift de posterior-massa naar lager-dimensionale zijden, waarbij modellen recursief worden geëlimineerd totdat het landt op een vertex of een lager-dimensionaal ergodisch vlak.
Hoog-dimensionaal Gedrag: In hoog-dimensionale settings met random drift-vectoren neemt de waarschijnlijkheid van het bestaan van een intern fixpunt exponentieel af, wat suggereert dat recursieve dimensionaliteitsreductie en convergentie naar lager-dimensionale vlakken of vertices de generieke uitkomsten zijn.

Betekenis en Bijdragen
Het artikel claimt drie primaire bijdragen te leveren:

Volledige Dynamische Classificatie: Het biedt de eerste volledige karakterisering van posterior-dynamieken onder Thompson Sampling met model-misspecificatie. In tegenstelling tot eerder werk dat zich richt op convergentie naar punt-schattingen (Berk-Nash evenwichten), identificeert dit artikel een regime waarin overtuigingen falen om naar een punt te convergeren, maar in plaats daarvan convergeren naar een niet-degeneratieve invariante distributie.
Endogene Exploratie vs. Deterministische Regels: Het artikel benadrukt dat de ingebouwde randomisatie van Thompson Sampling interacteert met misspecificatie om dynamieken te produceren die onmogelijk zijn onder deterministische best-response regels. Specifiek genereert het "zelfvernietigende" regime persistente beleidsvariatie en stochastische cycli die niet zouden voorkomen als de actor puur myoop of deterministisch zou zijn.
Diagnostisch Kader: De auteurs bieden een hanteerbaar, testbaar kader (gebaseerd op het tekenpatroon van log-likelihood drifts en drift-geometrie) voor beoefenaars om te diagnosticeren of een leersysteem zal convergeren, cyclen of modellen zal elimineren. Dit maakt de voorspelling van langetermijnwelvaart en regret-uitkomsten mogelijk op basis van de structurele eigenschappen van de misspecificeerde modelklasse.

Het artikel concludeert dat onder misspecificatie de standaard intuïtie dat Bayesiaans leren uiteindelijk "tot rust komt" of "het goed krijgt" fundamenteel kan falen. Wanneer beslisregels de data genereren waaruit zij leren, kan de feedbackloop een persistente onzekerheid en beleidsvariatie in stand houden.

Technische Samenvatting: Dynamische Besluitvorming onder Model-misspecificatie

Meer zoals dit