Not all uncertainty is alike: volatility, stochasticity, and exploration

Technische Samenvatting: Niet alle onzekerheid is gelijk: volatiliteit, stochasticiteit en exploratie

Probleemstelling
Adaptieve besluitvorming in zowel biologische als kunstmatige intelligentie vereist een afweging tussen het benutten van bekende uitkomsten en het verkennen van onzekere alternatieven. Hoewel eerdere studies er algemeen van uitgaan dat een toename van onzekerheid leidt tot meer exploratie (bijvoorbeeld via Upper Confidence Bound of Thompson Sampling), behandelt deze visie alle bronnen van onzekerheid als equivalent. Dit artikel richt zich op omgevingen waarin onzekerheid voortkomt uit twee verschillende bronnen: volatiliteit (latente beloningsstaten die in de tijd veranderen) en stochasticiteit (ruisachtige waarnemingen van die staten). Beide bronnen vergroten de posterior-onzekerheid, maar standaardalgoritmen maken geen onderscheid tussen hen en schrijven in beide gevallen meer exploratie voor. Het kernprobleem is dat deze uniforme voorschrift suboptimaal is: volatiliteit creëert kansen voor informatiewinst, terwijl stochasticiteit de kwaliteit van informatie verslechtert.

Methodologie
De auteurs benaderen dit probleem via twee voornaamste theoretische perspectieven:

1. Uitbreiding van het Gittins-indexkader:
   De auteurs breiden het klassieke Gittins-indexkader uit, dat traditioneel wordt toegepast op onafhankelijke en identiek verdeelde (iid) Gaussische bandieten, naar Gaussische state-space bandieten met latente dynamiek. In deze setting heeft elke arm een latente beloningsstaat $x_t$ die evolueert als een Gaussische random walk met innovatievariantie $v$ (volatiliteit) en wordt waargenomen via ruis met variantie $s$ (stochasticiteit).

   • Zij formaliseren de exploratiebonus als de waarde van informatie afgeleid uit het "pensioenprobleem" (een agent die kiest tussen het trekken van een arm of met pensioen gaan voor een vast salaris).
   • Zij bewijzen dat de optimale exploratiebonus monotoon toeneemt met volatiliteit ($v$) en monotoon afneemt met stochasticiteit ($s$). Dit wordt vastgesteld via koppelargumenten: een ruiziger waarnemingskanaal beperkt de set van beschikbare stopregels (wat de waarde verlaagt), terwijl hogere volatiliteit de spreiding van toekomstige posterior-middelpunten vergroot, waardoor de optiewaarde van trekken toeneemt (wat de waarde verhoogt).

2. Afleiding van CAUSE (Control-as-Inference):
   Wetende dat de Gittins-index alleen optimaal is voor "rustige" bandieten (waarbij niet-geselecteerde armen niet evolueren) en onhandelbaar is voor "rusteloze" settings, leiden de auteurs een praktische, gesloten-vorm strategie af met behulp van het control-as-inference-kader.

   • Zij stellen actiekeuze voor als posterior-inferentie in een probabilistisch grafisch model, geconditioneerd op toekomstige optimaliteit.
   • Door een sigmoid-ansatz voor het achterwaartse bericht te gebruiken en probit-benaderingen voor Gaussische-sigmoid convoluties toe te passen, leiden zij CAUSE af (Cause-Aware Uncertainty-Sensitive Exploration).
   • CAUSE decomposeert in een benuttermijn (huidig gemiddelde) en een exploratiebonus die expliciet afhankelijk is van zowel $v$ als $s$, en erft de tegenovergestelde monotonieën die door de Gittins-analyse zijn vastgesteld.

Belangrijkste Bijdragen

1. Theoretische Asymmetrie: Het artikel bewijst formeel dat optimale exploratiebonussen toenemen met volatiliteit maar afnemen met stochasticiteit. Dit daagt de standaardveronderstelling uit dat "meer onzekerheid gelijkstaat aan meer exploratie".
2. CAUSE-index: De afleiding van CAUSE, de eerste bekende gesloten-vorm indexstrategie voor rusteloze bandieten met continue-state Gaussische dynamiek. Deze is afgeleid via control-as-inference en vertrouwt niet op de benaderingen die typisch zijn voor Whittle's index of dynamische programmering op belief-state MDP's.
3. Gedifferentieerd perspectief op leren en exploratie: De auteurs tonen aan dat de tegenovergestelde effecten van volatiliteit en stochasticiteit op exploratie parallel lopen aan hun bekende effecten op leersnelheden. Beide fenomenen vloeien voort uit dezelfde normatieve eigenschappen van het generatieve model: volatiliteit maakt nieuwe waarnemingen relevant, terwijl stochasticiteit ze onbetrouwbaar maakt.
4. Lesie-analyse en pathologische inferentie: Het artikel modelleert "gelesioneerde" agenten die er niet in slagen om één ruisbron correct te infereren. Het voorspelt dat dergelijke fouten omgekeerde (in plaats van slechts verminderde) gedragspatronen opleveren. Bijvoorbeeld, een agent die ongevoelig is voor stochasticiteit zal over-exploreren in omgevingen met hoge ruis (door ruis te verwarren met drift), terwijl een agent die ongevoelig is voor volatiliteit onder-exploreren zal in veranderende omgevingen.

Experimentele Resultaten
De auteurs evalueren CAUSE tegenover Thompson Sampling, UCB, Predictive Sampling en een numerieke Gittins-per-arm-baseline in verschillende regimes:

• Heterogene rusteloze bandieten: In gemengde, stochasticiteit-dominante en volatiliteit-dominante regimes behaalt CAUSE de laagste cumulatieve regret. Opvallend is dat in het stochasticiteit-dominante regime CAUSE en de Gittins-per-arm-baseline correct exploratie van armen met hoge ruis afwegen, terwijl UCB en Thompson Sampling aanzienlijk hogere regret incasseren door posterior-variantie als een enkele grootheid te behandelen.
• Bonusstructuur: De gesloten-vorm bonus van CAUSE volgt nauwkeurig de vorm van de optimale Gittins-bonus over verschillende orde van grootte van stochasticiteit, terwijl UCB ongevoelig blijft voor stochasticiteit.
• Validatie van de rustige limiet: In de limiet waar volatiliteit nul is ($v=0$), is de prestatie van CAUSE statistisch niet te onderscheiden van de numeriek berekende optimale Gittins-index, wat de nauwkeurigheid van de control-as-inference-benaderingen valideert.
• Lesie-analyse: Simulaties bevestigen dat agenten met verkeerd gekalibreerde ruis-priors de voorspelde omgekeerde exploratiegedragingen vertonen (bijvoorbeeld: agenten die blind zijn voor stochasticiteit over-exploreren naarmate de ware stochasticiteit toeneemt).

Betekenis en Claims
Het artikel claimt een verenigde normatieve rekening te bieden van hoe verschillende bronnen van onzekerheid exploratie moeten sturen. De primaire betekenis ligt in:

• Correctie van een fundamenteel gebrek: Het toont aan dat standaard exploratiestrategieën structureel suboptimaal zijn in omgevingen met heterogene ruisstructuren, omdat ze volatiliteit en stochasticiteit verwarren.
• Computational Psychiatry: Het kader biedt een concreet gedragsdoel voor het onderzoeken van psychiatrische aandoeningen (bijvoorbeeld angst, psychose, depressie). Het suggereert dat pathologisch gedrag niet alleen "verminderde" exploratie kan zijn, maar "omgekeerde" exploratie, waarbij de richting van de fout afhangt van welke ruis-inferentiekanaal (volatiliteit versus stochasticiteit) verkeerd gekalibreerd is.
• Methodologische vooruitgang: Het vestigt control-as-inference als een haalbare route tot het afleiden van hanteerbare, gesloten-vorm indices voor rusteloze bandietproblemen, een setting waar optimale strategieën over het algemeen onhandelbaar zijn.

De auteurs blijven bescheiden wat betreft de reikwijdte, en merken op dat de gesloten-vorm CAUSE-index afhankelijk is van Gaussische conjugatie en specifieke benaderingen (probit/sigmoid), en hoewel de directionele voorspellingen mogelijk generaliseren, de exacte vorm niet mechanisch overdraagbaar is naar niet-Gaussische of change-point-dynamiek.