Not all uncertainty is alike: volatility, stochasticity, and exploration

Technisches Fazit: Nicht alle Unsicherheit ist gleich: Volatilität, Stochastizität und Exploration

Problemstellung
Adaptive Entscheidungsfindung sowohl in biologischer als auch in künstlicher Intelligenz erfordert eine Balance zwischen der Ausbeutung bekannter Ergebnisse und der Exploration unsicherer Alternativen. Während frühere Arbeiten allgemein davon ausgehen, dass erhöhte Unsicherheit zu verstärkter Exploration führt (z. B. über Upper Confidence Bound oder Thompson Sampling), betrachtet diese Sichtweise alle Unsicherheitsquellen als äquivalent. Dieser Beitrag adressiert Umgebungen, in denen Unsicherheit aus zwei unterschiedlichen Quellen entsteht: Volatilität (latente Belohnungszustände, die über die Zeit driften) und Stochastizität (verrauschte Beobachtungen dieser Zustände). Beide Quellen erhöhen die posteriore Unsicherheit, doch Standardalgorithmen scheitern daran, sie zu unterscheiden, und schreiben in beiden Fällen mehr Exploration vor. Das Kernproblem besteht darin, dass diese einheitliche Vorgabe suboptimal ist: Volatilität schafft Möglichkeiten für Informationsgewinn, während Stochastizität die Qualität der Information verschlechtert.

Methodik
Die Autoren nähern sich diesem Problem durch zwei primäre theoretische Perspektiven:

1. Erweiterung des Gittins-Index-Rahmens:
   Die Autoren erweitern den klassischen Gittins-Index-Rahmen, der traditionell auf unabhängige und identisch verteilte (iid) Gaußsche Banditen angewendet wird, auf Gaußsche Zustandsraum-Banditen mit latenten Dynamiken. In diesem Setting entwickelt sich jeder Arm als latenter Belohnungszustand $x_t$ als Gaußsche Random Walk mit Innovationsvarianz $v$ (Volatilität) und wird durch Rauschen mit Varianz $s$ (Stochastizität) beobachtet.

   • Sie formalisieren den Exploration-Bonus als den Wert der Information, der aus dem „Rentenproblem" (ein Agent wählt zwischen dem Ziehen eines Arms oder dem Ruhestand mit festem Gehalt) abgeleitet wird.
   • Sie beweisen, dass der optimale Exploration-Bonus monoton mit der Volatilität ($v$) ansteigt und monoton mit der Stochastizität ($s$) abnimmt. Dies wird mittels Kopplungsargumenten etabliert: Ein verrauschterer Beobachtungskanal schränkt die Menge verfügbarer Stoppregeln ein (Verringerung des Werts), während höhere Volatilität die Streuung zukünftiger posteriorer Mittelwerte erhöht und damit den Optionswert des Ziehens steigert (Erhöhung des Werts).

2. Herleitung von CAUSE (Control-as-Inference):
   Unter der Erkenntnis, dass der Gittins-Index nur für „ausgeruhte" Banditen (bei denen nicht gewählte Arme sich nicht entwickeln) optimal ist und für „unruhige" Settings unlösbar ist, leiten die Autoren eine praktische, geschlossene Policy mittels des Control-as-Inference-Rahmens ab.

   • Sie fassen die Aktionsauswahl als posteriore Inferenz in einem probabilistischen grafischen Modell auf, konditioniert auf zukünftige Optimalität.
   • Durch Anwendung eines Sigmoid-Ansatzes für die Rückwärtsnachricht und Verwendung von Probit-Näherungen für Gauß-Sigmoid-Faltungen leiten sie CAUSE (Cause-Aware Uncertainty-Sensitive Exploration) ab.
   • CAUSE zerfällt in einen Ausbeutungsterm (aktueller Mittelwert) und einen Exploration-Bonus, der explizit von beiden Größen $v$ und $s$ abhängt und die entgegengesetzten Monotonien übernimmt, die durch die Gittins-Analyse etabliert wurden.

Hauptbeiträge

1. Theoretische Asymmetrie: Der Beitrag beweist formal, dass optimale Exploration-Boni mit der Volatilität ansteigen, aber mit der Stochastizität abnehmen. Dies stellt die Standardannahme in Frage, dass „mehr Unsicherheit gleich mehr Exploration" bedeutet.
2. CAUSE-Index: Die Herleitung von CAUSE, der ersten bekannten geschlossenen Index-Policy für unruhige Banditen mit kontinuierlichen Gaußschen Zustandsdynamiken. Sie wird über Control-as-Inference abgeleitet und verzichtet auf die Näherungen, die für Whittle-Index oder dynamische Programmierung auf Glaubenszustands-MDPs typisch sind.
3. Vereinheitlichte Sicht auf Lernen und Exploration: Die Autoren zeigen, dass die entgegengesetzten Effekte von Volatilität und Stochastizität auf die Exploration parallel zu ihren bekannten Effekten auf Lernraten verlaufen. Beide Phänomene resultieren aus denselben normativen Eigenschaften des generativen Modells: Volatilität macht neue Beobachtungen relevant, während Stochastizität sie unzuverlässig macht.
4. Läsionsanalyse und pathologische Inferenz: Der Beitrag modelliert „lädierte" Agenten, die versagen, eine Rauschquelle korrekt zu inferieren. Er sagt voraus, dass solche Fehler zu umgekehrten (statt lediglich beeinträchtigten) Verhaltensmustern führen. Beispielsweise wird ein Agent, der gegenüber Stochastizität unempfindlich ist, in hochrauschenden Umgebungen überexplorieren (indem er Rauschen als Drift missversteht), während ein Agent, der gegenüber Volatilität unempfindlich ist, in sich verändernden Umgebungen unterexplorieren wird.

Experimentelle Ergebnisse
Die Autoren bewerten CAUSE gegenüber Thompson Sampling, UCB, Predictive Sampling und einer numerischen Gittins-per-Arm-Baseline über verschiedene Regime hinweg:

• Heterogene unruhige Banditen: In gemischten, stochastizitätsdominierten und volatilitätsdominierten Regimen erzielt CAUSE die niedrigste kumulative Reue. Bemerkenswerterweise gewichten CAUSE und die Gittins-per-Arm-Baseline im stochastizitätsdominierten Regime die Exploration von Armen mit hohem Rauschen korrekt herunter, während UCB und Thompson Sampling durch die Behandlung der posterior Varianz als einzelne Größe signifikant höhere Reue erleiden.
• Bonus-Struktur: Der geschlossene Bonus von CAUSE folgt über Größenordnungen der Stochastizität hinweg eng der Form des optimalen Gittins-Bonus, während UCB gegenüber Stochastizität unempfindlich bleibt.
• Validierung im ausruhenden Limit: Im Limit, in dem die Volatilität null ist ($v=0$), ist die Leistung von CAUSE statistisch nicht unterscheidbar vom numerisch berechneten optimalen Gittins-Index, was die Genauigkeit der Control-as-Inference-Näherungen validiert.
• Läsionsanalyse: Simulationen bestätigen, dass Agenten mit fehlkalibrierten Rauschpriors die vorhergesagten umgekehrten Explorationsverhaltensweisen zeigen (z. B. explorieren stochastizitätsblinde Agenten übermäßig, wenn die wahre Stochastizität zunimmt).

Bedeutung und Behauptungen
Der Beitrag beansprucht, eine vereinheitlichte normative Rechenschaft darüber zu liefern, wie verschiedene Unsicherheitsquellen die Exploration antreiben sollten. Seine primäre Bedeutung liegt in:

• Korrektur eines fundamentalen Fehlers: Er zeigt, dass Standard-Explorationsstrategien in Umgebungen mit heterogenen Rauschstrukturen strukturell suboptimal sind, da sie Volatilität und Stochastizität vermengen.
• Computational Psychiatry: Der Rahmen bietet ein konkretes verhaltenswissenschaftliches Ziel für die Untersuchung psychiatrischer Zustände (z. B. Angst, Psychose, Depression). Er legt nahe, dass pathologische Verhaltensweisen nicht nur „beeinträchtigte" Exploration sein könnten, sondern „umgekehrte" Exploration, wobei die Richtung des Fehlers davon abhängt, welcher Rausch-Inferenzkanal (Volatilität vs. Stochastizität) fehlkalibriert ist.
• Methodologischer Fortschritt: Er etabliert Control-as-Inference als gangbaren Weg zur Herleitung lösbarer, geschlossener Indizes für Probleme mit unruhigen Banditen, einem Setting, in dem optimale Policies im Allgemeinen unlösbar sind.

Die Autoren bleiben bezüglich des Umfangs bescheiden und weisen darauf hin, dass der geschlossene CAUSE-Index auf Gaußscher Konjugiertheit und spezifischen Näherungen (Probit/Sigmoid) beruht; während die Richtungsprognosen verallgemeinert werden könnten, überträgt sich die exakte Form nicht mechanisch auf nicht-Gaußsche oder Change-Point-Dynamiken.