💰 quantitative finance

Emergent Latent-State Computation under Stochastic Volatility

Diese Arbeit zeigt, dass Sequenzmodelle, die auf Daten mit stocholischer Volatilität trainiert wurden, interpretierbare, zweistufige interne Mechanismen entwickeln, um latente Volatilitätszustände zu kodieren und Renditen vorherzusagen, was offenlegt, dass die Leistungsverschlechterung unter verrauschtem Training oft auf eine Fehlausrichtung des Readouts statt auf ein Versagen der Repräsentation zurückzuführen ist.

Ursprüngliche Autoren: Xiaoyu Huang, Lulu Wang

Veröffentlicht 2026-07-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiaoyu Huang, Lulu Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das geheime Leben der KI: Dem Unsichtbaren lauschen

Stellen Sie sich vor, Sie versuchen, das Wetter vorherzusagen. Sie können die Wolken sehen, den Wind spüren und den Regen messen, aber Sie können die unsichtbaren Luftdrucksysteme nicht sehen, die meilenweit über Ihrem Kopf wirbeln und tatsächlich den Sturm verursachen. In der Welt der künstlichen Intelligenz versuchen Wissenschaftler zu verstehen, wie Computergehirne (genannt neuronale Netze) die Welt begreifen. Normalerweise testen sie diese Gehirne an einfachen, eindeutigen Rätseln, bei denen die Antwort offensichtlich ist, wie etwa beim Lösen einer Matheaufgabe oder beim Vervollständigen eines Satzes. Aber die reale Welt ist chaotisch. Oft sind die wichtigsten Informationen verborgen, verrauscht oder verändern sich auf unvorhersehbare Weise. Hier kommt ein Feld namens „mechanistische Interpretierbarkeit“ ins Spiel. Es ist, als wäre man ein Detektiv für KI: Anstatt nur zu fragen: „Was hat die KI vorhergesagt?“, fragen wir: „Wie hat die KI es herausgefunden?“ und „Welche geheimen Hinweise hat sie in ihrem eigenen Gehirn gefunden?“ Dieses Paper taucht in eine knifflige Version dieser Detektivarbeit ein und untersucht, wie KI mit Finanzdaten umgeht, bei denen die wahre „Volatilität“ (wie wild der Markt ist) ein verborgener, sich verändernder Geist ist, den die KI nur erahnen kann, indem sie die verrauschten Zahlen auf dem Bildschirm beobachtet.

Das Paper: Die KI lehren, den unsichtbaren Geist zu sehen

In dieser Studie haben die Forscher Xiaoyu Huang und Lulu Wang einen digitalen Spielplatz geschaffen, um zu sehen, ob kleine KI-Modelle lernen können, einen verborgenen Geist zu „sehen“. Sie erschufen eine Simulation eines Aktienmarktes mit sechs verschiedenen Vermögenswerten. In ihrer Welt ist die tatsächliche „Volatilität“ (wie stark die Preise schwanken) ein verborgener Zustand, der sich im Laufe der Zeit verändert, wie ein Geist, der durch ein Haus zieht. Die KI kann nur die „Renditen“ (die Preisänderungen) sehen, die verrauscht und verschwommen sind – so als würde man versuchen, zu erraten, wo der Geist ist, indem man nur das Knarren der Dielen hört. Das Ziel war einfach: Konnte die KI die nächste Preisschwankung vorhersagen, indem sie zuerst herausfand, wo sich der verborgene Geist befand?

Die Forscher trainierten zwei Arten von KI-Gehirnen: ein einfaches (ein MLP), das jede Aktie separat betrachtet, und ein komplexeres (einen Transformer), das beobachten kann, wie die Aktien miteinander kommunizieren. Sie fanden heraus, dass beide Arten von KI einen cleveren Zwei-Schritte-Trick lernten. Erstens baute das „verborgene Gehirn“ der KI (die mittleren Schichten) erfolgreich eine mentale Landkarte des Standorts des unsichtbaren Geistes auf. Zweitens nutzte der „Ausgabemund“ der KI (die letzte Schicht) diese Landkarte, um die nächste Preisschwankung zu erraten. Es ist, als hätte die KI zuerst gelernt, den Geist zu verfolgen, und nutzte dieses Tracking dann, um den Sturm vorherzusagen.

Aber hier wird es wirklich interessant. Die Forscher entdeckten, dass die Art und Weise, wie der Transformer diesen Trick lernte, davon abhing, wie schnell sich der Geist bewegte.

Langsame Geister (lange Zyklen): Wenn sich die Volatilität sehr langsam änderte (wie eine langsame, träge Welle), fand der Transformer eine super-einfache Abkürzung. Er verwandelte die Rohdaten mithilfe eines mathematischen „Filters“ (eine lineare Projektion gefolgt von einem Normalisierungsschritt) in eine spezifische Form und – voilà – der Standort des Geistes war plötzlich klar. Es war, als hätte die KI eine magische Linse gefunden, die das verschwommene Bild sofort scharf stellt.
Schnelle Geister (kurze Zyklen): Wenn sich die Volatilität schnell änderte, brauchte die KI mehr Hilfe. Sie musste ihren „Attention“-Mechanismus (beobachten, wie Aktien interagieren) und ihre internen „Denkschichten“ nutzen, um das Puzzle zusammenzusetzen.
Der „Geist“ vs. der „Übersetzer“: Die Studie fand auch einen lustigen Fehler. Manchmal wusste das verborgene Gehirn der KI genau, wo der Geist war, aber der Teil der KI, der die endgültige Vorhersage traf (der Output Head), war etwas tollpatschig darin, dieses Wissen in eine Zahl zu übersetzen. Es war wie ein brillanter Detektiv, der die Identität des Mörders kennt, aber stolpert, wenn er den Bericht schreibt. Als die Forscher den tollpatschigen Reporter gegen einen besseren austauschten, verbesserten sich die Vorhersagen der KI erheblich, was bewies, dass die KI das Geheimnis eigentlich schon die ganze Zeit über gekannt hatte; sie brauchte nur einen besseren Weg, es auszudrücken.

Das Paper legt nahe, dass diese Finanzsimulationen ein fantastischer neuer Spielplatz für KI-Wissenschaftler sind. Im Gegensatz zu einfachen Rätseln, bei denen die Antwort direkt auf dem Papier steht, zwingen diese Modelle die KI zu „implizitem Filtern“ – zu erraten der verborgenen Wahrheit aus verrauschten Hinweisen, genau wie Menschen es in der realen Welt tun. Indem sie zeigen, dass KI in der Lage ist, diese verborgenen Zustände zu extrahieren und dass wir genau bestimmen können, wo und wie dies im Code geschieht, legen die Autoren nahe, dass wir der echten Erkenntnis der geheimen Leben unserer digitalen Gehirne immer näher kommen.

Technisches Resümee: Emergente latenter Zustandsberechnung unter stochastischer Volatilität

Problemstellung

Die Forschung zur mechanistischen Interpretierbarkeit hat sich überwiegend auf Sprachmodelle und deterministische synthetische Aufgaben konzentriert, bei denen die Zielberechnungen vollständig beobachtbar sind. Es besteht eine signifikante Lücke im Verständnis darüber, wie neuronale Sequenzmodelle intern latente stochastische Dynamiken in verrauschten, teilweise beobachtbaren Umgebungen repräsentieren.

Diese Arbeit adressiert diese Lücke unter Verwendung von Modellen stochastischer Volatilität (SV-Modelle) als kontrollierter Benchmark. In SV-Modellen sind die Renditen verrauschte Beobachtungen eines unobservierten latenten Log-Volatilitätszustands ( $h_t$ ). Im Gegensatz zu ARCH/GARCH-Modellen, bei denen die Volatilität eine deterministische Funktion vergangener Renditen ist, erfordern SV-Modelle, dass das Modell ein implizites Filtern durchführt, um verborgene Zustände aus verrauschten Daten abzuleiten. Die Herausforderung besteht darin, zu bestimmen, ob kleine neuronale Netze, die ausschließlich darauf trainiert sind, zukünftige quadrierte Renditen ( $r^2_{t+1}$ ) vorherzusagen, interne Repräsentationen des wahren latenten Volatilitätszustands ( $h_{t+1}$ ) rekonstruieren und wie diese Repräsentationen über die Netzwerkarchitektur hinweg emergieren.

Methodik

Experimenteller Aufbau

Datengenerierung: Die Autoren verwenden einen kontrollierten multivariaten stochastischen Volatilitätsprozess (MSV) mit $N=6$ Assets. Renditen ( $r_t$ ) werden als verrauschte Beobachtungen eines latenten Log-Volatilitätszustands ( $h_t$ ) generiert, der einem linearen Zustandsraummodell mit Cross-Asset-Spillovers folgt.
Aufgabe: Modelle werden trainiert, um die nächste quadrierte Rendite ( $y = r^2_{T+1}$ ) gegeben eine Historie von $T=21$ vergangenen Renditen vorherzusagen. Der wahre latente Zustand $h_{T+1}$ ist dem Forscher bekannt, aber für das Modell verborgen.
Architekturen:
- Transformer: Ein kompakter Encoder mit einer Schicht und einem Attention-Head. Assets werden als Token behandelt, wobei die Renditehistorien als Features dienen. Die Architektur umfasst lineares Embedding, $\ell_2$ -Normalisierung, Positional Embeddings, Self-Attention und ein Feed-Forward-Netzwerk (FFN) mit GELU-Aktivierung.
- MLP-Baseline: Ein dreischichtiges MLP, das die Historie jedes Assets unabhängig verarbeitet, um den Effekt von Attention-basierten Cross-Asset-Interaktionen zu isolieren.
Trainingsziele: Zwei Verlustfunktionen werden verglichen:
1. MSE: Mittlerer quadratischer Fehler (Mean Squared Error) der quadrierten Renditen (ein verrauschter Proxy für die bedingte Varianz).
2. NLL: Gaußsche negative Log-Likelihood, die theoretisch mit der Schätzung der bedingten Varianz übereinstimmt.

Analyseverfahren

Lineares Probing: Ridge-Regressions-Probes werden auf intermediäre verborgene Repräsentationen ( $z_i$ ) gefittet, um die lineare Dekodierbarkeit des latenten Zustands $h_{i, T+1}$ zu messen.
Stufenweise Analyse: Die Autoren verfolgen die Dekodierbarkeit ( $R^2$ ) in jeder architektonischen Stufe (Embedding, Normalisierung, Attention, FFN, Output), um zu identifizieren, wo latente Informationen emergieren.
Kausale Interventionen:
- Austausch des Output-Heads: Ersetzen des gelernten Output-Heads durch einen Probe-ausgerichteten Readout, um zu testen, ob die Verschlechterung der Vorhersage auf ein Versagen der Repräsentation oder eine Fehlausrichtung des Readouts zurückzuführen ist.
- Ablation der Aktivierung: Perturbation spezifischer Komponenten (z. B. Post- $\ell_2$ -Normalisierung), um die Downstream-Effekte auf die Dekodierbarkeit und den Vorhersagefehler zu messen.

Zentrale Ergebnisse

1. Robuste zweistufige latente Zustandsdekomposition

Über sowohl Transformer als auch MLPs hinweg, und unabhängig von Verlustfunktion oder Aktivierung, zeigen die Modelle eine konsistente zweistufige Berechnung:

Latente Inferenz: Verborgene Repräsentationen kodieren substanzielle Informationen über den nächsten latenten Volatilitätszustand ( $h_{T+1}$ ). Lineare Probes erreichen hohe $R^2$ -Werte (oft > 0,85) über verschiedene Architekturen hinweg.
Forecast Mapping: Der Output-Head bildet diese Repräsentation auf quadrierte Renditevorhersagen ab.

Beobachtung: Unter MSE-Training weist der gelernte Output-Head oft eine signifikant geringere Ausrichtung ( $R^2$ ) mit dem latenten Zustand auf als der Probe, selbst wenn der verborgene Zustand hochgradig dekodierbar ist. Dies deutest darauf hin, dass Fehler in der Vorhersage unter MSE oft aus einer Readout-Fehlausrichtung resultieren und nicht aus einem Versagen der Kodierung des latenten Zustands.

2. Stufenweise Emergenz in Transformern

Der Punkt, an dem die Dekodierbarkeit des latenten Zustands emergiert, hängt entscheidend von der Volatilitätsperiode ( $\omega$ ) ab:

Langzyklus-Regime ( $\omega \ge 365$ ): Die Dekodierbarkeit emergiert unmittelbar nach der $\ell_2$ -Normalisierung des linearen Embeddings. Die Repräsentation wird bereits vor der Verarbeitung durch Attention oder FFN weitgehend dekodierbar.
Intermediäres Regime ( $\omega \in \{30, 90\}$ ): Die Dekodierbarkeit erfordert eine zusätzliche Verfeinerung durch das FFN nach der Attention.
Kurzzyklus-Kontrolle ( $\omega = 21$ ): Die Dekodierbarkeit liegt nahe bei Null, bis Positional Embeddings hinzugefügt werden, wonach sie auf $\approx 1,0$ springt. Dies deutet darauf hin, dass das Modell in diesem spezifischen Regime eher auf Periodizitäts-Memorierung als auf dynamische Filterung setzt.
Vergleich: Das MLP zeigt eine weniger modulare, diffusere Emergenz der Dekodierbarkeit über die Schichten hinweg und besitzt nicht die scharfen, stagenspezifischen Übergänge, die bei Transformern beobachtet werden.

3. Explizite latente Filter in Langzyklus-Regimen

In Langzyklus-Regimen vereinfacht sich die Berechnung des Transformers zu einem expliziten Filter:
$\hat{h}_{i, t+1} \approx \text{RidgeProbe}\left( \frac{x_i W_{in}^\top}{\|x_i W_{in}^\top\|_2} \right)$
Dies indiziert, dass der Großteil der latenten Zustandsinformationen durch eine gelernte lineare Projektion gefolgt von $\ell_2$ -Normalisierung extrahiert wird. Kausale Ablation bestätigt, dass die Post- $\ell_2$ -Norm-Repräsentation die früheste Stufe ist, in der das latente Signal kausal relevant für das nachfolgende Forecasting wird; die Perturbation dieser Stufe führt zum größten Kollaps der Dekodierbarkeit.

Bedeutung und Ansprüche

Das Paper argumentiert, dass Modelle stochastischer Volatilität einen nützlichen Benchmark für die mechanistische Interpretierbarkeit unter verrauschten latenten Dynamiken und partieller Beobachtbarkeit bieten.

Schließung von Lücken: Im Gegensatz zu deterministischen Spielzeugaufgaben erfordern SV-Modelle implizite Zustandsinferenz, während der wahre Zustand dennoch für die Evaluierung verfügbar bleibt. Dies ermöglicht eine kontrollierte Untersuchung, wie neuronale Netze latente stochastische Strukturen repräsentieren, transformieren und nutzen.
Mechanistischer Einblick: Die Studie zeigt, dass selbst kompakte, kleine Transformer lernen können, eine implizite Filterung durchzuführen, die klassischen ökonometrischen Pipelines (Inferenz gefolgt von Prädiktion) ähnelt.
Interpretierbarkeit von Finanzmodellen: Die Ergebnisse legen nahe, dass Aufgaben der Vorhersage von Finanzzeitreihen als Brücke zwischen mechanistischer Interpretierbarkeit, Zeitreihenmodellierung und Zustandsraum-Inferenz dienen können, was ein Setting bietet, um zu untersuchen, wie neuronale Netze mit irreduzibler Unsicherheit umgehen.

Die Autoren bleiben hinsichtlich ihrer Ansprüche bescheiden und merken an, dass ihre Ergebnisse auf synthetischen Daten mit bekannten latenten Zuständen und kleinen Architekturen basieren. Sie behaupten nicht, dass diese Mechanismen direkt auf groß angelegte reale Finanzmodelle skalieren oder dass sie eine vollständige Circuit-Level-Erläuterung aller SV-Berechnungen liefern, sondern dass sie spezifische, interpretierbare emergente Mechanismen in kontrollierten Umgebungen identifiziert haben.