A Financial Brain Scan of the LLM

Technische Zusammenfassung: Ein Finanz-Brain-Scan von Large Language Models (LLMs)

Autoren: Hui Chen, Antoine Didisheim, Mohammad (Mo) Pourmohammadi, Luciano Somoza, Hanqing Tian
Datum: Februar 2026

---

1. Problemstellung

Die Forschung im Bereich der Künstlichen Intelligenz (KI) wächst rasant, und Large Language Models (LLMs) werden zunehmend in der Finanzanalyse, im Trading und in der ökonomischen Forschung eingesetzt. Trotz ihrer Leistungsfähigkeit bestehen zwei wesentliche Probleme für Forscher:

1. Mangelnde Interpretierbarkeit: LLMs sind aufgrund ihrer Größe und Dichte „Black Boxes". Ihre internen Repräsentationen sind hochdimensional und verflochten, was es unmöglich macht, nachzuvollziehen, welche Konzepte ihre Entscheidungen steuern.
2. Versteckte Verzerrungen (Biases): LLMs enthalten schwer identifizierbare Vorurteile (z. B. eine Tendenz zu optimistischen Ausgaben), die die Ergebnisse von Studien verzerren können.

Es besteht ein dringender Bedarf an Methoden, die Transparenz schaffen und das Verhalten von Modellen gezielt steuern können, ohne deren Leistungsfähigkeit zu beeinträchtigen.

---

2. Methodik: Sparse Auto-Encoder (SAE)

Das Paper stellt eine Methode vor, die auf Sparse Auto-Encodern (SAEs) basiert, um die „Gedankenprozesse" eines LLMs sichtbar und steuerbar zu machen.

• Grundprinzip: Anstatt das gesamte LLM neu zu trainieren, wird ein SAE als „Plug-in" auf die Residual-Streams (die internen Zustandsvektoren zwischen den Transformer-Schichten) eines vortrainierten LLMs (hier: Gemma-2-9B-IT) angewendet.
• Architektur:
  • Der Encoder bildet den dichten Residual-Stream $r^{(l)}$ auf einen hochdimensionalen, aber dünnbesetzten (sparse) latenter Vektor $z^{(l)}$ ab.
  • Der Decoder rekonstruiert den ursprünglichen Stream aus diesem Vektor.
  • Ein Sparsity-Penalty ($\ell_1$-Norm) im Loss-Funktion erzwingt, dass für jeden Input nur wenige Features aktiv sind. Dies führt zu einer Entflechtung (Disentanglement), bei der einzelne Dimensionen spezifische, interpretierbare Konzepte repräsentieren.
• Feature-Labeling: Die aktiven Features werden durch Analyse der Texte identifiziert, die sie am stärksten aktivieren (ähnlich wie ein Hirnscan, der Regionen bei bestimmten Reizen „leuchten" lässt). Diese Features werden mit semantischen Labels versehen (z. B. „negative Sentiment", „Finanzrisiko", „Zeitangaben").
• Steering (Lenkung): Forscher können die Aktivierung spezifischer Features manuell erhöhen oder senken, indem sie einen Perturbationsvektor zum Residual-Stream hinzufügen. Dies verändert die Wahrscheinlichkeitsverteilung der nächsten Tokens und steuert so das Output-Verhalten (z. B. hin zu mehr Risikovermeidung oder Pessimismus), während alle anderen Parameter konstant bleiben.

---

3. Wichtige Beiträge

Das Paper leistet zwei wesentliche methodische Beiträge:

1. Interpretierbare Embeddings: Entwicklung einer Methode, um SAE-Features in ökonomisch relevante Cluster zu gruppieren, um die Treiber von LLM-Vorhersagen zu verstehen, ohne die Vorhersagegenauigkeit zu opfern.
2. Bias-Korrektur und Simulation: Demonstration, wie Steering genutzt werden kann, um systematische Verzerrungen in LLMs zu korrigieren oder simulierte Agenten mit konfigurierbaren Präferenzen (z. B. unterschiedliche Risikoaversion) zu erstellen.

---

4. Ergebnisse

A. Leistung und Interpretierbarkeit (Portfolio-Strategien)

• Daten: Reuters-Nachrichtenartikel (2015–2024) zu US-Unternehmen.
• Vorhersagekraft: Die SAE-basierten Embeddings übertreffen den aktuellen State-of-the-Art (dichte Embeddings der letzten Schicht nach Chen et al., 2022).
  • Sharpe-Ratio der SAE-Strategie: 5,51 vs. Benchmark: 4,91.
  • Schon mit nur den 5 wichtigsten Features wird eine Sharpe-Ratio von 3,34 erreicht; die Leistung steigt mit der Anzahl der Features („Virtue of Complexity").
• Feature-Analyse: Durch K-Means-Clustering der Feature-Labels wurden 17 ökonomische Cluster identifiziert (z. B. Sentiment, Finance/Markets, Technical Analysis, Temporal Concepts).
  • Sentiment ist der wichtigste Treiber.
  • Zeitliche Konzepte haben einen hohen marginalen Beitrag (Shapley-Wert), aber eine niedrige Eigenleistung, da sie als Kontext für die Richtung des Sentiments dienen.
  • Quantitative Features zeigen eine geringe Vorhersagekraft, was auf die Schwäche von LLMs im quantitativen Reasoning hinweist.

B. Bias-Erkennung und Korrektur

• Optimismus-Bias: LLMs neigen dazu, Nachrichten zu positiv zu interpretieren.
  • Eine Strategie, die auf den Baseline-LLM-Vorhersagen basiert, erzielt eine Sharpe-Ratio von 3,87.
  • Durch negatives Steering (gezielte Dämpfung des „Positivitäts"-Features) steigt die Sharpe-Ratio signifikant auf 4,28.
  • Dies beweist, dass LLMs einen systematischen Optimismus-Bias haben, der durch Steering korrigiert werden kann.

C. Steuerung von Präferenzen (Steering Experiments)

• In Experimenten zur Portfolio-Allokation (z. B. Aufteilung von 100 $ zwischen Anleihen und S&P 500) zeigte sich eine monotone Reaktion:
  • Erhöhte Aktivierung des Features „Financial Risk" führte zu einer stärkeren Allokation in sichere Anlagen (höhere Risikoaversion).
  • Erhöhte Aktivierung von „Wealth" führte zu risikofreudigerem Verhalten.
• Dies ermöglicht die Simulation von Agenten mit spezifischen, kontrollierten Präferenzen ohne Neutrainieren des Basismodells.

---

5. Bedeutung und Implikationen

• Transparenz: Die Methode verwandelt LLMs von undurchsichtigen Black Boxes in transparente Werkzeuge, bei denen Forscher genau wissen, welche Konzepte (z. B. Sentiment, Timing) eine Vorhersage antreiben.
• Wissenschaftliche Methode: Sie bietet einen Weg, kontrollierte Experimente in den Sozialwissenschaften durchzuführen, indem man nur eine Variable (z. B. Risikobereitschaft) ändert und andere konstant hält.
• Praktische Anwendung: Für Finanzanwendungen kann Steering genutzt werden, um Bias zu eliminieren und robustere Handelsstrategien zu entwickeln.
• Ressourceneffizienz: Da das Basismodell nicht neu trainiert werden muss, ist die Methode rechnerisch effizient und für die empirische Forschung leicht replizierbar.

Fazit: Das Paper demonstriert, dass durch die Integration von Sparse Auto-Encodern LLMs nicht nur leistungsfähiger interpretierbar werden, sondern auch präzise steuerbar sind. Dies öffnet neue Türen für die ökonomische Forschung, indem es die „Gedanken" der KI sichtbar macht und manipuliert werden können.