Debiasing LLMs by Fine-tuning

Die vorgestellte Studie zeigt, dass eine kostengünstige und generalisierbare Methode zur Reduzierung von Extrapolationsverzerrungen in Large Language Models durch überwachtes Feinabstimmen mit Low-Rank Adaptation (LoRA) auf rationalen Prognosedaten erreicht werden kann, was in Experimenten und bei der Vorhersage von Aktienrenditen zu verbesserten, verzerrungsfreien Ergebnissen führt.

Das Wesentliche

Das Problem: Der KI-Optimist, der zu sehr auf den Trend setzt

Stell dir vor, du hast einen sehr intelligenten Roboter (eine große KI, genannt LLM), der alles über die Welt weiß. Er hat Millionen von Zeitungen, Finanzberichten und Foren gelesen. Aber es gibt ein Problem: Dieser Roboter hat einen schlechten Gewohnheitsfehler.

Wenn er die Zukunft vorhersagen soll (z. B. wie sich ein Aktienkurs entwickelt), neigt er dazu, zu sehr auf das zu setzen, was gerade passiert ist.

• Wenn eine Aktie gestern gestiegen ist, glaubt der Roboter, sie wird auch morgen und übermorgen steigen.
• Wenn sie gefallen ist, denkt er, sie wird abstürzen.

Das nennt man im Fachjargon „Extrapolations-Bias". In der echten Welt ist das oft falsch, weil Märkte sich meist wieder normalisieren (sie „mitteln" sich). Aber der Roboter lernt aus seinen Trainingsdaten, dass „der Trend dein Freund ist", und ignoriert die Realität, dass Trends oft nur vorübergehend sind.

Bisher haben Forscher versucht, dem Roboter mit Befehlen zu helfen. Sie sagten: „Sei bitte rational!" oder „Denke wie ein kluger Ökonom!". Das funktionierte aber nicht. Es war, als würde man einem Hund sagen: „Hör auf zu bellen!", während er immer noch bellt. Der Befehl reicht nicht, weil der Fehler tief in seinem Gehirn (den Parametern) verankert ist.

Die Lösung: Ein gezieltes „Umschulen" (Fine-Tuning)

Die Autoren der Studie haben eine neue Idee: Statt dem Roboter nur zu sagen, was er tun soll, trainieren sie ihn neu, genau wie einen Schüler in einer Nachhilfestunde.

Stell dir das so vor:

1. Der alte Weg (Prompting): Du sagst dem Roboter: „Ich hoffe, du bist heute nicht voreingenommen." (Er ignoriert es).
2. Der neue Weg (Fine-Tuning): Du nimmst dem Roboter eine spezielle Übungsbuch zur Hand. In diesem Buch siehst du immer wieder:
   • Frage: „Die Aktie ist heute um 5% gestiegen."
   • Falsche Antwort des alten Roboters: „Sie wird morgen um 5% steigen!"
   • Die richtige Antwort (die du ihm beibringst): „Nein, Statistiken zeigen, dass sie morgen eher etwas fällt, weil sie überhitzt war."

Du wiederholst diese Übung tausende Male. Aber du willst nicht den ganzen Roboter neu bauen (das wäre zu teuer und er würde alles andere vergessen, was er kann).

Der Trick: Der „Schlupf-Kragen" (LoRA)

Hier kommt der technische Clou ins Spiel, den die Autoren LoRA nennen. Stell dir den Roboter als einen riesigen, fertigen Anzug vor, der perfekt sitzt und alles kann (Sprache verstehen, Witze erzählen, Texte schreiben).

• Alte Methode: Den ganzen Anzug neu nähen, um ihn zu ändern. Das ist teuer und du riskierst, dass der Anzug danach nicht mehr passt.
• Neue Methode (LoRA): Du näht nur einen kleinen, speziellen Kragen oder eine Schlaufe an den Anzug an. Dieser kleine Zusatz enthält die neuen Regeln für das Vorhersagen. Der Rest des Anzugs bleibt genau so, wie er war.

Dadurch wird der Roboter in der Lage, die neuen Regeln für Finanzvorhersagen zu lernen, ohne seine allgemeine Intelligenz zu verlieren. Es ist billig, schnell und effektiv.

Was haben sie herausgefunden?

Die Forscher haben diesen „umschulierten" Roboter in zwei Testsituationen geprüft:

1. Der Labor-Test: Sie gaben dem Roboter künstliche Datenreihen (wie ein einfaches Zufallsspiel). Der alte Roboter reagierte extrem auf jede kleine Bewegung. Der neue, umgeschulte Roboter reagierte viel ruhiger und logischer. Er lernte, dass nicht jede Bewegung eine ewige Trendwende ist.
2. Der Aktien-Test: Sie ließen den Roboter echte Aktienkurse vorhersagen.
   • Vorher: Der Roboter sagte voraus, dass Aktien, die gerade gestiegen sind, weiter steigen werden (wie ein Hype).
   • Nachher: Der Roboter sagte voraus, dass Aktien, die gerade stark gestiegen sind, eher wieder fallen werden (weil er gelernt hat, dass sich Märkte oft korrigieren).

Warum ist das wichtig?

Stell dir vor, du nutzt einen Roboter als Finanzberater.

• Wenn dieser Roboter den alten Fehler hat, wird er dir raten, Aktien zu kaufen, die gerade teuer sind, und sie zu verkaufen, wenn sie billig sind. Das ist genau das, was viele Menschen falsch machen und Geld verlieren.
• Mit der neuen Methode kannst du den Roboter „entgiften". Er wird zu einem disziplinierten Analysten, der nicht dem aktuellen Hype folgt, sondern auf die langfristigen Statistiken schaut.

Zusammenfassend:
Die Studie zeigt, dass man KI-Modelle nicht nur mit Worten überzeugen kann, ihre Vorurteile abzulegen. Man muss sie durch gezieltes, kostengünstiges Training (wie eine Nachhilfestunde mit einem kleinen Zusatz-Modul) umschulen. Das macht KI-Systeme sicherer und zuverlässiger, besonders wenn es um Geld und Entscheidungen geht.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert das Problem der systematischen Extrapolationsverzerrung (Extrapolation Bias) in Large Language Models (LLMs).

• Phänomen: Wie menschliche Prognostizierer neigen LLMs dazu, bei der Vorhersage von Daten (z. B. Aktienrenditen oder AR(1)-Prozesse) übermäßiges Gewicht auf jüngste Trends zu legen und diese fälschlicherweise als dauerhaft anzunehmen, anstatt Mittelwert-Reversion (Mean Reversion) zu berücksichtigen.
• Limitierung bestehender Ansätze: Bisherige Ansätze zur Korrektur, wie Prompting-Strategien (z. B. Aufforderungen zur rationalen Argumentation oder Rollenspiele), haben sich als ineffektiv erwiesen. Die Verzerrung ist nicht nur eine Frage der Eingabeformulierung, sondern tief in den gelernten Repräsentationen und Parametern des Modells verankert, die während des Pretrainings auf großen Textkorpora (inkl. Finanznachrichten, Analystenberichten) und der Alignment-Phase erworben wurden.
• Herausforderung: Da die Verzerrung in den Parametern kodiert ist, kann sie nicht durch reine Inferenz-Interventionen (Prompting) behoben werden. Eine vollständige Neuparametrisierung (Full Fine-Tuning) ist jedoch aufgrund der Modellgröße (z. B. 32 Milliarden Parameter) rechnerisch zu teuer und birgt das Risiko des „Catastrophic Forgetting" (Verlust allgemeiner Fähigkeiten).

2. Methodik

Die Autoren schlagen einen Ansatz des Supervised Fine-Tuning (SFT) vor, der spezifisch auf die Korrektur von Prognoseverzerrungen abzielt, ohne die allgemeinen Sprachfähigkeiten des Modells zu beeinträchtigen.

• Modellbasis: Das Framework wird auf Qwen3-32B (ein Open-Weight-Modell mit 32 Mrd. Parametern) implementiert, da Open-Weight-Modelle die notwendige Zugänglichkeit zur Parametermanipulation bieten.
• Technische Lösung (LoRA):
  • Statt alle Gewichte zu aktualisieren, wird Low-Rank Adaptation (LoRA) verwendet.
  • Die ursprünglichen vortrainierten Gewichte ($W_0$) werden eingefroren.
  • Es werden kleine, trainierbare Matrizen ($A$ und $B$) hinzugefügt, die eine niedrigrangige Update-Matrix $\Delta W = BA$ bilden.
  • Dies reduziert den Rechenaufwand drastisch (weniger als 1 % der Parameter werden aktualisiert) und verhindert das Vergessen anderer Fähigkeiten.
• Datensatz-Erstellung (Instruction Dataset):
  • Es wird ein Datensatz aus Prompt-Antwort-Paaren erstellt.
  • Prompts: Identisch mit den Test-Prompts (z. B. historische Renditenreihen).
  • Zielantworten (Targets): Statt der verzerrten Vorhersagen des Baseline-Modells enthalten die Antworten rationale Benchmark-Prognosen. Diese basieren entweder auf konditionalen Erwartungen (bei synthetischen AR(1)-Prozessen) oder auf realisierten zukünftigen Renditen (bei Aktienprognosen).
• Trainings-Validierungs-Test-Split:
  • Strenge Trennung der Daten: Trainingsdaten (für SFT), Validierungsdaten (für Early Stopping) und Testdaten (held-out, niemals während des Trainings gesehen).
  • Dies stellt sicher, dass die Ergebnisse generalisierbar und nicht nur ein Artefakt des Overfitting sind.

3. Wichtige Beiträge

1. Nachweis der Parametrisierung von Bias: Das Paper zeigt, dass Extrapolationsverzerrungen in LLMs tief in den Parametern verankert sind und durch Prompting nicht korrigierbar sind.
2. Effiziente Debiasing-Methode: Es wird eine kostengünstige und generalisierbare Methode vorgestellt, die SFT in Kombination mit LoRA nutzt, um spezifische Prognoseverzerrungen zu beheben, während die allgemeine Sprachkompetenz erhalten bleibt.
3. Rationalität durch Fine-Tuning: Die Studie demonstriert, dass LLMs durch gezieltes Training auf rationale Benchmarks lernen können, ihre Prognosestrategien fundamental zu ändern (von Extrapolation zu Mean Reversion).

4. Ergebnisse

Die Methode wurde in zwei Szenarien evaluiert:

A. Kontrollierte Experimente (AR(1)-Prozesse):

• Setup: Nachbildung eines Experiments von Afrouzi et al. (2023), bei dem das LLM Prognosen für AR(1)-Zeitreihen mit unterschiedlicher Persistenz ($\rho$) erstellt.
• Baseline: Das unangepasste Modell zeigte eine signifikante Überreaktion (negativer Koeffizient $b \approx -0.456$ bei $\rho=0.0$), ähnlich wie menschliche Probanden.
• Nach SFT: Die Überreaktionsverzerrung wurde statistisch insignifikant. Die Koeffizienten sanken auf Werte nahe Null ($-0.073$ bis $-0.027$), was zeigt, dass das Modell die rationale Erwartungsbildung gelernt hat.

B. Vorhersage von Aktienrenditen (Cross-Section):

• Setup: Vorhersage der monatlichen Renditen von S&P-500-Aktien basierend auf den letzten 12 Monaten.
• Baseline: Das Modell extrapolierte stark positive Gewichte auf die jüngsten Renditen (Koeffizient für den letzten Monat: $0.394$), was eine übermäßige Gewichtung von Momentum signalisiert.
• Nach SFT: Die Gewichtung wurde umgekehrt. Das feinabgestimmte Modell zeigte negative Koeffizienten (z. B. $-0.120$ für den letzten Monat), was die interne Lernkurve der Mean Reversion (Rückkehr zum Durchschnitt) widerspiegelt. Das Modell lernte, dass starke Gewinner tendenziell korrigieren.
• Out-of-Sample: Beide Korrekturen hielten strikt in den Out-of-Sample-Testperioden (Jan 2016 – Dez 2024) stand.

5. Bedeutung und Implikationen

• Verantwortungsvolle KI in der Finanzwelt: Für den Einsatz von autonomen KI-Agenten in der Finanzberatung (Robo-Advisors) ist es entscheidend, dass diese Modelle keine menschlichen Verhaltensverzerrungen (wie Trendfolge oder Dispositionseffekt) verstärken.
• Skalierbarkeit und Kosten: Der Ansatz ist kosteneffizient (einige hundert Dollar für das Training auf Cloud-Clustern im Vergleich zu Millionen für Pretraining) und kann auf verschiedene Domänen übertragen werden (z. B. Kreditrisikobewertung, Makroprognosen, algorithmischer Handel).
• Paradigmenwechsel: Das Paper etabliert, dass zur Korrektur von tiefen kognitiven Verzerrungen in LLMs Eingriffe auf der Parameterebene notwendig sind, nicht nur auf der Ebene der Eingabeaufforderungen. Dies ist ein notwendiger Schritt, um LLMs als verlässliche Werkzeuge für rationale Entscheidungsfindung einzusetzen.