SenseAI: A Human-in-the-Loop Dataset for RLHF-Aligned Financial Sentiment Reasoning

Die Arbeit stellt SenseAI vor, ein von Menschen validiertes Finanz-Sentiment-Datenset mit vollständigen Begründungsketten und Korrektursignalen, das speziell für das Reinforcement Learning from Human Feedback (RLHF) entwickelt wurde, um systemische Fehler wie „Latent Reasoning Drift" in großen Sprachmodellen zu identifizieren und deren Ausrichtung zu verbessern.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen extrem intelligenten, aber noch etwas naiven Assistenten namens SenseAI. Dieser Assistent liest jeden Tag tausende von Finanznachrichten und versucht, vorherzusagen, ob die Stimmung für ein Unternehmen gut (bullisch) oder schlecht (bärisch) ist.

Das Problem ist: Der Assistent ist wie ein junger Praktikant, der alles zu vorsichtig formuliert. Wenn eine Nachricht sagt: „Der Gewinn ist riesig!", antwortet der Assistent eher: „Naja, der Gewinn ist ein bisschen riesig, aber man weiß ja nie." Er ist zu vorsichtig, zu unentschlossen und verpasst manchmal die eigentliche Pointe.

Diese wissenschaftliche Arbeit stellt SenseAI nicht nur als Datensatz vor, sondern als einen Trainingsplan für diesen Assistenten, damit er endlich wie ein erfahrener Börsenexperte denkt.

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der „Vorsichtige Praktikant"

Bisherige Datensätze (wie das alte FinancialPhraseBank) waren wie ein einfaches Quiz: Der Assistent bekam eine Nachricht und musste nur ankreuzen: „Gut" oder „Schlecht".

• Das Problem: Das reicht nicht mehr. In der echten Welt der Finanzmärkte zählt nicht nur das Ergebnis, sondern wie man zu diesem Ergebnis kommt.
• Die Analogie: Stellen Sie sich vor, Sie trainieren einen Koch. Ein altes Quiz würde nur fragen: „Ist das Essen lecker? (Ja/Nein)". SenseAI fragt stattdessen: „Warum hast du das Salz hinzugefügt? War es zu viel? Wie hat der Gast reagiert?"

2. Die Lösung: Der „Meister-Lehrling"-Ansatz (HITL)

Der Kern von SenseAI ist das Human-in-the-Loop (HITL)-Konzept.

• Wie es funktioniert: Der KI-Assistent liest eine Nachricht und gibt eine Meinung ab. Dann schaut ein echter Finanzexperte (der „Meister") darüber.
• Der Clou: Wenn der Experte etwas korrigiert, wird nicht nur die Korrektur gespeichert, sondern auch der Gedankengang des KI-Assistenten, warum er sich geirrt hat, und wie sicher er sich war.
• Die Analogie: Es ist wie ein Flugsimulator. Der KI-Assistent fliegt das Flugzeug. Der menschliche Pilot greift ein, wenn er sieht, dass der Assistent zu niedrig fliegt. Das System speichert nicht nur, dass er korrigiert wurde, sondern wie der Assistent die Situation falsch eingeschätzt hat. So lernt der Assistent aus seinen Fehlern, statt sie nur zu wiederholen.

3. Die sechs überraschenden Entdeckungen

Die Forscher haben sechs Dinge entdeckt, die man ohne diesen speziellen Datensatz nie gesehen hätte:

• Entdeckung 1: Die „Vorsichtigkeits-Allergie"
  Der Assistent liebt Wörter wie „vielleicht" oder „trotzdem". Selbst wenn eine Nachricht super ist, macht er sie klein. Er sagt lieber „Etwas positiv" statt „Super positiv".

  • Vergleich: Wie ein Schüler, der bei einer Mathe-Aufgabe immer „Vielleicht ist es 5" schreibt, obwohl die Antwort klar 10 ist.

• Entdeckung 2: Das falsche Selbstvertrauen
  Der Assistent sagt oft: „Ich bin zu 70 % sicher!" – aber er hat oft nur zu 60 % recht. Seine Sicherheit ist nicht mit der Wahrheit verknüpft.

  • Vergleich: Ein Wetterprognostiker, der immer sagt: „Ich bin mir zu 90 % sicher, dass es regnet", obwohl es oft trocken bleibt. Man kann ihm nicht trauen.

• Entdeckung 3: Der „Geister-Erinnerung"-Effekt (Latent Reasoning Drift)
  Das ist das Spannendste! Der Assistent liest eine Nachricht über ein Unternehmen, nutzt aber dabei Wissen aus seiner Vergangenheit, das gar nicht in der Nachricht steht. Er vermischt die aktuelle Nachricht mit alten Gerüchten über das Unternehmen.

  • Vergleich: Ein Detektiv, der einen neuen Fall untersucht, aber dabei unbewusst alte Fälle aus seiner Akte mit einmischt, obwohl diese nichts mit dem aktuellen Fall zu tun haben. Das ist gefährlich!

• Entdeckung 4: Die „Goldilocks-Zone" (Die Goldlöckchen-Zone)
  Der Assistent macht keine katastrophalen Fehler (er dreht nicht komplett durch). Er macht aber viele kleine, vorhersehbare Fehler.

  • Vergleich: Er ist nicht so schlecht, dass man ihn feuern muss, aber auch nicht gut genug, um ihn allein zu lassen. Er ist genau in der Zone, wo ein wenig menschliche Hilfe (Feintuning) ihn zum Weltmeister macht.

• Entdeckung 5: Die „Zukunfts-Projektion"
  Der Assistent erfindet manchmal die Zukunft. Er sagt: „Das wird sich morgen so entwickeln", obwohl in der Nachricht nur steht, was heute passiert ist.

  • Vergleich: Ein Orakel, das versucht, den nächsten Satz zu erraten, bevor er gesprochen wurde.

• Entdeckung 6: Der Lerneffekt
  Wenn der Assistent auf eine neuere Version (GPT-5.2) umgestellt wurde, wurden die mittleren Fehler fast weg. Aber die kleinen, vorsichtigen Fehler blieben.

  • Fazit: Selbst mit besseren KI-Modellen braucht man immer noch diesen menschlichen Korrektur-Loop.

4. Warum ist das wichtig? (Der Geschäftswert)

In der Finanzwelt geht es um echtes Geld. Wenn ein KI-System den Ton einer Nachricht falsch versteht, kann das Millionen kosten.

• Der Nutzen: Mit diesem Datensatz kann man KI-Modelle so trainieren, dass sie nicht nur raten, sondern logisch denken wie ein Analyst. Sie lernen, wann sie vorsichtig sein müssen und wann sie mutig sein dürfen.
• Die Zukunft: Die Forscher wollen diesen Datensatz nutzen, um KI-Agenten zu bauen, die für Banken und Fonds arbeiten. Diese Agenten sollen Nachrichten lesen, verstehen und Entscheidungen treffen, ohne dass ein Mensch jeden Schritt kontrollieren muss – aber mit der Sicherheit, dass sie nicht „halluzinieren".

Zusammenfassung

SenseAI ist wie ein riesiges, detailliertes Tagebuch von Fehlern und Korrekturen zwischen einer KI und einem Menschen. Es zeigt uns, dass KI in der Finanzwelt nicht „dumm" ist, sondern nur zu vorsichtig und manchmal zu sehr von ihrer eigenen Vergangenheit beeinflusst wird. Mit diesem Datensatz können wir die KI so schulen, dass sie endlich verlässlich wird – wie ein erfahrener Kapitän, der das Schiff sicher durch den Sturm führt, statt nur auf den Kompass zu starren.

Technische Zusammenfassung

1. Problemstellung

Die Anwendung von Large Language Models (LLMs) in hochriskanten Finanzumgebungen stößt auf systemische Grenzen, die in allgemeinen Benchmarks oft unsichtbar bleiben. Finanzsprache unterscheidet sich strukturell von allgemeiner Sprache durch ihren untertriebenen Ton, den starken Kontextbezug und die direkten monetären Konsequenzen von Fehlklassifikationen.

Bestehende Finanz-Sentiment-Datensätze (z. B. FinancialPhraseBank) leiden unter folgenden Mängeln:

• Fehlende Reasoning-Kontexte: Sie erfassen nur das Ergebnis (Sentiment), nicht aber den Schlussfolgerungsprozess eines Experten.
• Keine RLHF-Ausrichtung: Sie wurden für traditionelle NLP-Modelle entwickelt und fehlen die für Reinforcement Learning from Human Feedback (RLHF) notwendigen Strukturen (Präferenzsignale, Korrekturdaten, Reasoning-Ketten).
• Fehlende Validierung: Es gibt keine Verbindung zu realen Marktergebnissen, um die Qualität der Sentiment-Einschätzung objektiv zu überprüfen.

Dies führt dazu, dass aktuelle LLMs in agenticen Finanzsystemen unzuverlässig sind, da sie nicht lernen, wie ein Experte zu einer Einschätzung kommt, sondern nur, welche Labels zu welchen Texten gehören.

2. Methodik und Datensatz-Design (SenseAI)

SenseAI ist ein proprietärer, kontinuierlich gesammelter Korpus, der auf einem Human-in-the-Loop (HITL)-Ansatz basiert.

• Datenerfassung: Finanznachrichten werden von einem LLM verarbeitet, der gleichzeitig vier Ausgaben generiert: (1) Zusammenfassung, (2) Sentiment-Klassifikation (5 Kategorien), (3) vollständige Chain-of-Thought (CoT) Begründung und (4) ein Konfidenz-Score.
• HITL-Validierung: Ein menschlicher Finanzexperte (Postgraduierte im Bereich Finance & Investments) überprüft jede Ausgabe.
  • Bei Abweichungen wird die Klassifikation korrigiert und der Edit-Typ dokumentiert (Kategorie 0: Keine Korrektur, 1: Minor, 2: Moderate, 3: Vollständige Umkehr).
  • Es werden reale Marktdaten (Aktienkurs 4 Stunden nach Klassifikation) als objektives Validierungssignal hinzugefügt.
• Schema: Jeder Datenpunkt enthält 13 Felder, darunter Ticker, Zeitstempel, AI-Reasoning, menschliche Korrektur, Edit-Typ und Modellversion.
• Qualitätssicherung: Ein Selbstkonsistenz-Testprotokoll (Rolling-Review) sichert eine Konsistenzrate von 90 %.
• Skala (Stand des Papiers): 1.439 gelabelte Datenpunkte, abgedeckt über 40 US-Aktien und 13 Finanzkategorien.

3. Hauptbeiträge

Das Papier leistet folgende wesentliche Beiträge:

1. Einführung von SenseAI: Der erste kontinuierlich gesammelte, HITL-validierte Finanz-Sentiment-Korpus, der mit AI-Reasoning-Ketten, Expertenkorrekturen, Konfidenz-Scores und Marktergebnis-Validierung angereichert ist.
2. Strukturelle RLHF-Ausrichtung: Der Datensatz erfüllt alle drei strukturellen Anforderungen der RLHF-Literatur: Menschliche Präferenzsignale, Korrekturannotationen und Reasoning-Kontext. Er ist direkt in Fine-Tuning-Pipelines integrierbar.
3. Methodische Dokumentation: Detaillierte Beschreibung der Sammlungsmethodik, des Schemas und des Qualitätskontrollprotokolls.
4. Neue empirische Erkenntnisse: Präsentation von sechs neuen Befunden zum Verhalten von LLMs in Finanzaufgaben, die nur durch Reasoning-Daten sichtbar werden.
5. Kommerzielle Relevanz: Diskussion der Anwendungsmöglichkeiten für Enterprise-AI-Agenten und Einladungen zur Zusammenarbeit.

4. Ergebnisse und empirische Befunde

Die Analyse des Datensatzes führte zu sechs zentralen Erkenntnissen über das Verhalten von LLMs:

1. Sentiment-Hypersensitivität gegenüber linguistischen Qualifikatoren: Modelle neigen dazu, starke Signale durch „hedging" (Abschwächung) zu verwässern (z. B. „Starkes Ergebnis trotz Marktbedingungen" wird als „Leicht bullisch" statt „Bullisch" klassifiziert). 61,3 % der KI-Ausgaben fallen in die Kategorie „Leicht bullisch".
2. Systematisches Over-Hedging der Konfidenz: Konfidenz-Scores liegen konsistent im Bereich 60–80 % (71 % im 60–69 %-Bereich), unabhängig von der Klarheit des Signals. Es gibt keine statistisch signifikante Korrelation zwischen dem Konfidenz-Score und der tatsächlichen Genauigkeit.
3. Latente Reasoning-Drift (Modell-Kontamination): Modelle integrieren implizit globales Vorwissen (historische Performance, Makro-Kontext) in die Analyse eines einzelnen Dokuments, obwohl dies nicht im Input steht. Dies ist ein neuartiger Befund, der nur durch CoT-Daten erkennbar ist.
4. Die „Goldilocks Zone" (Goldlöckchen-Zone): ca. 51,4 % der Klassifikationen erfordern menschliche Korrektur, wobei fast alle (49,7 %) nur Minor-Korrekturen (Kategorie 1) sind. Es gibt keine vollständigen Umkehrungen (Kategorie 3). Das Modell ist also „genau genug, um nützlich zu sein, aber ungenau genug, um durch Fine-Tuning signifikant verbessert zu werden".
5. Forward Projection: Modelle projizieren zukünftige Ereignisse oder Spekulationen in die Begründung ein, die im Quelltext nicht vorhanden sind.
6. Modell-Versionseffekte: Der Wechsel zu neueren Modellversionen (z. B. GPT-5.2) reduziert moderate Fehler (Kategorie 2) fast auf Null, verschiebt die Fehlerverteilung jedoch weiter in Richtung der korrigierbaren Minor-Fehler (Kategorie 1), was die Relevanz des Datensatzes für zukünftige Modelle bestätigt.

5. Bedeutung und Implikationen

• Für die Forschung: SenseAI widerlegt die Annahme, dass mehr Daten immer besser sind. Es zeigt, dass hochpräzise, strukturreiche Datenpunkte (mit Reasoning und Korrektur) für RLHF wertvoller sind als riesige Mengen einfacher Labels.
• Für die Regulierung: Die Aufdeckung von „Latent Reasoning Drift" und „Forward Projection" ist entscheidend für die Erklärbarkeit (Explainability) und Auditierbarkeit von KI-Systemen in regulierten Finanzumgebungen (SEC, FCA, EBA).
• Für die Industrie:
  • Enterprise AI: Der Datensatz ermöglicht den Aufbau von Finanz-Agenten, die nicht nur Labels liefern, sondern fundierte, korrekte Schlussfolgerungen ziehen.
  • Fine-Tuning: Da die Fehler des Modells systematisch und vorhersagbar sind (hauptsächlich Kalibrierungsfehler statt katastrophaler Fehler), ist ein Fine-Tuning mit diesem Datensatz hoch effizient.
  • Wirtschaftlicher Wert: Der Datensatz stellt eine schwer replizierbare, proprietäre Ressource dar, die für Lizenzierung oder strategische Akquisition durch Finanzdatenanbieter und KI-Labs von hohem Wert ist.

Fazit: SenseAI schließt die Lücke zwischen generischen Sprachmodellen und den Anforderungen hochpräziser Finanzanalyse. Es bietet die notwendige Dateninfrastruktur, um LLMs durch RLHF in den „Goldilocks-Zone"-Fehlerbereich zu bringen, der durch menschliches Feedback effizient korrigierbar ist.