🤖 AI

Conv-FinRe: A Conversational and Longitudinal Benchmark for Utility-Grounded Financial Recommendation

Die Arbeit stellt Conv-FinRe vor, ein conversationaler und longitudinaler Benchmark für Aktienempfehlungen, der große Sprachmodelle nicht nur anhand der Nachahmung von Benutzerverhalten, sondern vor allem anhand ihrer Fähigkeit bewertet, nutzungsbasierte, rational fundierte Entscheidungen unter Berücksichtigung individueller Risikopräferenzen zu treffen.

Ursprüngliche Autoren: Yan Wang, Yi Han, Lingfei Qian, Yueru He, Xueqing Peng, Dongji Feng, Zhuohan Xie, Vincent Jim Zhang, Rosie Guo, Fengran Mo, Jimin Huang, Yankai Chen, Xue Liu, Jian-Yun Nie

Veröffentlicht 2026-02-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yan Wang, Yi Han, Lingfei Qian, Yueru He, Xueqing Peng, Dongji Feng, Zhuohan Xie, Vincent Jim Zhang, Rosie Guo, Fengran Mo, Jimin Huang, Yankai Chen, Xue Liu, Jian-Yun Nie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „schlechte Freund" am Finanzberater

Stell dir vor, du suchst einen Finanzberater. Die meisten Computerprogramme (Künstliche Intelligenz), die heute Empfehlungen geben, funktionieren wie ein schlechter Freund, der nur darauf achtet, was du tatsächlich tust.

Wenn du aus Panik deine Aktien verkaufst, weil die Kurse kurzzeitig fallen, sagt dieser „schlechte Freund": „Ah, du hast verkauft! Das war also die richtige Entscheidung!" Er kopiert einfach dein Verhalten.

Das Problem ist: Menschen machen oft Fehler. Wir handeln aus Angst, Gier oder weil wir nur auf den heutigen Nachrichten schauen, nicht auf die nächsten 10 Jahre. Ein echter guter Berater sollte nicht nur kopieren, was du tust, sondern dir sagen, was du tun solltest, um langfristig glücklich und reich zu werden.

Die Lösung: Conv-FinRe – Der „Wahrheits-Test" für KI

Die Forscher haben ein neues Spielzeug namens Conv-FinRe entwickelt. Es ist wie ein riesiger, komplexer Rollenspiel-Test für KI-Modelle, um zu prüfen, ob sie wirklich gute Finanzberater sind.

Stell dir das so vor:

Das Szenario: Die KI muss mit einem Kunden (einem Menschen) über einen längeren Zeitraum (z. B. einen Monat) sprechen.
Der Test: Die KI bekommt nicht nur die aktuellen Aktienkurse gezeigt, sondern muss auch verstehen, wer der Kunde ist. Ist der Kunde ein risikoscheuer Großvater oder ein abenteuerlustiger junger Gamer?
Der Clou (Der „Spiegel"): Normalerweise sagen wir: „Wenn die KI das tut, was der Mensch getan hat, ist sie gut." Bei Conv-FinRe sagen die Forscher: „Nein! Wir haben vier verschiedene Spiegel aufgestellt, um die KI zu prüfen:"
- Spiegel 1 (Das, was der Mensch tat): Hat die KI genau das gewählt, was der Mensch in der Simulation gekauft hat? (Oft ist das eine laute, emotionale Entscheidung).
- Spiegel 2 (Der rationale Idealist): Was wäre die mathematisch perfekte Entscheidung für diesen Menschen, basierend auf seinen wahren Zielen? (Ruhe, langfristiger Gewinn).
- Spiegel 3 (Der Hype-Jäger): Was würde man kaufen, nur weil die Kurse gerade explodieren? (Kurzfristiger Wahnsinn).
- Spiegel 4 (Der Sicherheitsfreak): Was wäre die absolut sicherste Wahl, um nichts zu verlieren?

Was haben sie herausgefunden?

Die Forscher haben viele der neuesten KI-Modelle durch diesen Test geschickt und eine spannende Entdeckung gemacht: Es gibt einen Konflikt.

Die „Rationalen": Manche KIs (wie GPT-5 oder Llama) sind super darin, den perfekten mathematischen Rat zu geben (Spiegel 2). Sie ignorieren aber oft die lauten, emotionalen Entscheidungen des Kunden. Sie sind wie ein strenger Lehrer, der immer recht hat, aber nicht versteht, wie sich der Schüler fühlt.
Die „Nachahmer": Andere KIs (oft solche, die speziell für Finanzen trainiert wurden) sind super darin, das Verhalten des Kunden zu kopieren (Spiegel 1). Sie sagen genau das, was der Kunde hören will. Aber das ist gefährlich! Wenn der Kunde aus Panik einen Fehler macht, macht die KI denselben Fehler mit. Sie sind wie ein Ja-Sager, der dich in den Abgrund folgt, nur weil du dorthin rennst.

Die große Erkenntnis

Die Botschaft der Forscher ist: Ein guter KI-Berater muss nicht nur das tun, was du tust, sondern das tun, was du brauchst.

Conv-FinRe hilft uns zu erkennen, welche KI wirklich versteht, was ein Investor langfristig braucht (Ruhe und Wachstum), und welche KI nur darauf wartet, dass wir ihr sagen, was wir gerade kaufen wollen, auch wenn es eine schlechte Idee ist.

Zusammengefasst in einem Bild:
Stell dir vor, du willst abnehmen.

Der alte KI-Berater sagt: „Du hast heute Pizza gegessen? Okay, dann essen wir morgen auch Pizza." (Er kopiert dein Verhalten).
Der neue KI-Berater (Conv-FinRe) sagt: „Ich weiß, du hast heute Pizza gegessen, weil du gestresst warst. Aber dein langfristiges Ziel ist Gesundheit. Lass uns morgen einen Salat essen, damit du in einem Jahr fit bist." (Er ignoriert den kurzfristigen Fehler und hilft dir bei deinem wahren Ziel).

Conv-FinRe ist also der erste Test, der prüft, ob eine KI ein echter Coach oder nur ein blinder Nachahmer ist.

1. Problemstellung

Herkömmliche Empfehlungsbenchmarks bewerten Modelle primär danach, wie gut sie das beobachtete Verhalten von Nutzern imitieren (z. B. Klicks oder Käufe). Im Finanzbereich ist dieser Ansatz jedoch problematisch, da Investitionsentscheidungen oft durch kurzfristige Marktrauschen, Emotionen oder impulsive Reaktionen verzerrt sind und nicht unbedingt den langfristigen Zielen oder der stabilen Risikotoleranz des Anlegers entsprechen.
Das zentrale Problem besteht darin, dass das bloße Nachahmen von Nutzerentscheidungen („Behavioral Imitation") mit der Qualität der finanziellen Beratung verwechselt wird. Ein Modell, das nur das historische Verhalten nachahmt, könnte irrational handeln, während ein rein rationales Modell die Präferenzen des Nutzers ignorieren könnte. Es fehlt an einem Benchmark, der zwischen beschreibendem Verhalten (was der Nutzer tat) und normativer Nutzen (was dem Nutzer basierend auf seinen Risikopräferenzen optimal wäre) unterscheidet.

2. Methodik: Conv-FinRe Framework

Conv-FinRe ist ein conversationaler (dialogbasierter) und longitudinaler (zeitlich verlängerter) Benchmark für Aktienempfehlungen. Das Framework zielt darauf ab, Large Language Models (LLMs) über die reine Verhaltensnachahmung hinaus zu bewerten.

A. Aufgabenformulierung (Multi-View Alignment)

Die Aufgabe wird als ein Multi-View-Alignment-Problem definiert. Anstatt nur eine „Gold-Standard"-Antwort zu haben, bewertet Conv-FinRe die Empfehlungen eines LLMs gegen vier komplementäre Referenzansichten:

User Choice ( $y_{user}$ ): Die empirischen, tatsächlichen Entscheidungen des Nutzers (kann verrauscht sein).
Rational Utility ( $y_{util}$ ): Eine idealisierte Rangfolge basierend auf einer kalibrierten Nutzenfunktion, die das optimale Gleichgewicht zwischen Rendite und Risiko darstellt.
Market Momentum ( $y_{mom}$ ): Eine gewinnorientierte Rangfolge basierend auf reinen kurzfristigen Kursentwicklungen.
Risk Sensitivity ( $y_{safe}$ ): Eine konservative Rangfolge, die spezifische Risikovermeidung des Nutzers priorisiert.

B. Datenerhebung und Simulation

Marktdaten: Ein Universum von 10 repräsentativen Aktien aus dem S&P 500, stratifiziert nach Volatilität (Beta), über einen Zeitraum von 30 Tagen (August/September 2025).
Nutzerdaten: 10 Teilnehmer durchliefen einen zweistufigen Prozess:
1. Ein strukturierter Fragebogen zur Erfassung von Demografie, Finanzkapazität und Risikoeinstellung (basierend auf regulatorischen Richtlinien wie MiFID II).
2. Eine longitudinale Simulation, bei der Nutzer über 30 Tage hinweg tägliche Kaufentscheidungen treffen und Feedback erhalten.
Konversationssimulation: Basierend auf den Profilen und Verhaltensdaten werden strukturierte Dialoge generiert. Diese umfassen ein Onboarding-Interview (zur Ermittlung des Profils) und einen longitudinalen Beratungsdialog, in dem der LLM als Berater agiert und Empfehlungen gegen drei spezialisierte „Experten-Advisors" (Rational, Momentum, Risk) abwägen muss.

C. Latente Präferenz-Grundierung (Inverse Optimierung)

Da die wahre Nutzenfunktion des Nutzers dem Modell nicht bekannt ist, wird sie mittels Inverse Optimization aus dem longitudinalen Verhaltensverlauf der Nutzer rekonstruiert.

Es wird angenommen, dass die Entscheidung eines Nutzers $i$ durch eine latente Nutzenfunktion $U(s)_{i,t}$ gesteuert wird, die Rendite gegen Volatilität und Drawdown abwägt.
Die Parameter für Risikosensitivität ( $\lambda_i, \gamma_i$ ) werden durch Minimierung der negativen Log-Likelihood über die beobachteten Entscheidungen geschätzt.
Diese geschätzten Parameter dienen zur Erstellung der Referenz-Rankings ( $y_{util}$ und $y_{safe}$ ), ohne dass das Modell diese Funktion direkt sieht.

D. Evaluationsmetriken

uNDCG (Utility-based NDCG): Misst die Übereinstimmung mit der latenten, nutzenbasierten Präferenzstruktur.
MRR & Hit Rate: Bewerten, wie gut das Modell die tatsächliche, beobachtete Wahl des Nutzers vorhersagt.
Expert Alignment Score (EAS): Misst die Korrelation (Kendall's $\tau$ ) zwischen der Modell-Rangfolge und den drei Experten-Rankings (Utility, Momentum, Risk).

3. Wichtige Beiträge

Conv-FinRe Benchmark: Der erste dialogbasierte und longitudinale Benchmark für Aktienempfehlungen, der die Bewertung von LLMs auf nutzer-spezifischen, rationalen Nutzen statt auf reiner Verhaltensimitation gründet.
Diagnostisches Framework: Eine Formulierung der Bewertung als Multi-View-Alignment-Problem, das durch inverse Optimierung gestützt wird, um Verhaltensanpassung von rationaler Entscheidungsqualität zu trennen.
Systematische Evaluation: Eine umfassende Analyse modernster LLMs, die unterschiedliche beratende Verhaltensmuster unter konkurrierenden Marktsignalen identifiziert.

4. Ergebnisse

Die Evaluation einer Reihe von State-of-the-Art-Modellen (inkl. GPT-5.2, GPT-4o, DeepSeek, Qwen, Llama) offenbarte eine fundamentale Spannung:

Trade-off zwischen Rationalität und Verhalten: Modelle, die bei der nutzbasierten Rangfolge (uNDCG) gut abschneiden (z. B. Llama-3.3-70B), scheitern oft darin, die tatsächlichen, oft irrationalen Nutzerentscheidungen vorherzusagen. Umgekehrt neigen Modelle, die das Nutzerverhalten gut imitieren (z. B. Qwen2.5, Llama3-XuanYuan3), dazu, kurzfristiges Marktrauschen zu überanpassen.
Experten-Alignment:
- Modelle wie Llama-3.3-70B zeigen eine starke Kopplung zwischen Rationalität und Markt-Momentum, haben aber Schwierigkeiten, den Risikoschutz von wachstumsorientierten Signalen zu trennen (niedrige Risikobewertung).
- DeepSeek-V3.2 zeigt das ausgewogenste Profil und integriert erfolgreich widersprüchliche Beratungssignale.
- Domain-spezifische Modelle (wie Llama3-XuanYuan3) verhalten sich eher wie erfahrene menschliche Berater, die pragmatische, wenn auch verrauschte Präferenzen priorisieren, anstatt strikten mathematischen Formeln zu folgen.
Präferenz-Entdeckung: Die Analyse der Dialoghistorie zeigt, dass einige Modelle (Adaptive Advisors) ihre Risikopräferenzen frühzeitig lernen, während andere (Behavioral Overfitters) bei Einführung von Kontexthistorie schlechter abschneiden, da sie zu stark auf verrauschte Aktionen reagieren.

5. Bedeutung und Fazit

Conv-FinRe demonstriert, dass die reine Bewertung von Empfehlungssystemen anhand von „Click-Through"- oder Verhaltensdaten im Finanzbereich irreführend sein kann. Ein gutes Finanzberatungs-LLM muss in der Lage sein, zwischen kurzfristigen Marktsignalen und langfristigen, nutzerspezifischen Risikopräferenzen zu unterscheiden.

Die Studie unterstreicht die Notwendigkeit von Benchmarks, die langfristige Anlegerpräferenzen von kurzfristigen Marktrauschen entkoppeln. Sie liefert ein Werkzeug, um zu diagnostizieren, ob ein KI-Modell rationale Analysen durchführt, Nutzerrauschen nachahmt oder blind Markttrends folgt. Dies ist ein entscheidender Schritt hin zu vertrauenswürdigen und ethisch fundierten KI-gestützten Finanzberatungen.