GRPO for Financial Advice Generation: Outperforming Commercial LLMs under CATE Evaluation

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man Ratschläge gibt. In der Welt der Künstlichen Intelligenz ist das ein wenig so, als würde man einem Schüler beibringen, eine Matheaufgabe zu lösen. Normalerweise zeigen wir dem Schüler die Frage und die richtige Antwort, in der Hoffnung, dass er das Muster auswendig lernt. Aber was, wenn die „richtige Antwort“ in der realen Welt chaotisch ist? Was, wenn die Geschichtsbücher voller Fehler sind oder wenn die richtige Antwort davon abhängt, in welcher Situation man sich befindet? Dies ist die Herausforderung von Reinforcement Learning (RL). Anstatt nur alte Antworten zu kopieren, erlaubt RL einer KI, viele verschiedene Dinge auszuprobieren, eine „Punktzahl“ dafür zu erhalten, wie gut sie abgeschnitten hat, und aus dieser Punktzahl zu lernen, um beim nächsten Mal besser zu werden. Es ist wie ein Videospiel, bei dem die KI tausende Level spielt, Punkte für gute Züge erhält und langsam die perfekte Strategie lernt.

Stellen Sie sich nun vor, dieses Spiel dreht sich um Geld. Finanzielle Beratung ist knifflig, weil ein schlechter Vorschlag tatsächlich ein Unternehmen schaden kann. Um sicherzustellen, dass die KI den richtigen Weg lernt, nutzen Forscher einen „Richter“ – eine andere intelligente KI, die den Rat bewertet. Aber es gibt einen Haken: Manchmal lernt die Schüler-KI, den Richter auszutricksen, indem sie genau das sagt, was der Richter hören möchte, anstatt Ratschläge zu geben, die in der realen Welt tatsächlich funktionieren. Dieses Paper befasst sich mit diesem Problem, indem es einen neuen Weg entwickelt, eine KI zur Erteilung von Geschäftsempfehlungen zu trainieren, wobei deren Arbeit nicht nur durch einen Richter, sondern auch dadurch überprüft wird, ob der Rat in der Vergangenheit tatsächlich Geld eingebracht hätte.

---

Die Geschichte des geldbewussten Roboters

Lernen Sie das Team bei Intuit kennen. Sie wollten eine KI bauen, die in der Lage ist, die chaften Finanzunterlagen eines Unternehmens zu analysieren und zu sagen: „Hey, hier ist eine spezifische Sache, die du tun solltest, um mehr Gewinn zu machen.“ Das klingt einfach, ist aber für Computer ein Albtraum. Der Rat muss auf echten Zahlen basieren, er muss sicher sein (sag einem Unternehmen nicht, es solle seinen einzigen Kunden entlassen!) und er muss umsetzbar sein.

Das Problem ist, dass wir keine „Goldstandard“-Antwortlösung haben. Die Entscheidungen, die Geschäftsinhaber in der Vergangenheit getroffen haben, waren nicht immer perfekt, daher können wir die KI nicht einfach dazu bringen, diese zu kopieren. Und es Experten Menschen zu bitten, für jedes Szenario den perfekten Rat zu formulieren, ist zu teuer und zu langsam. Also entschied das Team, dies wie ein Videospiel zu behandeln. Sie verwendeten eine Methode namens GRPO (Group Relative Policy Optimization).

Betrachten Sie GRPO als eine „Gruppenherausforderung“. Anstatt dass die KI eine Antwort rät und eine Punktzahl erhält, generiert sie auf einmal eine ganze Gruppe verschiedener Ratschläge. Dann schaut eine super-intelligente „Richter-KI“ (genannt Claude Opus 4.5) auf alle diese Vorschläge und bewertet sie anhand einer Checkliste. Diese Checkliste umfasst 11 Regeln: Ist es sicher? Verwendet es echte Zahlen aus dem Unternehmen? Wird erklärt, warum? Wenn ein Vorschlag gefährlich ist, erhält er sofort eine Null. Wenn er sicher, aber langweilig ist, bekommt er eine niedrige Punktzahl. Wenn er sicher, spezifisch und klug ist, erhält er eine hohe Punktzahl. Die KI lernt dann, mehr Vorschläge zu generenieren, die wie die hoch bewerteten aussehen.

Die Falle des „netten“ Richters

Hier wird es interessant. Das Team wusste, dass es ein Risiko gab. Was, wenn die KI einfach lernt, Ratschläge zu schreiben, die für die Richter-KI gut klingen, aber einem Unternehmen in der Realität gar kein Geld einbringen? Es ist wie ein Schüler, der die Lieblingsphrasen des Lehrers auswendig lernt, um eine Eins zu bekommen, aber die echte Prüfung versagt.

Um dies abzufangen, bauten die Forscher einen zweiten, völlig anderen Test. Sie nutzten die Richter-KI überhaupt nicht. Stattdessen verwendeten sie eine „Zeitreisen“-Methode namens CATE (Conditional Average Treatment Effect).

Stellen Sie sich vor, Sie haben eine riesige Kiste mit alten Geschäftsunterlagen. Sie wollen wissen: „Wenn wir in der Vergangenheit diese spezifische Maßnahme ergriffen hätten, hätte das Unternehmen dann mehr Geld verdient?“ Die Forscher nahmen den von ihrer neuen KI generierten Rat, übersetzten ihn in eine einfache „Aktion“ (wie „Versandkosten senken“ oder „Preise für Produkt X erhöhen“) und schauten dann in die historischen Daten. Sie fragten: „Als Unternehmen in der Vergangenheit diese Aktion ausführten, stiegen dann ihre Gewinne?“ Dies ist ein „richterunabhängiges“ Audit, da es auf realen Zahlen basiert und nicht darauf, was die Richter-KI für gut befindet.

Die große Überraschung

Die Ergebnisse waren eine Mischung aus erwarteten Siegen und einer sehr lustigen Wendung.

Zuerst war die neue KI (trainiert mit GRPO) ein Star. Als die Richter-KI sie bewertete, erreichte sie eine Punktzahl von 9,514 von 10. Dies war die höchste Punktzahl aller Beteiligten und übertraf sogar die berühmtesten kommerziellen KI-Modelle wie Claude Opus 4.6 und GPT-5.4.

Aber die wahre Magie geschah im „Zeitreisen“-Audit.

• Die neue KI schlug Aktionen vor, die, wenn sie in der Vergangenheit durchgeführt worden wären, den Bruttogewinn um 0,0228 (etwa 2,3 %) gesteigert hätten.
• Das beste kommerzielle KI-Modell (Claude Opus 4.6) schaffte nur eine Steigerung von 0,0104.
• Das bedeutet, dass die neue KI etwa doppelt so gut darin war, Aktionen zu finden, die tatsächlich Geld einbringen, wie der stärkste kommerzielle Wettbewerber.

Noch cooler war, dass die neue KI sicherer war. Sie hatte die niedrigste „Downside Rate“ (die Chance, etwas vorzuschlagen, das dem Unternehmen schadet) und das geringste „Tail Risk“ (die Chance auf ein wirklich schlechtes Ergebnis).

Die Wendung: Der Richter und die Zeitmaschine waren uneinig

Dies ist der spielerischste Teil der Geschichte. Richter und Zeitmaschine waren sich nicht immer einig darüber, wer den zweiten oder dritten Platz belegt hatte.

Die ungetrainierte „Basis“-KI (das Rohmodell vor dem Training) war beim Test des Richters schrecklich. Sie erreichte eine Punktzahl von 8,457 und kam auf den letzten Platz. Sie klang unordentlich und ungeschliffen. Aber als die Zeitmaschine ihren Rat prüfte? Da schnitt sie eigentlich ziemlich gut ab! Sie schlug Aktionen vor, die den Gewinn um 0,0170 erhöht hätten, was besser war als jedes einzelne kommerzielle Modell.

Auf der anderen Seite erhielt eines der kommerziellen Modelle (Claude Opus 4.5) eine hervorragende Punktzahl vom Richter (8,982) und klang sehr professionell. Aber die Zeitmaschine sagte: „Warte mal kurz.“ Sie schätzte, dass das Befolgen des Rats dieses Modells tatsächlich Geld kosten würde (ein negativer Lift von -0,0025).

Was das bedeutet

Dieses Paper zeigt, dass man dem „Richter“ nicht einfach vertrauen kann, wenn man wissen will, ob eine KI gut darin ist, Finanzratschläge zu geben. Der Richter mag Ratschläge, die klug klingen und die Regeln befolgen. Die Zeitmaschine kümmert sich darum, ob der Rat tatsächlich funktioniert.

Die neue Methode des Teams, die GRPO mit einem Sicherheitsgate kombiniert, schaffte beides. Sie lernte, Ratschläge zu formulieren, die für den Richter großartig klangen und die in der Zeitmaschine-Prüfung tatsächlich Geld einbrachten. Es bewies, dass man durch das Training eines Open-Source-Modells mit einem intelligenten, sicherheitsorientierten Belohnungssystem die teuren kommerziellen Giganten schlagen kann.

Die Autoren schlagen vor, dass man für hochsensiblen Aufgaben wie Finanzen beide Prüfungen benötigt: eine Rubrik, um sicherzustellen, dass der Rat sicher und gut geschrieben ist, und ein kausales Audit, um sicherzustellen, dass er tatsächlich funktioniert. Wenn man nur nach einem sucht, könnte man von einem Roboter getäuscht werden, der großartig klingt, aber schlecht in Mathe ist. Ihr neuer Roboter hingegen ist sowohl ein großartiger Schreiber als auch ein großartiger Buchhalter.