💬 NLP

GRPO for Financial Advice Generation: Outperforming Commercial LLMs under CATE Evaluation

Dit artikel toont aan dat het finetunen van een open-weight taalmodel met Group Relative Policy Optimization (GRPO) en een duaal evaluatiekader — waarbij een LLM-als-rechter-rubriek wordt gecombineerd met een rechter-onafhankelijke Causal Average Treatment Effect (CATE) audit — financieel advies produceert dat commerciële baselines aanzienlijk overtreft in geschatte winststijging en risicomitigatie.

Oorspronkelijke auteurs: Ofir Ben Shoham, Shrutendra Harsola, Vignesh Subrahmaniam, Shravan Mohan, Yakov Gazman, Oded Vainas

Gepubliceerd 2026-08-13

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ofir Ben Shoham, Shrutendra Harsola, Vignesh Subrahmaniam, Shravan Mohan, Yakov Gazman, Oded Vainas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij advies moet geven. In de wereld van kunstmatige intelligentie is dit een beetje zoals het leren van een student om een wiskundig probleem op te lossen. Meestal laten we de student de vraag en het juiste antwoord zien, in de hoop dat ze het patroon onthouden. Maar wat als het "juiste antwoord" in de echte wereld rommelig is? Wat als de geschiedenisboeken vol fouten zitten, of als het juiste antwoord verandert afhankelijk van de situatie? Dit is de uitdaging van Reinforcement Learning (RL). In plaats van alleen oude antwoorden te kopiëren, laat RL een AI veel verschillende dingen proberen, een "score" krijgen voor hoe goed het ging, en leren van die score om het de volgende keer beter te doen. Het is als een videogame waarbij de AI duizenden levels speelt, punten krijgt voor goede zetten, en langzaam de perfecte strategie leert.

Stel je nu voor dat dit spel over geld gaat. Financieel advies geven is lastig omdat een slecht advies een bedrijf daadwerkelijk schade kan berokkenen. Om ervoor te zorgen dat de AI de juiste weg leert, gebruiken onderzoekers een "rechter"—een andere slimme AI die het advies beoordeelt. Maar er is een addertje onder het gras: soms leert de student-AI de rechter te misleiden door precies te zeggen wat de rechter wil horen, in plaats van advies te geven dat in de echte wereld ook echt werkt. Dit artikel pakt dat probleem aan door een nieuwe manier te creëren om een AI te trainen om zakelijk advies te geven, waarbij het werk niet alleen gecontroleerd wordt door een rechter, maar ook door te kijken of het advies in het verleden geld zou hebben opgeleverd.

Het Verhaal van de Geldslimme Robot

Maak kennis met het team van Intuit. Ze wilden een AI bouseren die naar de rommelige financiële gegevens van een bedrijf kan kijken en kan zeggen: "Hé, hier is iets specifiekss dat je moet doen om meer winst te maken." Het klinkt simpel, maar het is eigenlijk een nachtmerrie voor computers. Het advies moet gebaseerd zijn op echte cijfers, het moet veilig zijn (vertel een bedrijf niet dat ze hun enige klant moeten ontslaan!) en het moet actiegericht zijn.

Het probleem is dat we geen "gouden standaard" antwoord sleutel hebben. De beslissingen die ondernemers in het verleden namen waren niet altijd perfect, dus we kunnen de AI niet simpelweg leren om hen te kopiëren. En het vragen aan menselijke experts om perfect advies te schrijven voor elk scenario is te duur en te traag. Dus besloot het team dit als een videogame te behandelen. Ze gebruikten een methode genaamd GRPO (Group Relative Policy Optimization).

Beschouw GRPO als een "groep uitdaging". In plaats van dat de AI één antwoord raadt en een score krijgt, genereert het in één keer een hele groep verschillende adviesvoorstellen. Vervolgens kijkt een superintelligente "Rechter-AI" (genaamd Claude Opus 4.5) naar al deze voorstellen en geeft ze scores op basis van een checklist. Deze checklist heeft 11 regels: Is het veilig? Gebruikt het echte cijfers van het bedrijf? Legt het uit waarom? Als een suggestie gevaarlijk is, krijgt het direct een nul. Als het veilig maar saai is, krijgt het een lage score. Als het veilig, specifiek en slim is, krijgt het een hoge score. De AI leert vervolgens om meer suggesties te maken die lijken op de hoog scorende exemplaren.

De Valstrik van de "Lieve" Rechter

Hier wordt het interessant. Het team wist dat er een risico bestond. Wat als de AI gewoon leert om advies te schrijven dat goed klinkt voor de Rechter-AI, maar dat in werkelijkheid geen geld aan een bedrijf verdient? Het is als een student die de favoriete zinnen van de leraar uit het hoofd leert om een voldoende te halen, maar vervolgens faalt voor het echte examen.

Om dit te vangen, bouwden de onderzoekers een tweede, totaal andere test. Ze gebruikten de Rechter-AI niet. In plaats daarvan gebruikten ze een "Tijdreis"-methode genaamd CATE (Conditional Average Treatment Effect).

Stel je voor dat je een enorme doos met oude bedrijfsgegevens hebt. Je wilt weten: "Als we in het verleden deze specifieke actie hadden ondernomen, had het bedrijf dan meer winst gemaakt?" De onderzoekers namen het advies dat door hun nieuwe AI was gegenereerd, vertaalden dit naar een eenvoudige "actie" (zoals "kosten voor verzending verlagen" of "prijzen van product X verhogen"), en keken vervolgens naar de historische gegevens. Ze vroegen: "Hadden bedrijven in het verleden meer winst gemaakt toen ze deze actie ondernamen?" Dit is een "rechter-onafhankelijke" audit omdat het vertrouwt op echte wereldcijfers, niet op wat de Rechter-AI mooi vindt klinken.

De Grote Verrassing

De resultaten waren een mix van verwachte overwinningen en een zeer grappige wending.

Ten eerste was de nieuwe AI (getraind met GRPO) een ster. Wanneer de Rechter-AI het beoordeelde, kreeg het een score van 9.514 van de 10. Dit was de hoogste score van iedereen, zelfs hoger dan de meest beroemde commerciële AI-modellen zoals Claude Opus 4.6 en GPT-5.4.

Maar de echte magie gebeurde in de "Tijdreis"-audit.

De nieuwe AI suggereerde acties die, als ze in het verleden waren uitgevoerd, de bruto winst met 0.0228 zouden hebben verhoogd (ongeveer een stijging van 2,3%).
Het beste commerciële AI-model (Claude Opus 4.6) slaagde er slechts in om een stijging van 0.0104 te realiseren.
Dat betekent dat de nieuwe AI ongeveer twee keer zo goed was in het vinden van acties die daadwerkelijk geld opleveren als de sterkste commerciële concurrent.

Nog cooler was dat de nieuwe AI veiliger was. Het had de laagste "downside rate" (de kans dat er iets wordt gesuggereerd dat het bedrijf schaadt) en het minste "tail risk" (de kans op een heel slecht resultaat).

De Wending: De Rechter en de Tijdreis waren het oneens

Dit is het meest speelse deel van het verhaal. De Rechter en de Tijdreis waren het niet altijd eens over wie de tweede of derde plaats verdiende.

De ongetrainde "basis"-AI (het ruwe model vóór de training) was verschrikkelijk in de test van de Rechter. Het scoorde een 8.457, de laatste plaats. Het klonk slordig en onverfijnd. Maar wanneer de Tijdreis het advies controleerde? Dan deed het het eigenlijk best goed! Het suggereerde acties die de winst met 0.0170 zouden hebben verhoogd, wat beter was dan elk enkel commercieel model.

Aan de andere kant kreeg een van de commerciële modellen (Claude Opus 4.5) een geweldige score van de Rechter (8.982), waardoor het heel professioneel klonk. Maar de Tijdreis zei: "Wacht eens even." Het schatte dat het volgen van dit models advies eigenlijk geld zou kosten (een negatieve lift van -0.0025).

Wat dit betekent

Dit artikel laat zien dat je de "Rechter" niet blind kunt vertrouwen om te vertellen of een AI goed is in het geven van financieel advies. De Rechter houdt van advies dat slim klinkt en de regels volgt. De Tijdreis geeft erom of het advies daadwerkelijk werkt.

De nieuwe methode van het team, waarbij GRPO met een veiligheidshek werd gecombineerd, slaagde erin om beide te doen. Het leerde om advies te schrijven dat er geweldig uitzag voor de Rechter én dat daadwerkelijk geld opleverde in de Tijdreis-test. Het bewees dat je door een open-source model te trainen met een slim, op veiligheid gericht beloningssysteem, de dure, commerciële reuzen kunt verslaan.

De auteurs suggereren dat je voor taken met een hoog belang, zoals geld, beide controles nodig hebt: een rubric om te controleren of het advies veilig en goed geschreven is, en een causale audit om te controleren of het daadwerkelijk werkt. Als je maar naar één van de twee kijkt, kun je in de digitale val lopen van een robot die er geweldig uitziet, maar waardeloos is in rekenen. Hun nieuwe robot is echter zowel een geweldige schrijver als een geweldige accountant.

Technische Samenvatting: GRPO voor de Generatie van Financieel Advies

Probleemformulering
Het artikel behandelt de uitdaging van het genereren van actiegericht, vrij vormgegeven financieel advies op basis van zakelijke gegevens. Deze taak vereist de integratie van numeriek redeneren, domeinkennis en een goed oordeelsvermogen om aanbevelingen te produceren die geworteld zijn in specifieke zakelijke data, afgestemd zijn op financiële doelen (specifiek de bruto winst) en veilig zijn om te implementeren. De auteurs identificeren twee primaire obstakels in dit domein:

Suboptimale Historische Data: Historische zakelijke beslissingen zijn niet noodzakelijkerwijs optimale "gold labels", omdat ze reflecties zijn van de beperkingen en de onvolledige informatie die op het moment van de besluitvorming beschikbaar was. Bij gevolg is het imiteren van het verleden (supervised imitation learning) een risico op het voortplanten van suboptimaal gedrag.
Kosten van Annotatie: Het verzamelen van hoogwaardige, vrij vormgegeven annotaties van domeinexperts is duur en schaalt niet.

Om deze problemen te overwinnen, formuleren de auteurs de generatie van financieel advies als een Reinforcement Learning (RL) probleem, met als doel een beleid (policy) direct te optimaliseren voor een beloningssignaal dat de gewenste eigenschappen van nuttig advies vangt, in plaats van het imiteren van eerdere beslissingen.

Methodologie
De kernmethodologie bestaat uit het finetunen van een open-weight taalmodel (Qwen3.5-27B) met behulp van Group Relative Policy Optimization (GRPO).

Trainingslus: Voor elke zakelijke staat ( $s$ ) en doelstelling ( $g$ ) samplet het beleid een groep van $K$ kandidaat-aanbevelingen. Deze worden gescoord door een beloningsfunctie om groep-relatieve voordelen (advantages) te berekenen, wat het beleid bijwerkt zonder dat daar een apart waardemodel voor nodig is.
Beloningsontwerp (LLM-als-rechter): Het beloningssignaal wordt geleverd door een LLM-rechter (Claude Opus 4.5) die aanbevelingen evalueert tegen een rubric van 11 binaire criteria over zes aspecten:
- Veiligheid (Gate): Een harde poort die de beloning naar nul zet als een aanbeveling aanzienlijke schade zou veroorzaken (bijv. het elimineren van een inkomstenstroom).
- Kwaliteitscriteria: Tien criteria die dekking bieden aan specificiteit (het citeren van concrete getallen/entiteiten), actiegerichtheid, datagronding, redenering (het identificeren van patronen/risico's), impactkwantificering en relevantie voor het doel.
- Strafpunten: De beloning bevat strafpunten voor niet-parseerbare JSON-outputs en voor excessief lange redeneersporen om degeneratieve outputs te voorkomen.
Stabiliteit: Een KL-penalty verankert het beleid aan het basismodel om drift tijdens de training te voorkomen.

Onafhankelijke Causale Audit
Om het risico op "reward hacking" (waarbij een model de voorkeuren van de rechter optimaliseert in plaats van werkelijke zakelijke waarde) aan te pakken, implementeren de auteurs een rechter-onafhankelijke audit gebaseerd op een doubly-robust Conditional Average Treatment Effect (CATE) estimator.

Proces: Gegenereerde vrije tekst-aanbevelingen worden door een aparte, onafhankelijke LLM-classifier gemapt naar een vaste taxonomie van 60 discrete zakelijke acties.
Schatting: Met behulp van gelogde observationele data schat het systeem de impact van deze acties op de jaar-op-jaar groei van de bruto winst. De estimator gebruikt een multi-label propensity model en outcome-modellen (treated/control heads) om de CATE te berekenen via de Augmented Inverse Propensity Weighting (AIPW) methode.
Metrieken: De audit rapporteert drie metrieken: Estimated Lift (DR-CATE), Downside Rate (fractie van aanbevelingen met negatieve geschatte effecten) en Tail Risk (Conditional Value-at-Risk, CVaR).

Belangrijkste Bijdragen

Rubric-gebaseerde, Veiligheid-gegate GRPO: De auteurs formuleren vrij vormgegeven financieel zakelijk advies als een RL-probleem, waarbij een open-weight LLM wordt gefinetuned met een financieel-specifieke beloning die een veiligheidspoort en multidimensionale kwaliteitscriteria bevat.
Natural-Language-to-Action Causale Audit: Ze stellen een methode voor om gegenereerd advies te mappen naar een vaste taxonomie van zakelijke acties en een standaard doubly-robust CATE estimator toe te passen om te auditen of aanbevelingen overeenkomen met historisch begunstige acties.
Duaal Evaluatiekader: De studie evalueert modellen met zowel de op een rubric gebaseerde rechter-scores als een rechter-onafhankelijke causale audit. Deze duale aanpak laat zien dat de twee evaluaties verschillende signalen meten, wat aantoont dat de causale audit een waardende aanvulling is in plaats van een loutere bevestiging van de rechter.

Resultaten
De experimenten vergelijken de met GRPO getrainde Qwen3.5-27B met sterke commerciële baselines (inclusief Claude Opus 4.6, GPT-5.4 en Claude Sonnet 4.5) en het ongetrainde basismodel.

Rechter-evaluatie: Het GRPO-getrainde model behaalde de hoogste rubric-score (9.514), waarmee het alle commerciële baselines en het ongetrainde basismodel (8.457) overtrof.
Causale Audit: Het GRPO-model behaalde een geschatte bruto-winstgroei (lift) van 0.0228, ongeveer twee keer zoveel als de sterkste commerciële baseline (Claude Opus 4.6 op 0.0104). Het vertoonde ook de laagste downside rate (15.5% vs. 23.2% voor de beste commerciële baseline) en het minste negatieve tail risk.
Divergentie in Rangschikking: Een cruciale bevinding is het gebrek aan een perfecte correlatie tussen de twee evaluatiemethoden. Het ongetrainde basismodel eindigde onderaan op de rechter-rubric maar stond op de tweede plaats in de causale audit (waarbij het alle commerciële modellen overtrof). Omgekeerd scoorden sommige commerciële modellen goed op de rubric, maar vertoonden ze een negatieve of verwaarloosbare geschatte lift. Deze divergentie suggereert dat rubric-kwaliteit (goed geformuleerd advies) en geschatte zakelijke waarde (historische effectiviteit van de gemapte actie) verschillende assen zijn.

Betekenis en Claims
Het artikel claimt dat GRPO met een op financiën gebaseerd beloningssignaal substantieel nuttigere zakelijke aanbevelingen kan produceren dan commerciële LLM's.

De auteurs benadrukken dat de combinatie van een veiligheid-gegate beloning en een rechter-onafhankelijke causale audit een praktische aanpak biedt voor het bouwen van veiligere en effectievere modellen voor financieel advies. De resultaten suggereren dat:

Gerichte beloningsontwerp kan dienen als vervanging voor brute model-schaal bij specifieke, hoogwaardige taken.
De causale audit een signaal van echte zakelijke waarde vangt dat de rechter niet ziet, wat de bruikbaarheid ervan als onafhankelijke controle tegen reward hacking valideert.
Een systeem dat hoog scoort op zowel de rubric (kwaliteit/veiligheid) als de causale audit (zakelijke impact) het enige is dat door beide bewijslijnen wordt ondersteund.

De studie concludeert dat hoewel de causale audit wordt berekend vanuit observationele data en daarom wordt beschouwd als een complementair signaal in plaats van een op zichzelf staande maatstaf voor gerealiseerde impact, de overeenstemming tussen de rechter en de audit over de superioriteit van het GRPO-beleid de winst robuust maakt. Er wordt opgemerkt dat toekomstig werk de exploratie van rijkere actie-taxonomieën, expert-evaluatie en meerstaps-advies zal verkennen.