Unlocking Data Value in Finance: A Study on Distillation and Difficulty-Aware Training

Dit artikel introduceert ODA-Fin, een data-gedreven aanpak voor financiële taalmodellen die door middel van hoogwaardige distillatie en difficulty-aware training prestaties verbetert en nieuwe state-of-the-art benchmarks bereikt op diverse financiële taken.

De kern

Stel je voor dat je een zeer slimme, algemene robot hebt die alles kan lezen en begrijpen: van sprookjes tot nieuwsberichten. Maar als je die robot vraagt om een complexe financiële analyse te maken of een belastingaangifte te controleren, faalt hij vaak. Hij maakt rekenfouten, verzonnen feiten (hallucinaties) en begrijpt de specifieke taal van bankiers niet goed.

Dit is precies het probleem dat de auteurs van dit paper proberen op te lossen. In plaats van te proberen de robot "slimmer" te maken door hem meer hersenen (parameters) te geven, hebben ze besloten om zijn opleiding te verbeteren. Ze zeggen: "Het gaat niet om hoe groot de robot is, maar om wat je hem leert."

Hier is de uitleg van hun onderzoek, vertaald naar alledaagse taal:

1. Het Probleem: Een Algemene Chef die geen Boekhouder is

Financiële taken zijn heel anders dan gewoon chatten. Ze vereisen:

• Precisie: Een foutje in een getal kan miljoenen kosten.
• Specifieke taal: Woorden als "dividend" of "hedge" hebben een heel specifieke betekenis.
• Geen verzonnen verhalen: In de finance mag je niet "iets verzinnen" om een vraag te beantwoorden.

De standaardrobots (LLMs) zijn als een zeer intelligente stagiair die alles weet, maar geen ervaring heeft met de strenge regels van de boekhouding.

2. De Oplossing: Twee Stappen in de Opleiding

De auteurs hebben een nieuw trainingsplan bedacht, bestaande uit twee fases. Ze noemen dit een "Data-Centric" aanpak (gericht op de kwaliteit van de lesstof, niet op de robot zelf).

Fase 1: De "Stap-voor-stap" Opleiding (SFT)

Stel je voor dat je de robot leert wiskunde. Als je hem alleen het antwoord geeft ("10 + 10 = 20"), leert hij niet hoe hij erbij komt. Hij raadt misschien.

• Wat ze deden: Ze namen duizenden vragen en antwoordden ze niet alleen, maar ze schreven ook de redenatie op. "Eerst doen we dit, dan dat, en daarom is het antwoord 20."
• De Analogie: Ze hebben een "grote meester" (een supersterke AI) gebruikt om deze stap-voor-stap uitleggen te genereren en te controleren. Ze hebben alle slechte, onduidelijke of dubbele voorbeelden weggegooid.
• Het resultaat: Een enorme verzameling van 318.000 perfecte voorbeelden (ODA-Fin-SFT-318k). De robot leert hierdoor niet alleen het antwoord, maar hoe hij moet denken.

Fase 2: De "Zware Oefeningen" (RL)

Nu de robot de basis kent, moet hij worden getraind op de moeilijkste vragen.

• Het idee: Als je een student alleen makkelijke sommen laat maken, wordt hij niet beter in moeilijke examens. Maar als je hem alleen onmogelijke vragen geeft, raakt hij gefrustreerd.
• De Strategie: Ze hebben een dataset gemaakt van vragen die moeilijk zijn, maar waarvan het antwoord wel zeker is (verifieerbaar). Denk aan: "Wat is de winst van bedrijf X in 2023?" (Antwoord: een specifiek getal).
• De Analogie: Het is alsof je de robot laat trainen met een strenge coach die alleen oefeningen geeft waar de coach zelf zeker weet of het goed of fout is. Als de robot een fout maakt, krijgt hij direct feedback. Als hij het goed doet, krijgt hij een beloning.
• Het resultaat: Een selectie van 12.000 zware, maar eerlijke oefeningen (ODA-Fin-RL-12k).

3. Wat Vonden Ze? (De Resultaten)

Ze hebben hun getrainde robot (ODA-Fin-RL-8B) getest tegen andere financiële robots en zelfs tegen veel grotere, algemene robots.

• De verrassing: Hun robot, die niet groter is dan de standaardversie, deed het beter dan robots die vier keer zo groot waren.
• De les: Kwaliteit van lesmateriaal wint van kwantiteit van hersenen. Door puur te werken met hoogwaardige, gecontroleerde voorbeelden, werd de robot een expert.
• Specifiek: Hij werd extreem goed in rekenen en het analyseren van financiële tabellen, iets waar andere robots vaak faalden.

4. De Gouden Leerlessen (Wat we hieruit leren)

Het paper geeft drie belangrijke inzichten voor de toekomst:

1. Schoon lesmateriaal is koning: Het is beter om 300.000 perfecte, gecontroleerde voorbeelden te hebben dan 700.000 rommelige, ongecontroleerde voorbeelden. "Smeer" (ruwe data) maakt de robot juist dommer.
2. Moeilijk is goed (als het eerlijk is): Om een robot echt slim te maken in een vakgebied, moet je hem uitdagen met moeilijke vragen, maar alleen als je zeker weet of hij het goed heeft gedaan.
3. Niet alles is overdraagbaar: Je kunt geen algemene wiskundekennis zomaar overzetten naar financiën. Financiële regels zijn anders dan pure wiskunde. Je hebt specifieke, vakgebonden training nodig.

Conclusie

De auteurs hebben bewezen dat je geen supercomputer hoeft te bouwen om een financiële expert te maken. Je moet gewoon de beste leraar vinden (de data) en de robot de juiste oefeningen laten doen. Ze hebben al hun datasets en modellen gratis beschikbaar gesteld, zodat iedereen kan leren van hun methode.

Kortom: Goede voeding (data) is belangrijker dan grote spieren (modelgrootte).

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) tonen sterke algemene vaardigheden, maar hun toepassing in de financiële sector blijft uitdagend. Financiële taken vereisen:

• Dichte domeinspecifieke terminologie: Een hoge dichtheid aan vakjargon.
• Strikte numerieke redenering: Nauwkeurige berekeningen en logische inferentie.
• Geen tolerantie voor feitelijke fouten: "Hallucinaties" kunnen leiden tot aanzienlijke economische verliezen.

Bestaande paradigma's richten zich vaak op "Model-Centric" benaderingen (architectuurwijzigingen of schalen van parameters). Het paper stelt echter dat in gespecialiseerde verticale domeinen zoals finance, de prestaties voornamelijk worden bepaald door de kwaliteit, moeilijkheidsgraad en verifieerbaarheid van de post-training data, niet door de modelgrootte of algoritmen alleen. Er ontbreekt een gestructureerd inzicht in wat "hoogwaardige" data in de financiële context precies inhoudt.

Methodologie

De auteurs hanteren een datagedreven (Data-Centric) perspectief en voeren een gecontroleerde empirische studie uit met twee complementaire datasets, gebaseerd op bestaande open-source bronnen (geen proprietaire data):

1. Data Engineering & Constructie

• Bronnen: Verzameling van 697.034 samples uit meer dan 25 open-source repositories (o.a. Finance-Instruct, DianJin-R1, Agentar-DeepFinance).
• Pipeline voor SFT (Supervised Fine-Tuning):
  • Semantische Deduplicatie: Verwijdering van dubbele content met Qwen3-Embedding-8B.
  • Redenering Synthese (Distillatie): Het genereren van Chain-of-Thought (CoT) traces voor vragen die deze missen, gebruikmakend van een groot redenerend model (Qwen3-235B-A22B-Thinking).
  • Verificatie: Een adaptief verificatieprotocol. Korte antwoorden worden gecontroleerd met CompassVerifier-7B, lange antwoorden met een groter model als "judge". Foutieve samples worden verwijderd.
  • Lengte-filtering: Verwijdering van samples >16.384 tokens.
  • Resultaat: ODA-Fin-SFT-318k (318.000 hoogwaardige CoT-samples).
• Pipeline voor RL (Reinforcement Learning):
  • Selectie van "hard-but-verifiable" samples (taken die moeilijk zijn maar betrouwbaar te scoren).
  • Filteren op samples met een faalpercentage >50% door de SFT-modellen.
  • Beperking van de lengte van het eindantwoord (<16 tokens) om betrouwbare online verificatie mogelijk te maken.
  • Resultaat: ODA-Fin-RL-12k (12.000 gecureerde samples).

2. Trainingsproces

• SFT: Training op de ODA-Fin-SFT-318k dataset om een sterke basis van instructie-opvolging en domeinkennis te leggen.
• RL: Training met Group Relative Policy Optimization (GRPO).
  • Beloningssysteem: Een combinatie van format-beloning (correcte <thought> tags) en correctheidsbeloning.
  • Verificatie: Gebruik van CompassVerifier-7B voor realtime beloning, met een focus op korte, verifieerbare antwoorden om ruis te minimaliseren.

Belangrijkste Bijdragen

1. ODA-Fin-SFT-318k: Een gecurateerde dataset van 318k samples, gegenereerd via multi-stadia distillatie en verificatie, die hoogwaardige CoT-supervisie biedt.
2. ODA-Fin-RL-12k: Een dataset specifiek ontworpen voor RL, gefocust op moeilijke maar verifieerbare taken om generalisatie te verbeteren.
3. Empirisch Bewijs voor Data-Centric AI: Het paper toont aan dat in financiële domeinen de kwaliteit en selectie van data (zuiverheid, redeneringsdiepte, verifieerbaarheid) belangrijker zijn dan het toevoegen van algemene data of het schalen van het model.
4. Open Source Release: De datasets en de getrainde modellen (ODA-Fin-SFT-8B en ODA-Fin-RL-8B) zijn openbaar gemaakt om reproduceerbaar onderzoek te stimuleren.

Resultaten

De modellen zijn getraind op de Qwen3-8B basis en geëvalueerd op 9 benchmarks (algemene financiële kennis, sentimentanalyse, numerieke redenering).

• Algemene Prestaties: ODA-Fin-RL-8B behaalt een gemiddelde score van 74.6%, wat het beste resultaat is voor een open-source model van 8B parameters. Het presteert vergelijkbaar met het veel grotere Qwen3-32B (74.7%) en overtreft alle andere gespecialiseerde financiële LLMs van vergelijkbare grootte (zoals Fin-R1-7B en DianJin-R1-7B).
• Numerieke Redenering: Er is een aanzienlijke verbetering in taken zoals FinQA, TaTQA en ConvFinQA. Op TaTQA (tabel- en tekstredenering) scoort het model 89.3%, wat beter is dan de Qwen3-32B (85.1%).
• Ablatie Studies:
  • Data Kwaliteit: Training op ruwe data (zonder distillatie) leidt tot een prestatiedaling bij krachtigere basismodellen (Qwen3-8B), wat aantoont dat ruis in data schadelijker is naarmate het model capabeler wordt.
  • Volledige CoT: Training op de volledige 318k gedistilleerde CoT-dataset levert consistent betere resultaten op dan het mengen met ruwe data of algemene wiskundige datasets (wat negatieve transfer veroorzaakte).
  • RL Strategie: De combinatie van een model-based verifier en een lengtebeperking van 16 tokens voor antwoorden bleek de optimale balans tussen precisie en diversiteit.

Betekenis en Conclusie

Dit paper markeert een verschuiving van een "Model-Centric" naar een "Data-Centric" paradigma in de financiële AI. De belangrijkste inzichten zijn:

• Data Engineering > Naïef Schalen: Systematische distillatie en verificatie van open-source data presteren beter dan het trainen op grotere, ongestructureerde corpora.
• Redenering vs. Kennis: Financiële intelligentie vereist het beheersen van domeinspecifieke logica (via RL op moeilijke taken) in plaats van alleen kennisaccumulatie.
• Negatieve Transfer: Het willekeurig mengen van algemene data (zoals wiskunde) met financiële data kan de gespecialiseerde vaardigheden van het model aantasten.

Het onderzoek onderstreept dat de waarde van datasets ligt in strikte kwaliteitsborging en domein-afstemming, en biedt een blauwdruk voor het ontwikkelen van robuuste financiële AI-systemen zonder afhankelijkheid van proprietaire data.