Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain

Dit onderzoek presenteert een algemene methode voor het genereren van synthetische instructiedata met Chain-of-Thought-resonanties op basis van domeinspecifieke vocabulaire om domeinspecifieke LLM's te verbeteren, wat succesvol is aangetoond in de Japanse financiële sector met een dataset van 9,5 miljard tokens.

De kern

Stel je voor dat je een zeer slimme, universele robot hebt die alles weet over de wereld: geschiedenis, koken, wiskunde en zelfs hoe je een broodje maakt. Maar als je deze robot vraagt: "Wat betekent deze complexe verzekeringsovereenkomst in het Japans?" of "Hoeveel winst maakt dit bedrijf als de yen zakt?", dan komt hij in de problemen. Hij weet de woorden, maar hij mist de specifieke logica en de diepgaande kennis van dat ene vakgebied.

Dit is precies het probleem dat de auteurs van dit paper proberen op te lossen. Ze hebben een nieuwe manier bedacht om een "financieel genie" te maken uit een algemene robot, specifiek voor de Japanse markt.

Hier is hoe ze dat deden, vertaald in alledaags taal:

1. Het Bouwen van een "Gouden Bibliotheek" (De Dataset)

In plaats van de robot duizenden boeken te laten lezen (wat vaak niet genoeg is voor redeneren), hebben ze een synthetische bibliotheek gebouwd.

• De Start: Ze begonnen met een lijstje van sleutelwoorden, zoals "verzekering", "beurs" of "belasting".
• De Creatie: Ze gaven deze woorden aan een super-slimme AI en vroegen: "Maak hier 100 verschillende vragen over, en leg stap voor stap uit hoe je het antwoord vindt."
• De "Gedachtenstroom" (Chain-of-Thought): Dit is het belangrijkste. Normaal gesproken geeft een robot direct het antwoord. Deze methforceert de robot om eerst een denkproces te schrijven, net als een mens die op een kladblaadje rekent voordat hij het eindresultaat opschrijft.
• De Filter: Ze lieten de robot zelf de slechte antwoorden verwijderen (zoals een strenge leraar die fouten in een proefwerk corrigeert) en zorgden dat de vragen niet te kort of te saai waren.

Het resultaat? Een gigantische verzameling van 9,5 miljard woorden aan oefenmateriaal, vol met voorbeelden van hoe je logisch moet nadenken over geldzaken in Japan.

2. De Oefening: Van Student tot Expert

Ze namen twee bestaande robots (Qwen en gpt-oss) en lieten ze op deze nieuwe bibliotheek studeren.

• Stap 1 (CPT): Eerst lieten ze de robots een "cursus" volgen over financiële teksten om de basiswoorden te leren.
• Stap 2 (SFT): Vervolgens lieten ze ze de "Gouden Bibliotheek" doornemen, waarbij ze moesten oefenen met het uitleggen van hun denkproces voordat ze het antwoord gaven.

Het resultaat? De robots werden veel beter dan hun officiële, kant-en-klare versies. Ze konden nu niet alleen feiten opzoeken, maar ook complexe financiële problemen oplossen door stap-voor-stap te redeneren.

3. De Belangrijkste Leerles: Hoeveel "Denktijd" is genoeg?

Een van de coolste ontdekkingen in dit onderzoek gaat over de lengte van het denkproces.

Stel je voor dat je een wiskundepuzzel oplost:

• Als je te snel antwoordt (te kort denkproces), maak je fouten.
• Als je langzaam nadenkt (een redelijk lang denkproces), krijg je het goed.
• Maar wat als je te lang blijft nadenken?

De onderzoekers ontdekten dat er een optimum is (rond de 1024 "tokens" of denkstappen).

• Te kort: De robot haast zich en maakt fouten.
• Te lang: De robot begint in een cirkel te draaien. Hij blijft maar zeggen: "Ja, het antwoord is X, dus het antwoord is X..." zonder echt nieuwe inzichten te krijgen. Het is alsof iemand die te lang over een simpele vraag nadenkt, zichzelf in de war raakt.

Waarom is dit belangrijk?

Vroeger dachten we dat "meer data" altijd "beter" was. Dit paper laat zien dat kwaliteit en de manier van denken belangrijker zijn.

Het is alsof je iemand niet alleen duizenden recepten geeft, maar hem ook leert hoe hij moet nadenken over ingrediënten, smaken en combinaties. Door deze methode te gebruiken, kunnen we AI's maken die niet alleen "weten" wat er in de krant staat, maar die ook echt begrijpen wat het betekent voor de economie, en dat kunnen uitleggen in het Japans.

Kortom: Ze hebben een manier gevonden om AI's te trainen om niet alleen te antwoorden, maar om te redeneren, en ze hebben ontdekt dat er een "gouden middenweg" is voor hoe lang je moet nadenken voordat je het antwoord geeft.

Technische samenvatting

Probleemstelling

Het aanpassen van Large Language Models (LLMs) aan specifieke, hoogspecialistische domeinen zoals financiën en recht blijft een uitdaging. Traditionele methoden, zoals Continued Pre-Training (CPT), zijn effectief voor het verwerven van domeinkennis, maar ze adresseren vaak niet de noodzaak voor geavanceerde logische redeneervermogen die nodig is voor complexe taken (zoals fraudeopsporing of winstprognoses).

Hoewel er algemene datasets bestaan voor Supervised Fine-Tuning (SFT) met Chain-of-Thought (CoT) redeneringstraces, ontbreekt het aan methoden om grote schaal, domeinspecifieke datasets (met name in het Japans) te construeren die zowel diepgaande kennis als logische redeneertraces bevatten. Bestaande Japanse financiële datasets missen vaak de CoT-component of zijn beperkt in schaal.

Methodologie

De auteurs stellen een generiek pipeline voor het synthetisch genereren van instructiedata voor, dat start bij domeinspecifieke vocabulaire en eindigt met een gefilterde dataset met CoT-traces. De pipeline bestaat uit de volgende stappen:

1. Selectie van Domein-Topicwoorden:

   • Startpunten (seed words) worden geselecteerd op basis van sectoren, financiële producten en technologieën.
   • Om catastrophic forgetting (het vergeten van algemene kennis) te voorkomen, worden ook seed words uit andere domeinen gemixt.
   • Er worden sub-topicwoorden gegenereerd voor elk seed word.

2. Generatie van Instructies:

   • Een LLM genereert gebruikersprompten (instructies) gebaseerd op de sub-topicwoorden.
   • Er wordt gevarieerd in vier taaktypen: open vragen, wiskundig redeneren, creatief schrijven en meerkeuzevragen.

3. Expansie en Modificatie:

   • Om de diversiteit te vergroten, worden instructies uitgebreid door context toe te voegen, formaten te wijzigen (bijv. van tekst naar tabel), en te herschrijven voor specifieke casussen.

4. Filtering en Deduplicatie:

   • Kwaliteitscontrole via n-gram filtering en woordtelling (met MeCab voor tokenisatie).
   • Deduplicatie met behulp van MinHash en LSH (Locality Sensitive Hashing) om dubbele of zeer vergelijkbare data te verwijderen.

5. Generatie van Meerdere Ronden (Multi-turn):

   • Op basis van de gefilterde instructies worden dialogen gegenereerd waarbij de eerste ronde de instructie is, en daaropvolgende ronden wisselende prompts en antwoorden met CoT-traces bevatten.

6. Kwaliteitsfiltering (LLM-as-a-Judge):

   • Een LLM (gpt-oss-120b) fungeert als rechter om te beoordelen of de data domeinkennis correct weergeeft en logisch redeneert. Data met lage scores wordt verwijderd.

7. Integratie van Publieke Datasets:

   • Om fundamentele vaardigheden te versterken, worden wiskundige datasets (NuminaMath-CoT) en instructievolgende datasets (smol-constraints) toegevoegd, waarbij alleen de vraagdelen worden verwerkt.

Training:
De gegenereerde dataset (ca. 9,5 miljard tokens, ~1,44 miljoen samples) werd gebruikt voor SFT op twee basismodellen: Qwen3-14B-Base en gpt-oss-20b. Eerst werd Continued Pre-Training (CPT) uitgevoerd op een Japans financieel corpus, gevolgd door SFT.

Belangrijkste Bijdragen

• Generieke Constructie-Pipeline: Een bewezen methode om synthetische instructiedata met CoT-traces te genereren, startend bij domeinwoorden, toepasbaar op elk expertisedomein.
• Grootschalige Japans-Financiële Dataset: De creatie van een dataset van 9,5 miljard tokens specifiek voor het Japanse financiële domein, inclusief redeneertraces.
• Analyse van Redeneertrace-Lengte: Een empirisch onderzoek naar de impact van de lengte van de CoT-trace op de prestaties in domeinspecifieke taken, wat een kritieke nuance toevoegt aan bestaand onderzoek dat zich voornamelijk op wiskunde richtte.
• Open Source: De modellen en datasets zijn beschikbaar gesteld op HuggingFace.

Resultaten

De evaluatie vond plaats op twee financiële benchmarks: japanese-lm-fin-harness (kennis en examenvragen) en pfmt-bench-fin-ja (financiële dialoogcapaciteiten).

• Prestatieverbetering: Modellen getraind met de voorgestelde dataset (CPT + SFT) presteerden beter dan officiële instructie-geoptimaliseerde modellen op de benchmarks.
  • gpt-oss-20b overtrof de officiële modellen op alle subtaken.
  • Qwen3-14B toonde vergelijkbare verbeteringen, behalve bij enkele specifieke taken.
• Effect van CoT: Het gebruik van redeneertraces tijdens inferentie verbeterde de prestaties met ongeveer 4,5–5,7 punten op de kennis-benchmark en 0,4 punten op de dialoog-benchmark.
• Impact van Trace-Lengte:
  • Prestaties verbeterden aanzienlijk bij het verlengen van de trace tot 1024 tokens.
  • Boven de 2048 tokens werd er geen significante verbetering meer gezien (diminishing returns).
  • Problemen bij lange traces: Bij zeer lange traces (4096+ tokens) vertoonden modellen "output loops" (herhaling van conclusies) of vroegtijdige beëindiging van het redeneren ("Wait, maar het antwoord is D"), wat leidde tot geen echte verdieping.
  • Het forceren van een eindlengte leidde tot prestatieverlies vergeleken met natuurlijke beëindiging, wat suggereert dat de manier waarop redenering wordt gestopt belangrijk is.

Betekenis en Conclusie

De studie demonstreert dat synthetische data-generatie, gebaseerd op topicwoorden en verrijkt met CoT-traces, een krachtige strategie is om LLMs niet alleen kennis te laten verwerven, maar ook redeneervaardigheden in specifieke domeinen te ontwikkelen.

De bevindingen over de optimale lengte van redeneertraces (rond de 1024 tokens voor deze specifieke taken) bieden waardevolle inzichten voor het trainen van "reasoning models" in expertisedomeinen. De methode is schaalbaar en toepasbaar op andere hoogspecialistische domeinen (zoals wet of geneeskunde), wat een fundament legt voor de ontwikkeling van toekomstige domeinspecifieke LLMs.