Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain

Diese Studie stellt eine allgemeine Methode zur Erstellung hochwertiger synthetischer Instruktionsdaten aus domänenspezifischem Vokabular vor, die am Beispiel des japanischen Finanzsektors demonstriert wird und durch Chain-of-Thought-Reasoning zu signifikanten Leistungsverbesserungen bei spezialisierten LLMs führt.

Das Wesentliche

Stellen Sie sich vor, Sie möchten einen sehr klugen, aber noch etwas unerfahrenen Assistenten (eine Künstliche Intelligenz) einstellen, der Ihnen bei komplexen Finanzfragen hilft – etwa bei der Steuererklärung oder der Analyse von Aktienmärkten in Japan.

Das Problem ist: Der Assistent kennt zwar die allgemeine Sprache, aber er versteht die speziellen Fachbegriffe nicht und denkt oft nicht tief genug nach, bevor er antwortet. Er gibt einfach eine vage Antwort, ohne den Weg dorthin zu erklären.

Diese Forscher haben nun eine neue Methode entwickelt, um genau diesen Assistenten zu einem Finanz-Experten mit logischem Denkvermögen zu machen. Hier ist die Geschichte ihrer Arbeit, einfach erklärt:

1. Der Bauplan: Vom Stichwort zum Gespräch

Stellen Sie sich vor, Sie wollen ein riesiges Lehrbuch für Ihren Assistenten schreiben. Anstatt es von Hand zu schreiben (was Jahre dauern würde), haben die Forscher einen automatischen Bauplan erstellt:

• Der Samen: Sie fingen mit einer Liste wichtiger japanischer Finanzbegriffe an (wie „Versicherung", „Aktien" oder „Steuer"). Das sind die Samen.
• Der Wachstumsschub: Eine KI nahm diese Samen und ließ daraus Tausende von Fragen und Aufgaben wachsen. Sie stellte sich vor: „Was würde ein Kunde fragen, wenn er über 'Versicherung' nachdenkt?"
• Das Training mit „Gedankenlauten": Das Besondere an dieser Methode ist, dass sie nicht nur die Antwort generiert haben, sondern auch den Denkprozess.
  • Die Analogie: Stellen Sie sich vor, Sie lernen Schach. Ein schlechter Lehrer sagt nur: „Ziehe den Springer nach links." Ein guter Lehrer sagt: „Ich ziehe den Springer nach links, weil ich damit den gegnerischen König bedrohe und gleichzeitig meine Bauern sichere."
  • Die Forscher haben der KI beigebracht, genau diese „Gedankenlaute" (Chain-of-Thought) zu produzieren. Sie haben eine riesige Bibliothek mit 9,5 Milliarden Wörtern an Trainingsdaten erstellt, die voll sind mit solchen Denkprozessen.

2. Der Test: Wer ist der bessere Finanzberater?

Nachdem sie den Assistenten mit diesem riesigen Lehrbuch trainiert hatten, stellten sie ihn auf die Probe. Sie gaben ihm echte Finanztests, die normalerweise nur menschliche Experten bestehen.

• Das Ergebnis: Der trainierte Assistent war deutlich besser als die Standard-Versionen, die man sonst kaufen kann. Er verstand die japanischen Finanzregeln besser und konnte komplexe Probleme lösen.
• Der Clou: Die Kombination aus „Fachwissen lernen" (durch das Lesen von Finanztexten) und „Logik üben" (durch die Denkprozesse) war der Schlüssel zum Erfolg.

3. Die Überraschung: Mehr Denken ist nicht immer besser

Ein sehr interessanter Teil der Studie war die Frage: „Wie lange sollte der Assistent eigentlich nachdenken, bevor er antwortet?"

Die Forscher testeten verschiedene Längen des Denkprozesses:

• Zu kurz: Der Assistent springt zu schnell zum Ergebnis und macht Fehler.
• Just right (ca. 1024 Wörter): Hier war er am klügsten. Er hatte genug Zeit, alle Aspekte zu prüfen.
• Zu lang: Wenn man ihn zwang, sehr lange zu denken (über 2000 Wörter), wurde er dümmer!
  • Die Analogie: Stellen Sie sich vor, Sie müssen eine Matheaufgabe lösen. Wenn Sie zu lange grübeln, fangen Sie an, denselben Satz immer wieder zu wiederholen oder in einer Endlosschleife zu stecken, statt die Lösung zu finden. Der Assistent fing an, sich im Kreis zu drehen, anstatt tiefer zu graben.

Fazit: Was lernen wir daraus?

Diese Studie zeigt uns zwei wichtige Dinge für die Zukunft der KI:

1. Man kann KI für jede Nische trainieren: Ob Finanzen, Medizin oder Recht – wenn man den richtigen Bauplan (von Fachwörtern zu Denkprozessen) hat, kann man KI-Modelle zu echten Experten machen.
2. Qualität vor Quantität beim Denken: Es bringt nichts, die KI einfach nur länger reden zu lassen. Es kommt auf die Qualität des Denkens an. Ein kurzer, präziser Gedankengang ist oft besser als ein langer, verwirrter Monolog.

Die Forscher haben ihre Werkzeuge und Daten jetzt für alle kostenlos verfügbar gemacht, damit andere Forscher und Entwickler ihre eigenen „Experten-Assistenten" bauen können.

Technische Zusammenfassung

1. Problemstellung

Die Anpassung von Large Language Models (LLMs) an hochspezialisierte Domänen wie Finanzen oder Recht stellt eine große Herausforderung dar. Während herkömmliche Methoden wie das Continued Pre-Training (CPT) erfolgreich Domänenwissen vermitteln, fehlt es oft an der Fähigkeit zu komplexem logischem Schlussfolgern (Reasoning), das für Aufgaben wie Betrugserkennung oder Gewinnprognosen notwendig ist.
Bisherige Ansätze für japanische Finanzdaten konzentrierten sich entweder auf reine Wissensvermittlung ohne Chain-of-Thought (CoT) oder es fehlten skalierbare Methoden, um domänenspezifische Daten mit Reasoning-Traces zu synthetisieren. Es besteht somit eine Lücke zwischen „Domänenwissen" und „Reasoning-Fähigkeiten" in japanischen Finanzanwendungen.

2. Methodik: Pipeline zur Datensynthese

Die Autoren stellen eine allgemeine, domänenagnostische Pipeline vor, um hochwertige synthetische Instruktionsdaten zu erstellen. Der Prozess umfasst folgende Schritte (siehe Abbildung 1 im Paper):

1. Auswahl von Domänen-Topic-Wörtern: Es werden Seed-Wörter (z. B. Branchen, Finanzprodukte) ausgewählt. Um Catastrophic Forgetting (Verlust allgemeiner Fähigkeiten) zu vermeiden, werden auch Wörter aus anderen Domänen gemischt und Sub-Topic-Wörter generiert.
2. Generierung von Instruktionen: Ein LLM generiert basierend auf den Topic-Wörtern Benutzer-Prompts in vier Kategorien: offene Fragen, mathematisches Reasoning, kreatives Schreiben und Multiple-Choice-Fragen.
3. Expansion und Modifikation: Die generierten Prompts werden variiert (Kontext hinzufügen, Format ändern, für spezifische Fälle ausformulieren), um die Vielfalt zu erhöhen.
4. Filterung und Deduplizierung: Qualitätsfilterung mittels N-Grammen und Wortanzahl sowie Entfernungen von Duplikaten (Fuzzy Deduplication mit MinHash/LSH).
5. Generierung von Multi-Turn-Konversationen: Aus den gefilterten Instruktionen werden Dialoge mit mehreren Runden erstellt, die Reasoning-Traces enthalten.
6. Qualitätsfilterung via LLM-as-a-Judge: Ein weiteres LLM (gpt-oss-120b) bewertet die generierten Daten auf Genauigkeit und logische Kohärenz und filtert minderwertige Daten heraus.
7. Integration öffentlicher Datensätze: Zusätzlich wurden öffentliche Mathematik- und Instruktionsdatensätze (z. B. NuminaMath-CoT) verarbeitet, um grundlegende Fähigkeiten zu stärken.

Ergebnis der Datensynthese: Ein Datensatz mit ca. 1,44 Millionen Samples und insgesamt 9,5 Milliarden Token, der speziell auf den japanischen Finanzmarkt zugeschnitten ist.

3. Schlüssige Beiträge

• Allgemeine Synthese-Methode: Entwicklung einer Pipeline, die von domänenspezifischen Vokabeln ausgeht und Reasoning-Traces synthetisiert. Diese Methode ist übertragbar auf andere Fachgebiete.
• Skalierbarer japanischer Finanzdatensatz: Erstellung eines großen Datensatzes (9,5 Mrd. Token) mit CoT-Spuren, der in der Größe und Qualität bisherige japanische Finanzdatensätze übertrifft.
• Analyse der Reasoning-Länge: Eine detaillierte Untersuchung des Einflusses der Länge der Reasoning-Traces auf die Leistung in domänenspezifischen Aufgaben.
• Open Source: Veröffentlichung der Modelle und Datensätze auf HuggingFace.

4. Ergebnisse und Evaluation

Die Modelle wurden auf zwei japanischen Finanz-Benchmarks evaluiert: japanese-lm-fin-harness (Wissen, z. B. Prüfungsfragen) und pfmt-bench-fin-ja (Dialogfähigkeiten).

• Leistungssteigerung: Modelle, die auf dem vorgeschlagenen Datensatz trainiert wurden (SFT), übertrafen offizielle, instruierte Modelle auf den Benchmarks.
  • Das Modell gpt-oss-20b (nach CPT und SFT) erreichte in allen Teilaufgaben bessere Ergebnisse als das offizielle Instruktionsmodell.
  • Das Qwen3-14B zeigte ähnliche Trends mit deutlichen Verbesserungen.
• Effekt von Reasoning-Traces: Der Einsatz von CoT-Traces während der Inferenz steigerte die Leistung um ca. 4,5–5,7 Punkte auf dem Wissens-Benchmark und um ca. 0,4 Punkte auf dem Dialog-Benchmark.
• Einfluss der Trace-Länge:
  • Die Leistung verbessert sich signifikant, wenn die Länge der Reasoning-Traces auf bis zu 1024 Token erhöht wird.
  • Bei Längen von 2048 Token und mehr trat ein abnehmender Grenznutzen ein (Plateau-Effekt).
  • Probleme bei erzwungener Länge: Das Erzwingen langer Traces führte zu Phänomenen wie vorzeitiger Beendigung („Wait, aber die Antwort ist D") oder Endlosschleifen von Bestätigungen ohne实质liches Nachdenken. Das erzwungene Abbrechen der Traces führte zudem zu einem Leistungsabfall im Vergleich zu natürlichen Enden.

5. Bedeutung und Fazit

Die Studie demonstriert, dass synthetische Datengenerierung, die von Topic-Wörtern ausgeht, ein äußerst effektiver Weg ist, um LLMs sowohl domänenspezifisches Wissen als auch Reasoning-Fähigkeiten zu vermitteln.

• Praktische Relevanz: Die Methode ermöglicht die Erstellung von hochspezialisierten LLMs für Bereiche wie Finanzen, Recht oder Medizin, wo Daten knapp und komplex sind.
• Forschungsbeitrag: Die Arbeit liefert wichtige Erkenntnisse darüber, dass längere Reasoning-Traces nicht linear zu besserer Leistung führen und dass die Art der Beendigung der Traces kritisch für die Performance ist.
• Zukunftsausblick: Die Pipeline ist leicht auf andere Hoch-Expertise-Domänen übertragbar und bildet eine Grundlage für die Entwicklung spezialisierter LLMs.

Zusammenfassend zeigt das Paper, dass die Kombination aus Continued Pre-Training (für Wissen) und Supervised Fine-Tuning mit hochwertigen, synthetischen CoT-Daten (für Reasoning) der Schlüssel zur Überwindung der aktuellen Grenzen von LLMs in spezialisierten Domänen ist.