Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain

Cette étude propose une méthode générale pour construire des données d'instruction synthétiques de haute qualité à partir de vocabulaire spécifique, démontrée dans le domaine financier japonais avec un ensemble de données de 9,5 milliards de tokens incluant des traces de raisonnement, ce qui améliore les performances des modèles de base sur des benchmarks financiers.

L'essentiel

Imaginez que vous essayez d'enseigner à un génie très intelligent (une Intelligence Artificielle) comment devenir un expert financier japonais. Le problème ? Ce génie est déjà très cultivé, mais il ne connaît pas les règles spécifiques de la finance, et surtout, il a tendance à donner des réponses rapides sans vraiment réfléchir.

Voici comment les auteurs de cette étude ont résolu le problème, expliqué simplement avec des images du quotidien :

1. Le Problème : Le "Génie" qui a besoin d'un stage

Les modèles d'IA actuels sont comme des étudiants brillants qui ont lu tous les livres du monde, mais qui n'ont jamais travaillé dans une banque. Si vous leur posez une question complexe sur la fiscalité japonaise, ils peuvent inventer des réponses ou sauter les étapes de logique. Ils ont besoin de deux choses :

• Des connaissances spécifiques (comme un stage en entreprise).
• Une méthode de réflexion (comme apprendre à ne pas répondre avant d'avoir pensé).

2. La Solution : L'Usine à Questions "Sur Mesure"

Au lieu de chercher des milliers de documents financiers existants (ce qui est rare et souvent en anglais), les chercheurs ont construit leur propre "usine" pour créer des exercices de réflexion.

• L'Ingrédient de départ (Les Mots-clés) : Ils ont commencé par une liste de mots-clés financiers (comme "assurance", "bourse", "planning financier"). C'est comme choisir les ingrédients pour un grand banquet.
• Le Cuisinier (L'IA Génératrice) : Ils ont demandé à une autre IA très puissante de créer des milliers de questions et de scénarios à partir de ces mots.
• L'Étudiant Modèle (La Chaîne de Pensée) : Le plus important, c'est que pour chaque question, l'IA a été forcée d'écrire son chemin de pensée avant de donner la réponse. Imaginez un élève qui doit écrire : "D'abord, je regarde les règles, ensuite je fais le calcul, puis je vérifie..." avant de dire "La réponse est B". C'est ce qu'on appelle la "Chaîne de Pensée" (Chain-of-Thought).
• Le Filtre (Le Contrôleur Qualité) : Comme dans une usine, ils ont jeté les questions mal formulées ou les réponses illogiques. Ils ont utilisé un "juge" (une autre IA) pour ne garder que les meilleurs exercices.

Au final, ils ont créé une bibliothèque gigantesque de 9,5 milliards de mots (c'est énorme !), remplie d'exercices financiers japonais où l'IA apprend à réfléchir pas à pas.

3. L'Expérience : Entraîner le Génie

Ils ont pris deux modèles d'IA de base et les ont fait "étudier" cette nouvelle bibliothèque :

1. Phase 1 (Le Stage) : D'abord, ils les ont plongés dans des textes financiers pour qu'ils apprennent le vocabulaire (comme lire des manuels d'entreprise).
2. Phase 2 (L'Entraînement) : Ensuite, ils les ont fait travailler sur les exercices de réflexion qu'ils ont créés.

Le résultat ? Les IA entraînées sont devenues bien meilleures que les versions officielles, même sur des examens financiers difficiles. Elles ne se contentent plus de deviner ; elles raisonnent.

4. La Découverte Intéressante : La Longueur de la Réflexion

Les chercheurs se sont demandé : "Plus l'IA réfléchit longtemps, mieux elle réussit ?"

Ils ont découvert une règle d'or, un peu comme faire du sport :

• Trop court (0-250 mots) : L'IA répond trop vite, elle fait des erreurs.
• La zone idéale (jusqu'à 1000 mots) : C'est le "sweet spot". L'IA a le temps de bien analyser le problème et ses performances explosent.
• Trop long (au-delà de 2000 mots) : C'est contre-productif. L'IA commence à tourner en rond, à répéter la même chose ou à s'embrouiller. C'est comme un étudiant qui, au lieu de réfléchir, commence à raturer son brouillon pendant 10 minutes sans avancer.

En Résumé

Cette étude nous dit que pour créer une IA experte dans un domaine précis (comme la finance japonaise), il ne suffit pas de lui donner des livres à lire. Il faut lui fabriquer des exercices où elle est obligée de montrer son raisonnement.

C'est comme si, au lieu de donner la réponse à un élève, on lui donnait un carnet de brouillon rempli d'exemples de comment on trouve la réponse. Résultat : l'élève devient un expert, capable de résoudre des problèmes complexes avec logique et précision.

Les chercheurs ont même rendu leur méthode et leurs données gratuites pour que tout le monde puisse créer ses propres experts dans d'autres domaines (comme le droit ou la médecine) !

Résumé technique

1. Problématique

L'adaptation des grands modèles de langage (LLM) à des domaines nécessitant une expertise élevée, tels que la finance et le droit, présente un double défi : acquérir une expertise de domaine tout en développant une capacité de raisonnement logique avancée.

• Limites des approches actuelles : Bien que le pré-entraînement continu (Continued Pre-Training) soit efficace pour l'acquisition de connaissances factuelles, il ne suffit pas pour des tâches complexes nécessitant une analyse logique (détection de fraude, prévisions de résultats).
• Manque de données : Les méthodes existantes pour générer des données d'instruction à grande échelle avec des traces de raisonnement (Chain-of-Thought ou CoT) sont soit généralistes, soit limitées aux langues anglaise et chinoise. Il existe un vide spécifique pour les données japonaises combinant connaissances financières et traces de raisonnement.

2. Méthodologie

Les auteurs proposent un pipeline de construction de données synthétiques généralisable, appliqué ici au domaine financier japonais. Le processus se déroule en plusieurs étapes clés (illustrées dans la Figure 1 du papier) :

1. Sélection de mots-clés thématiques : Identification de termes de base couvrant le secteur (secteurs industriels, produits financiers, technologies). Pour éviter l'oubli catastrophique (Catastrophic Forgetting), des mots-clés de domaines non cibles sont également mélangés.
2. Génération d'instructions : Un LLM (gpt-oss-120b) génère des prompts utilisateurs basés sur ces mots-clés, couvrant quatre types de tâches : questions ouvertes, raisonnement mathématique, écriture créative et questions à choix multiples.
3. Expansion et modification : Les instructions sont variées en ajoutant du contexte, en changeant les formats (listes, tableaux) et en les réécrivant pour cibler des cas spécifiques.
4. Filtrage et déduplication : Application de filtres basés sur les n-grammes et la longueur des mots, suivie d'une déduplication floue (MinHash/LSH) pour garantir la qualité.
5. Génération de conversations multi-tours : Création de dialogues interactifs où le LLM fournit des réponses incluant des traces de raisonnement (CoT).
6. Filtrage de qualité (LLM-as-a-Judge) : Utilisation d'un modèle LLM pour évaluer la précision des connaissances et la logique des traces de raisonnement, éliminant les données de faible qualité.
7. Intégration de données publiques : Ajout de datasets publics (mathématiques et suivi d'instructions) pour renforcer les capacités fondamentales.

Données finales : Le dataset résultant contient environ 1,44 million d'échantillons et 9,5 milliards de tokens, incluant des traces de raisonnement.

3. Contributions Clés

• Pipeline de synthèse généralisable : Une méthode reproductible pour créer des données d'instruction de haute qualité avec CoT, partant de mots-clés thématiques, applicable à n'importe quel domaine d'expertise.
• Dataset financier japonais à grande échelle : Construction d'un corpus massif (9,5B tokens) spécifiquement conçu pour le raisonnement financier en japonais, comblant un manque majeur dans la recherche.
• Analyse de la longueur des traces de raisonnement : Étude empirique de l'impact de la longueur des traces CoT sur la performance dans des tâches de domaine spécifique.
• Open Source : Mise à disposition des modèles et des datasets sur HuggingFace.

4. Résultats Expérimentaux

Les modèles ont été entraînés sur des bases comme Qwen3-14B et gpt-oss-20b, avec un pré-entraînement continu (CPT) sur un corpus financier, suivi d'un ajustement fin supervisé (SFT) sur le dataset synthétique.

• Performance sur les Benchmarks :
  • Les modèles entraînés avec la méthode proposée surpassent les modèles officiellement ajustés (instruction-tuned) sur les benchmarks financiers japonais (japanese-lm-fin-harness et pfmt-bench-fin-ja).
  • Le modèle gpt-oss-20b + CPT + SFT a dépassé les modèles de référence sur tous les sous-tâches.
  • L'utilisation de traces de raisonnement (CoT) lors de l'inférence a amélioré les scores de 4,5 à 5,7 points sur le benchmark de connaissances financières.
• Impact de la longueur des traces (CoT) :
  • Optimisation : La performance s'améliore significativement lorsque la longueur des traces est étendue jusqu'à 1024 tokens.
  • Rendements décroissants : Au-delà de 2048 tokens, aucune amélioration significative n'est observée.
  • Problèmes identifiés : Au-delà d'une certaine longueur, le modèle tend à soit terminer prématurément le raisonnement, soit entrer dans des boucles de répétition de conclusions sans ajouter de valeur logique. De plus, forcer artificiellement la fin d'une trace entraîne une dégradation des performances par rapport à une terminaison naturelle.

5. Signification et Conclusion

Cette étude démontre que la génération de données synthétiques à partir de mots-clés thématiques est une stratégie extrêmement efficace pour l'adaptation de domaine des LLM, surpassant les méthodes traditionnelles de simple pré-entraînement.

• Apport scientifique : Elle valide l'importance cruciale des traces de raisonnement (CoT) pour les tâches financières complexes en japonais, un domaine précédemment sous-représenté.
• Implications pratiques : L'approche proposée offre un cadre reproductible pour développer des LLM experts dans d'autres domaines à haute expertise (droit, médecine, ingénierie), en particulier pour les langues autres que l'anglais.
• Limites et perspectives : L'étude met en lumière la nécessité de trouver un équilibre optimal dans la longueur des traces de raisonnement et suggère que la méthode de terminaison des traces est un facteur critique à explorer pour les travaux futurs.

En résumé, ce travail fournit une fondation solide pour la construction de LLMs spécialisés, prouvant que la combinaison de connaissances de domaine (via CPT) et de capacités de raisonnement (via SFT sur données synthétiques) est la voie à suivre pour des modèles performants dans des secteurs critiques.