Résumé Technique : Typhoon-S : Un post-entraînement minimal et ouvert pour les grands modèles de langage souverains

1. Énoncé du problème

Le développement des grands modèles de langage (LLM) de pointe est actuellement concentré au sein d'un petit nombre d'organisations possédant des ressources de calcul massives et un accès à de vastes ensembles de données linguistiques à hautes ressources (principalement l'anglais et le chinois). Cela crée une barrière de « verrouillage des ressources » pour les contextes souverains — des scénarios où les institutions nationales ou régionales doivent conserver le contrôle total sur les poids des modèles, les données d'entraînement et les méthodologies, tout en opérant sous des contraintes strictes de transparence et des budgets de calcul limités.

Les modèles de base existants adaptés aux contextes souverains présentent souvent de solides connaissances régionales, mais accusent un retard significatif en matière de suivi d'instructions générales, d'utilisation d'outils et de comportements agentiques. La recette standard de post-entraînement pour combler cet écart — qui consiste à passer à l'échelle des corpus d'instructions généralistes massifs et des pipelines de réglage par renforcement (RFT) complexes — est souvent inaccessible aux groupes de recherche plus modestes ou aux initiatives nationales en raison de la complexité de l'ingénierie et des exigences en données.

Le document identifie deux exigences fondamentales pour les LLM souverains :

1. Adoptabilité : La capacité de transformer un modèle de base en un assistant polyvalent capable de suivre des instructions, de résoudre des problèmes mathématiques, de générer du code et d'utiliser des outils.
2. Capacité Souveraine : La capacité d'accomplir des tâches spécifiques à une région et à enjeux élevés (ex: raisonnement juridique local, connaissances culturelles) qui sont sous-représentées dans les données de pré-entraînement généralistes.

La question de recherche centrale est la suivante : Quelle stratégie de post-entraînement peut permettre d'atteindre des performances compétitives avec les modèles de pointe sous des contraintes de ressources de niveau académique ?

2. Méthodologie

Les auteurs proposent Typhoon S, une recette de post-entraînement minimale et ouverte conçue pour répondre à ces exigences en utilisant le thaï comme étude de cas représentative. L'approche est divisée en deux pipelines distincts.

2.1 Pipeline pour l'Adoptabilité (SFT + OPD)

Pour transformer les modèles de base en assistants capables de suivre des instructions, les auteurs utilisent un pipeline en deux étapes :

1. Fine-Tuning Supervisé (SFT) :
   • Données : Un corpus unifié combinant des données d'instructions en anglais en open-source (Tulu 3, Toucan Tool) avec un jeu de données dédié au thaï. Le jeu de données thaï est construit via « AutoIF », en traduisant des prompts d'utilisateurs réels (WildChat) et en agrégeant des instructions thaï existantes, augmentées par une traduction et un placement aléatoires de contraintes pour améliorer la robustesse au changement de code (code-switching).
   • Objectif : Doter le modèle de base de capacités de base de suivi d'instructions et d'utilisation d'outils.
2. Distillation On-Policy (OPD) :
   • Mécanisme : Après le SFT, le modèle subit une Distillation de Connaissance Généralisée (GKD). Contra-rent à la distillation hors ligne (offline), l'OPD utilise le modèle étudiant pour générer des trajectoires (données on-policy) qui sont ensuite corrigées par un modèle enseignant.
   • Implémentation : Les auteurs implémentent un cadre léger utilisant HuggingFace Transformers et TRL pour permettre la distillation de logits complets sur un matériel limité (4 à 8 GPU H100) via l'échange dynamique de modèles et le déchargement CPU (CPU offloading).
   • Objectif : Minimiser la divergence entre les distributions de tokens de l'étudiant et de l'enseignant pour réduire l'écart entre entraînement et inférence et améliorer la généralisation.

2.2 Pipeline pour la Capacité Souveraine (InK-GRPO)

Pour renforcer le raisonnement spécifique à un domaine et l'injection de connaissances, les auteurs introduisent l'Injected Knowledge GRPO (InK-GRPO), une extension de l'algorithme de Group Relative Policy Optimization (GRPO).

• Le Défi : Le RFT standard amplifie les connaissances existantes mais peine à injecter de nouvelles connaissances spécifiques à un domaine ou à supporter des comportements agentiques complexes.
• La Solution (InK-GRPO) : L'objectif d'entraînement est augmenté d'une perte d'entropie croisée (CE) stochastique calculée sur un corpus de texte distinct appartenant au domaine (données de type pré-entraînement).
  • Formule : $L = L_{GRPO} + \lambda \cdot b \cdot L_{CE}$, où $b \sim \text{Bernoulli}(\rho)$.
  • Mécanisme : Cela permet au modèle d'alterner entre l'optimisation axée sur les tâches (GRPO) et l'acquisition de connaissances de domaine (perte CE) au sein d'une même étape d'entraînement.
• RFT Agentique : Le cadre est étendu à un contexte agentique où le modèle interagit avec un environnement de Génération Augmentée par Récupération (RAG) utilisant des outils search (recherche) et read (lecture). Le modèle apprend à entrelacer le raisonnement avec des appels d'outils pour résoudre des problèmes multi-étapes.

3. Contributions Clés

1. Définition des Exigences Souveraines : Le papier formalise les doubles besoins d'adoptabilité (capacités d'assistant général) et de capacité souveraine (tâches régionales à enjeux élevés) pour les contextes à ressources limitées.
2. Recette d'Adoptabilité Minimale : Un pipeline validé combinant un SFT léger et une Distillation On-Policy (OPD) qui transforme des modèles de base adaptés à la souveraineté en assistants instructibles compétitifs sans nécessiter une échelle massive.
3. InK-GRPO : Un nouvel algorithme qui augmente le GRPO par une prédiction du prochain token stochastique sur des données de domaine. Cela permet l'optimisation simultanée de la performance des tâches et de l'injection de nouvelles connaissances de domaine, répondant à une limitation clé du RFT standard.
4. Extension RFT Agentique : Démontrer que l'InK-GRPO peut être appliqué efficacement à des scénarios de raisonnement agentique multi-tours avec utilisation d'outils externes.

4. Résultats

Les expériences ont été menées en utilisant le thaï comme cas de test principal, utilisant des modèles allant de 4B à 8B de paramètres entraînés sur 4 à 8 GPU H100.

Résultats d'Adoptabilité

• SFT vs SFT+OPD : Le SFT seul s'est avéré insuffisant pour une performance robuste, particulièrement dans le changement de code et l'utilisation d'outils. L'ajout de l'OPD a amélioré le score moyen des benchmarks de +6,49 points et a considérablement renforcé la robustesse dans les tâches de changement de code en thaï.
• Full-Logits vs Top-K : La distillation de logits complets a fourni une robustesse supérieure dans la génération ouverte et le changement de code multilingue par rapport à la distillation Top-K, bien que la méthode Top-K soit suffisante pour les tâches contraintes.
• Adaptation du Modèle de Base : La recette a réussi à transformer le modèle de base adapté à la souveraineté ThaiLLM-8B en Typhoon-S-8B Instruct. Ce modèle a surpassé le modèle généraliste Qwen3-8B sur des benchmarks thaïs stricts (Chat, Code-Switching, OpenThaiEval) tout en maintenant des performances compétitives sur les tâches générales en anglais.

Résultats de Capacité Souveraine

• Efficacité de l'InK-GRPO : Sur NitiBench (raisonnement juridique thaï), l'InK-GRPO a atteint une précision de 19,30 % contre 15,82 % pour le GRPO standard. Sur MIRAGE-Bench, il a également montré des gains constants.
• Source de Données : Le texte de domaine de type pré-entraînement s'est avéré plus efficace pour la composante de perte CE que les données d'instruction de type SFT, probablement parce qu'il évite de trop contraindre la politique.
• Performance Agentique : Dans une configuration RAG agentique multi-tours, le Typhoon-S-4B Legal Agent (entraîné avec l'Agentic InK-GRPO) a atteint 78,02 % de précision sur NitiBench, surpassant à la fois l'entraînement GRPO seul (73,73 %) et GPT-5 avec des configurations agentiques comparables (75,34 %).
• Rétention de la Capacité Générale : Crucialement, les modèles entraînés avec l'InK-GRPO n'ont montré aucun signe d'oubli catastrophique sévère. Les scores de capacité générale sont restés stables (dans une plage étroite de 48,08 % – 49,55 %) à travers tous les benchmarks, indiquant que la spécialisation de domaine n'a pas dégradé le raisonnement ou les connaissances générales.

5. Signification et Revendications

Le papier soutient qu'un design de post-entraînement soigné, plutôt que la simple échelle, est la clé des LLM souverains pratiques.

• Efficacité des Ressources : Les recettes proposées atteignent des résultats de haute qualité avec des ressources de niveau académique (environ deux jours d'entraînement sur 8 GPU pour l'adoptabilité et un jour sur 4 GPU pour la capacité souveraine).
• Transparence et Contrôle : En s'appuyant sur des jeux de données ouverts et des pipelines minimaux et transparents, Typhoon S offre une voie viable pour que les institutions nationales développent des modèles qu'elles contrôlent totalement, comprennent et peuvent adapter à leurs contextes culturels et juridiques locaux.
• Généralisabilité : Bien que l'étude se concentre sur le thaï, les auteurs affirment que la méthodologie n'est pas liée à ce jeu de données spécifique et est généralisable à d'autres langues et contextes culturels.

Les auteurs concluent que leur approche offre une « voie pratique vers des LLM souverains de haute qualité », démontrant que des pipelines complexes et gourmands en ressources ne sont pas strictement nécessaires pour atteindre des performances compétitives tant dans les domaines généraux que régionaux spécifiques.