Résumé Technique : DuDi – Distillation à Double Signal avec Verbalisateur Cross-Lingue

Problématique

Les petits modèles de langage (SLM) offrent des avantages significatifs en termes d'efficacité, de scalabilité et de déploiement sur des appareils périphériques aux ressources limitées. Cependant, leurs capacités multilingues, particulièrement pour les langues de l'Asie du Sud-Est (SEA), se dégradent sévèrement lorsque la taille du modèle descend en dessous de l'échelle du milliard de paramètres. Le réglage fin supervisé standard (SFT) entraîne souvent des chutes de performance brutales pour les modèles de moins d'un milliard de paramètres (par exemple, Qwen2.5-0.5B) par rapport à leurs homologues plus grands. Bien que la distillation de connaissances (KD) soit une stratégie courante pour transférer le savoir d'enseignants plus grands vers des étudiants plus petits, les approches de KD multilingue existantes sont souvent limitées à des contextes spécifiques à une tâche ou échouent à unifier efficacement la supervision au niveau de la séquence et du jeton (token). De plus, les méthodes de distillation standard peinent souvent face au décalage entre entraînement et inférence, ainsi qu'à la diversité linguistique inhérente aux langues de l'Asie du Sud-Est, où les données d'entraînement de haute qualité sont rares.

Méthodologie : Le cadre DuDi

Les auteurs proposent DuDi (Dual-Signal Distillation with Cross-Lingual Verbalizer), un cadre unifié conçu pour améliorer les SLM multilingues en intégrant trois composantes clés :

1. Signal au niveau de la séquence

DuDi incorpore un objectif de niveau séquence en ligne inspiré du Self-Play Fine-Tuning (SPIN). Contrairement aux méthodes itératives statiques, DuDi échantillonne des réponses ($y' \sim \pi_\theta(x)$) en temps réel. Le modèle est entraîné pour différencier sa politique actuelle de la vérité terrain en maximisant la vraisemblance relative des réponses de vérité terrain. Cela guide la politique de l'étudiant vers la direction de la vérité terrain de manière dynamique.

2. Signaux au niveau du jeton (Double Signal)

Pour remédier aux limites de l'utilisation exclusive de données générées par l'étudiant ou de jeux de données statiques, DuDi emploie une approche à double signal pour la supervision au niveau du jeton :

• Signal Hors-Politique (Off-Policy) : Dérivé du corpus d'entraînement, ce signal utilise les logits fournis par l'enseignant pour garantir que le signal de supervision reste strictement ancré dans la distribution de la vérité terrain. Cela empêche la politique apprise de s'éloigner de la distribution de données cible.
• Signal En-Politique (On-Policy) : Dérivé des réponses générées par l'étudiant ($\tilde{y} \sim \pi_\theta(x)$), ce signal permet à l'enseignant d'affiner les sorties auto-générées de l'étudiant, corrigeant les erreurs en temps réel.

3. Verbalisateur Cross-Lingue

Pour améliorer la transférabilité des connaissances dans des contextes multilingues, DuDi introduit un verbalisateur cross-lingue. Cette composante transforme un prompt d'entrée ($x$), la vérité terrain ($y$), la langue source ($l$) et une langue cible échantillonnée ($l_z$) en un prompt verbalisé structuré ($z$) pour l'enseignant et un prompt correspondant ($p_z$) pour l'étudiant.

• Mécanisme : L'enseignant reçoit le prompt dans la langue source avec la vérité terrain comme démonstration. L'étudiant est ensuite instruit de générer une réponse dans la langue cible (échantillonnée uniformément dans l'ensemble d'entraînement, en excluant la langue source, et en incluant l'anglais).
• Objectif : Cela force l'étudiant à aligner sa génération en politique (on-policy) avec les directives de l'enseignant à travers les frontières linguistiques, facilitant ainsi des signaux d'apprentissage plus riches.

Objectif d'Entraînement Unifié

L'objectif d'apprentissage final ($L_{DuDi}$) est une somme pondérée de :

1. L'alignement au niveau de la séquence (style SPIN).
2. La distillation au niveau du jeton hors-politique (guidée par la vérité terrain).
3. La distillation au niveau du jeton en-politique (guidée par l'enseignant via le verbalisateur cross-lingue).

Principales Contributions

1. Cadre DuDi : Un cadre de distillation multilingue polyvalent qui optimise conjointement les objectifs de niveau séquence et la supervision à double signal (hors-politique et en-politique) au niveau du jeton.
2. Verbalisateur Cross-Lingue : Un mécanisme novateur qui affine le feedback de l'enseignant en convertissant les entrées et les démonstrations en prompts qui guident l'étudiant pour générer des réponses dans différentes langues cibles, améliorant ainsi la transférabilité.
3. Analyse Complète : Des études d'ablation et des analyses approfondies confirmant que l'optimisation au niveau de la séquence, la supervision au niveau du jeton et la verbalisation cross-lingue fournissent des signaux d'apprentissage complémentaires et transférables.

Résultats Expérimentaux

Les auteurs ont évalué DuDi à l'aide du benchmark SEA-HELM sur sept langues d'Asie du Sud-Est (indonésien, vietnamien, thaï, tamoul, tagalog, malais et birman).

• Performance : DuDi a systématiquement surpassé les bases compétitives, incluant SFT, DFT, SPIN, SDFT, SeqKD et GKD.
  • Sur Qwen2.5-0.5B, DuDi a obtenu un score moyen de 10,1, surpassant de manière statistiquement significative la deuxième meilleure base (DFT à 9,7) et SPIN (9,5).
  • DuDi a démontré sa robustesse à travers différentes familles de modèles (Qwen2.5, Qwen3, Llama3.2) et échelles (étudiants de 0,5B à 1,5B).
  • Dans le cadre Qwen3-0.6B, DuDi a amélioré la performance moyenne de 15,6 % par rapport à la forte base GKD.
• Études d'Ablation :
  • Le retrait de la distillation hors-politique (off-policy KD) a causé la plus forte chute de performance (-24,6 %), soulignant son rôle critique pour ancrer le modèle dans la distribution cible.
  • Le retrait de la distillation en-politique (on-policy KD) a entraîné une baisse de -6,6 %.
  • Le retrait du verbalisateur a causé une baisse de -5,0 %.
  • Le retrait de l'anglais de l'ensemble de langues cibles dans le verbalisateur a dégradé la performance, suggérant que l'anglais facilite un meilleur transfert cross-lingue.
• Analyse du Verbalisateur : L'analyse du ratio de chevauchement a montré que le verbalisateur cross-lingue atteignait l'accord le plus élevé entre les logits de l'enseignant et de l'étudiant lors des déploiements en politique (on-policy), confirmant qu'il fournit les signaux de supervision les plus informatifs.
• Initialisation : L'étude a confirmé que le "cold-start" SFT (initialisation à partir d'un modèle affiné sur des données de vérité terrain) est crucial ; l'initialisation directe à partir de modèles de base ou de sorties générées par l'enseignant entraînait des performances nettement inférieures.

Signification et Revendications

L'article affirme que DuDi répond au défi spécifique de la réduction de l'échelle des capacités multilingues en fournissant un cadre unifié qui exploite des signaux d'apprentissage complémentaires. Les auteurs soutiennent que :

• L'Optimisation Conjointe est Nécessaire : Les composantes (signal de séquence, double signal de jeton et verbalisateur) ne sont pas indépendamment efficaces mais nécessitent une intégration conjointe pour atteindre des résultats de pointe dans les SLM multilingues.
• Transfert Cross-Lingue : Le verbalisateur cross-lingue est une innovation clé qui améliore la transférabilité du savoir enseignant-étudiant, surmontant les limites des verbalisateurs exclusivement anglais ou monolingues.
• Robustesse : Le cadre est robuste à travers différentes architectures et échelles de modèles, ce qui en fait une solution viable pour le déploiement de SLM efficaces dans des environnements linguistiques diversifiés et à faibles ressources comme l'Asie du Sud-Est.

Les auteurs concluent que DuDi offre un cadre de réglage fin efficace pour les SLM dans des environnements multilingues, et que tous les artefacts (code, jeux de données, modèles) seront publiés pour la recherche ouverte.