Résumé Technique : Distillation Auto-Vérifiée

Énoncé du Problème

L'article aborde le défi consistant à améliorer davantage les modèles de langage de grande taille (LLM) post-entraînés pour des tâches de raisonnement, sans accès à des enseignants externes, à des retours d'outils ou à des solutions de référence. Bien que de nombreuses approches de post-entraînement réussies reposent sur des données supervisées issues de traces étiquetées par des humains, de réponses générées par un enseignant ou d'un entraînement de vérificateur sur des solutions connues correctes, ces ressources sont coûteuses, difficiles à mettre à l'échelle ou indisponibles pour les problèmes de raisonnement les plus complexes (par exemple, des questions de mathématiques ou de sciences non résolues).

La question centrale investiguée est la suivante : Un modèle de raisonnement déjà post-entraîné peut-il s'améliorer davantage en utilisant uniquement lui-même ? Plus précisément, un modèle peut-il générer des solutions candidates pour des questions initiales non étiquetées, vérifier de manière fiable quelles solutions sont correctes sans vérité terrain externe, puis utiliser uniquement les solutions vérifiées pour affiner ses propres capacités ?

La difficulté principale réside dans le problème de « cohérence générateur-vérificateur » : une approche d'auto-entraînement naïve risque de renforcer les propres erreurs du modèle si celui-ci génère une solution incorrecte, la juge à tort comme valide, puis s'entraîne sur ce raisonnement défectueux.

Méthodologie : Distillation Auto-Vérifiée

Les auteurs proposent la Distillation Auto-Vérifiée, un algorithme d'affinement post-entraînement qui construit un ensemble de données supervisées auto-curées à partir de questions initiales non étiquetées. Le processus se compose de trois étapes :

1. Génération : À partir d'un modèle post-entraîné $p_\theta$, le système échantillonne $n$ solutions candidates pour chaque question initiale non étiquetée. Ces candidats ne sont pas supposés être corrects.
2. Auto-vérification : Les candidats sont filtrés à l'aide d'un pipeline d'auto-vérification multi-étapes basé sur des invites, inspiré du benchmark Questions Non Résolues (UQ). Contrairement à la correspondance standard de réponses, ce pipeline utilise des vérificateurs « sans oracle » pour filtrer les réponses. La vérification est une cascade à trois étapes :
   • Cohérence Cyclique : Le modèle infère la question à partir de la réponse candidate et vérifie si elle correspond à la question initiale originale.
   • Facticité : Le modèle recherche des erreurs factuelles, arithmétiques ou logiques dans la réponse.
   • Correction : Le modèle effectue une vérification de correction totale pour s'assurer que la solution résout le problème de manière complète et précise.
   • Mécanisme de Consensus : Pour chaque étape, le vérificateur est appelé $v$ fois. Un candidat n'est accepté que s'il passe les trois étapes lors de tous les $v$ appels de jugement répétés (vote unanime).
3. Entraînement : Le modèle est entraîné par Affinement Supervisé (SFT) sur l'ensemble de données des solutions acceptées et auto-générées.

Les hyperparamètres clés incluent $n$ (nombre de générations par question, contrôlant l'exploration) et $v$ (force de vérification, contrôlant la rigueur).

Contributions Clés

1. Algorithme de Distillation Auto-Vérifiée : L'article introduit une méthode pour améliorer les modèles de raisonnement en partant uniquement de questions initiales non étiquetées, éliminant ainsi le besoin d'enseignants externes, de retours d'outils ou de solutions de référence.
2. Étude Contrôlée de la Construction de Données Synthétiques : Les auteurs ablationnent systématiquement le pipeline de construction de données, démontrant que :
   • S'entraîner simplement sur des données auto-générées non filtrées peut nuire aux performances (en particulier en codage).
   • Une vérification plus forte (valeur $v$ plus élevée) et une génération plus large (valeur $n$ plus élevée) sont nécessaires pour produire des données d'entraînement de haute qualité.
   • Un vérificateur multi-étapes de style UQ (cohérence cyclique + facticité + correction) surpasse significativement une simple invite « est-ce correct ? » sous la même force de vérification.
3. Calcul au Moment de l'Entraînement vs au Moment du Test : L'article introduit UQ-TTC, une ligne de base qui applique la même procédure de vérification uniquement au moment de l'inférence (échantillonnage de plusieurs candidats et vérification pour chaque requête de test). Les auteurs montrent que la Distillation Auto-Vérifiée (amortissant le calcul pendant l'entraînement) atteint des performances compétitives ou supérieures par rapport à UQ-TTC tout en ne nécessitant qu'un seul appel d'inférence au moment du test.

Résultats Expérimentaux

La méthode a été évaluée sur les modèles Qwen3 (0,6B, 4B et 8B) dans trois domaines : Mathématiques, Sciences et Codage.

• Gains de Performance : La Distillation Auto-Vérifiée a amélioré les scores agrégés de passage à 1 (pass@1) sur les données de rétention pour toutes les échelles de modèles et tous les domaines.
  • Qwen3-4B : A obtenu les gains les plus significatifs : +16,7 points en Mathématiques (AIME26/HMMT), +11,1 points en Sciences (GPQA Diamond/HLE) et +8,3 points en Codage (LCBv5/LCBv6).
  • Mise à l'échelle : Des gains ont été observés sur les modèles 0,6B et 8B également, bien que le modèle 0,6B ait montré des améliorations plus faibles et moins cohérentes (par exemple, une légère baisse sur HLE), suggérant que la capacité du modèle affecte la qualité des données auto-curées.
• Résultats d'Ablation :
  • Force de Vérification : Augmenter $v$ (par exemple, de 1 à 5) a généralement amélioré les résultats, mais uniquement lorsqu'il était couplé à une génération suffisante ($n$). Une valeur $v$ élevée avec une valeur $n$ faible a entraîné trop peu d'échantillons acceptés pour un entraînement efficace.
  • Nécessité du Filtrage : En codage, l'entraînement sur des générations non filtrées a donné de moins bons résultats que le modèle initial, tandis que les données filtrées ont amélioré les performances.
  • Structure du Vérificateur : Le vérificateur multi-étapes complet de style UQ a produit une amélioration moyenne de +8,4 points en mathématiques, contre +4,9 points pour une invite de correction simple.
• Efficacité : Par rapport à la ligne de base UQ-TTC (qui nécessite jusqu'à 168 appels d'inférence par problème de test), la Distillation Auto-Vérifiée a obtenu de meilleurs ou comparables résultats avec seulement 1 appel d'inférence par problème de test.

Importance et Revendications

L'article revendique que la Distillation Auto-Vérifiée démontre que les modèles de raisonnement post-entraînés peuvent s'améliorer davantage en utilisant uniquement des invites non étiquetées et leurs propres capacités de vérification interne.

• Affinement Léger : La méthode sert d'étape d'affinement supplémentaire légère qui ne nécessite pas de supervision externe coûteuse ni d'intégration d'outils.
• Amortissement du Calcul : Elle montre que le calcul de génération et de vérification peut être efficacement amorti dans les paramètres du modèle pendant l'entraînement, offrant une alternative plus efficace à la recherche et à la vérification répétées au moment du test.
• Qualité des Données sur la Quantité : Les résultats soulignent que la qualité des données auto-curées dépend fortement du pipeline de vérification ; l'auto-entraînement non filtré est insuffisant et potentiellement nuisible, tandis qu'une auto-vérification rigoureuse et multi-étapes produit des signaux d'entraînement fiables.

Les auteurs notent des limitations, notamment le risque de renforcer des erreurs systématiques si le vérificateur est imparfait, et la dépendance à la difficulté et à la diversité des questions initiales correspondant à la capacité du modèle. Ils suggèrent que les travaux futurs devraient se concentrer sur de meilleures distributions de questions initiales et des stratégies d'atténuation des erreurs de vérification.