🤖 machine learning

Consensus as Privileged Context for Label-Free Self-Distillation

L'article présente CANON, une méthode d'auto-distillation sans étiquette qui exploite le consensus entre plusieurs sorties de modèles pour fournir une supervision dense au niveau des jetons, améliorant considérablement la précision du raisonnement et surpassant les approches existantes sans étiquette tout en se rapprochant des performances de l'entraînement avec étiquettes d'or.

Auteurs originaux : John Gkountouras, Josip Jukić, Ivan Titov

Publié 2026-07-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : John Gkountouras, Josip Jukić, Ivan Titov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un élève brillant mais un peu éparpillé comment résoudre des énigmes complexes. Vous n'avez pas le corrigé, et vous ne pouvez pas simplement lui donner la bonne réponse. Au lieu de cela, vous lui demandez d'écrire dix solutions différentes à la même énigme. Si neuf de ces solutions s'accordent sur la réponse finale, vous savez que cette réponse est probablement la bonne, même si vous ne savez pas pourquoi elle est juste. C'est la magie du « consensus » : quand un système intelligent est d'accord avec lui-même, c'est qu'il est généralement sur la bonne voie.

Pendant longtemps, les scientifiques ont utilisé cette idée pour aider les programmes informatiques appelés Grands Modèles de Langage (LLM) à devenir plus intelligents. Ces modèles sont comme de gigantesques cerveaux numériques capables d'écrire des histoires, de résoudre des problèmes mathématiques et de répondre à des questions scientifiques. Mais ils font des erreurs. L'astuce habituelle pour corriger cela sans professeur consiste à demander au modèle d'essayer le même problème de nombreuses fois et de choisir la réponse la plus fréquente. Cela fonctionne, mais c'est lent car il faut demander au modèle de réessayer encore et encore, à chaque fois que l'on veut une réponse. La grande question dans le domaine de l'Intelligence Artificielle actuelle est la suivante : peut-on apprendre au modèle à être intelligent une seule fois, pour qu'il n'ait pas besoin d'essayer autant de fois plus tard ? Peut-on transformer cet « accord de groupe » en une leçon permanente ?

C'est là qu'intervient une nouvelle méthode appelée CANON. Considérez le modèle comme un élève qui passe un examen blanc. Habituellement, si l'élève se trompe à une question, il passe simplement à la suite. Mais avec CANON, l'élève prend une grande inspiration, examine toutes les réponses qu'il vient d'écrire, et trouve celle sur laquelle la majorité de ses « voix intérieures » s'est mise d'accord. Ensuite, une version figée et super intelligente de lui-même (un « enseignant ») lui dit : « Hé, regarde ce chemin spécifique que tu as emprunté pour arriver à cette réponse convenue. C'est la bonne façon de réfléchir. » L'élève s'entraîne alors à suivre ce chemin spécifique encore et encore, apprenant à réfléchir comme le consensus.

Les chercheurs ont découvert que cette méthode change la donne. Ils l'ont testée sur des concours de mathématiques difficiles et des questions de sciences de niveau master. Les résultats ont été surprenants : CANON a rendu les modèles nettement plus performants pour résoudre des problèmes, améliorant leur taux de réussite jusqu'à 12 points lors de tests mathématiques complexes. Plus impressionnant encore, il y est parvenu en utilisant une fraction infime de la puissance informatique requise par d'autres méthodes populaires. Alors que d'autres techniques nécessitaient de fonctionner pendant des heures et des heures pour obtenir des résultats similaires, CANON a fait son travail en environ une heure.

L'étude a également montré que cet apprentissage n'était pas un coup de chance. Les modèles ne se sont pas contentés de mieux deviner la bonne réponse ; ils ont réellement appris à résoudre des problèmes qu'ils n'avaient jamais été capables de résoudre auparavant, même après avoir essayé 32 fois. C'est comme si l'élève n'avait pas seulement mémorisé le corrigé, mais avait réellement appris à raisonner logiquement. Les chercheurs suggèrent que cela fonctionne mieux lorsque le modèle est déjà assez bon pour trouver la bonne réponse la plupart du temps, mais qu'il a juste besoin d'un petit coup de pouce pour en être confiant. Cependant, ils préviennent aussi que si le modèle est sereinement dans l'erreur, cette méthode pourrait accidentellement lui apprendre à se tromper encore plus vite.

En bref, CANON est une manière ingénieuse de transformer la propre « pensée de groupe » d'un modèle en un enseignant puissant, permettant au modèle d'apprendre de ses propres erreurs et accords sans avoir besoin d'un humain pour corriger ses devoirs. Cela suggère que parfois, le meilleur professeur qu'un ordinateur puisse avoir est sa propre meilleure version de lui-même.

Résumé Technique : CANON (Consensus-Anchored Self-Distillation)

Problématique

Les grands modèles de langage (LLM) ont démontré des capacités de raisonnement améliorées grâce à l'apprentissage par renforcement (RL) avec des récompenses vérifiables. Cependant, cette approche standard présuppose l'accès à des réponses de référence (« gold answers ») pour la vérification, lesquelles sont indisponibles dans les contextes non supervisés ou sans étiquettes. Bien que l'« auto-cohérence » (échantillonnage de multiples solutions et sélection de la majorité) serve de proxy non supervisé fiable pour la précision, les méthodes existantes exploitant ce signal sont limitées dans leur efficacité et leur densité d'information. Les approches actuelles sans étiquettes réduisent généralement le signal de consensus à :

Un filtre pour la sélection de solutions pour le réglage fin supervisé (SFT).
Une source de préférences par paires pour l'alignement.
Une récompense pseudo-scalaire pour le RL.

Ces méthodes rejettent la riche information au niveau du jeton (« token ») contenue dans les solutions en accord. De plus, les approches basées sur le RL nécessitent souvent des centaines d'étapes d'optimisation soutenues par de nouvelles générations, ce qui entraîne des coûts de calcul élevés. Le défi central abordé par cet article est de savoir comment transformer le propre consensus du modèle en un signal de supervision dense, au niveau du jeton, sans étiquettes de référence, permettant une auto-distillation efficace qui rivalise avec les méthodes conditionnées par des étiquettes de référence.

Méthodologie : CANON

Les auteurs proposent CANON (Consensus-Anchored self-distillatiON), une méthode de post-entraînement sans étiquettes qui convertit les votes majoritaires en une supervision dense. Le cadre fonctionne en trois étapes par prompt non étiqueté :

Extraction du consensus : Étant donné un prompt $x$ , le modèle échantillonne $N$ solutions (rollouts). La réponse majoritaire est identifiée, et la solution la plus confiante au sein de l'ensemble majoritaire (la plus haute probabilité logarithmique moyenne des jetons) est sélectionnée comme solution de consensus ( $s_x$ ).
Construction de l'enseignant : Un instantané figé du modèle ( $\bar{\pi}$ ), pris au début de l'époque d'entraînement, agit comme l'enseignant. Cet enseignant est conditionné par le prompt $x$ et la solution de consensus $s_x$ (insérée via un template). Crucialement, l'enseignant ne génère pas ; il se contente de noter.
Distillation dense : Le modèle étudiant ( $\pi_\theta$ ) génère ses propres rollouts $y^{(i)}$ conditionnés uniquement par le prompt. L'étudiant est entraîné à correspondre aux distributions de jetons suivants de l'enseignant sur ces mêmes rollouts. L'objectif minimise la divergence de Jensen-Shannon (JSD) sur l'ensemble du vocabulaire entre la distribution de l'étudiant et celle de l'enseignant à chaque position de jeton :
$L(\theta) = \mathbb{E}_{x \sim D} \frac{1}{N} \sum_{i=1}^{N} \frac{1}{|y^{(i)}|} \sum_{t=1}^{|y^{(i)}|} D_{JS} \left( \pi_\theta(\cdot | x, y^{(i)}_{<t}) \parallel \bar{\pi}(\cdot | x, s_x, y^{(i)}_{<t}) \right)$

Distinctions clés :

Supervision dense : Contrairement aux récompenses scalaires, CANON fournit une distribution complète du jeton suivant pour chaque jeton de chaque rollout, y compris ceux qui divergent du consensus.
Enseignant figé : L'enseignant est un instantané statique, évitant la co-adaptation dégénérée entre l'enseignant et l'étudiant.
Efficacité : La méthode ne nécessite qu'un seul passage de génération (le même passage utilisé pour l'auto-cohérence au moment de l'inférence) et une seule époque d'entraînement, évitant les cycles de génération répétés du RL.

Principales contributions

Cadre CANON : Une nouvelle méthode sans étiquettes qui distille un enseignant ancré sur le consensus dans le modèle, transformant les votes majoritaires en une supervision dense au niveau du jeton.
Efficacité et performance : Une comparaison contrôlée démontrant que CANON domine les alternatives sans étiquettes existantes (telles que le fine-tuning par auto-cohérence et le RL au moment du test) sur la frontière précision-calcul, atteignant des gains comparables aux enseignants conditionnés par des étiquèques de référence avec une fraction du coût de calcul.
Transférabilité : Preuve que les améliorations se transfèrent aux benchmarks plus difficiles et non vus, égalant la performance des méthodes de formation utilisant des étiquettes de référence.
Analyse du mécanisme : Une analyse montrant que les gains ne sont pas simplement dus à l'affinement de la distribution (concentration de la probabilité sur les réponses existantes) mais impliquent une véritable expansion des capacités, résolvant des problèmes auparavant insolubles en plusieurs tentatives.

Résultats expérimentaux

Les auteurs ont évalué CANON sur des benchmarks de raisonnement mathématique (AMC 2023, AIME 2024/2025, MATH500) et scientifique (GPQA-Diamond) en utilisant diverses familles de modèles (Qwen, SmolLM, Gemma, LFM).

Performance transductive (Entraînement au moment du test) : Sur le benchmark AMC, CANON a amélioré le pass@1 de 10,5 points (de 66,0 à 76,5) en utilisant seulement 1,2 heure-GPU. Cela a nettement surpassé les baselines de RL sans étiquettes (ex: TTRL, SCRL), qui nécessitaient 6 à 10 heures-GPU et n'atteignaient que 4 à 5 points de gain. CANON s'est approché de la performance d'un enseignant « oracle » conditionné par des solutions vérifiées (76,9 contre 76,5).
Transfert inductif : Lorsqu'il est entraîné sur des prompts AMC non étiquetés et évalué sur des benchmarks non vus (AIME 2024/2025, GPQA), CANON maintient des gains significatifs, surpassant le RL sans étiquettes et égalant le RL avec récompense de référence. Par exemple, sur AIME 2024, CANON a amélioré le avg@32 de 7,0 points par rapport au modèle de base, tandis que TTRL l'a amélioré de 4,2 points.
Efficacité de calcul : CANON a obtenu des résultats comparables au GRPO avec récompense de référence (qui nécessite 19,2 heures-GPU) en seulement 1,2 heure-GPU (environ 1/16ème du calcul).
Couverture et capacité : L'analyse post-entraînement a révélé que l'exactitude du vote majoritaire du modèle a augmenté, et que le pass@32 s'est considérablement amélioré sur les benchmarks difficiles. Le modèle résout des problèmes qu'il n'avait jamais résolus auparavant en 32 tentatives, indiquant que les gains vont au-delà de la simple concentration de probabilité.

Signification et affirmations

L'article affirme que CANON démontre que le propre consensus d'un modèle peut servir efficacement de contexte privilégié pour l'auto-distillation, un rôle traditionnellement dévolu aux étiquettes de référence. En ancrant un enseignant à la solution de consensus, la méthode extrait des signaux de supervision denses qui sont à la fois économiquement efficaces et hautement performants.

Les auteurs soulignent que les améliorations ne sont pas simplement le résultat d'un « affinement » de la distribution de sortie sur des problèmes déjà solubles. Au contraire, la méthode permet au modèle de résoudre des problèmes qu'il échouait auparavant, suggérant une véritable expansion de la capacité de raisonnement. Ce travail établit que pour les petits modèles d'instruction sur des domaines avec des réponses extractibles (comme les mathématiques et les sciences à choix multiples), l'auto-distillation basée sur le consensus peut égaler ou approcher l'efficacité de l'entraînement supervisé par des étiquettes, tout en opérant entièrement sans étiquettes.

Limites notées par les auteurs :

La méthode nécessite une réponse finale extractible pour former un consensus, ce qui la limite aux domaines à sortie vérifiable.
Elle offre peu de bénéfices sur les paires modèle-benchmark « saturées » où le modèle atteint déjà une précision élevée.
Elle peut renforcer les erreurs si les échantillons colludent sur une réponse fausse mais confiante, bien que ce mode de défaillance n'ait été observé que sur environ 2,7 % des prompts analysés.
Le régime transductif suppose l'accès aux prompts de test avant de répondre, ce qui peut ne pas convenir aux cas d'utilisation interactifs, bien que les résultats inductifs suggèrent que cette hypothèse peut être assouplie.