On-Policy Self-Distillation without Any Supervision

Imaginez un monde où de gigantesques cerveaux numériques, appelés Grands Modèles de Langage (LLM), apprennent à résoudre des énigmes complexes comme des problèmes mathématiques. Pendant longtemps, ces cerveaux ont eu besoin qu'un enseignant humain se tienne derrière leur épaule, leur signalant chaque erreur et leur donnant les bonnes réponses. C'est comme un élève qui passe un examen alors que le professeur lui murmure les bonnes réponses avant même qu'il n'ait fini la question. Mais et si l'enseignant n'était pas là ? Et si le cerveau devait s'enseigner à lui-même ? C'est la grande question que les chercheurs se posent : un modèle peut-il apprendre à devenir plus intelligent simplement en examinant son propre travail, sans aucune aide extérieure ?

Pour comprendre la nouvelle idée de cet article, vous devez savoir deux choses. Premièrement, il existe une technique appelée « distillation », qui est semblable à un étudiant essayant de copier le processus de réflexion d'un maître. Généralement, le « maître » est une IA distincte, plus grande ou plus intelligente. Deuxièmement, il y a l'apprentissage « on-policy », ce qui signifie que l'étudiant s'exerce sur les réponses exactes qu'il génère lui-même, plutôt que d'étudier de vieux exemples préécrits. Le grand obstacle a toujours été que, même lorsque le modèle essaie de s'enseigner à lui-même, il a toujours besoin d'une réponse « étalon d'or » pour savoir s'il a raison ou tort. Sans cette vérité externe, le modèle pourrait simplement continuer à pratiquer ses erreurs, se trompant avec de plus en plus d'assurance, encore et encore.

Cet article introduit une astuce ingénieuse appelée U-OPSD (Self-Distillation Unsupervised On-policy). Les chercheurs ont découvert qu'un modèle n'a pas réellement besoin d'un enseignant humain ou d'un corrigé « d'or » pour apprendre. Au lieu de cela, il peut agir comme une pièce remplie de jumeaux identiques passant le même examen. Si un jumeau obtient une réponse étrange mais que neuf autres s'accordent sur une réponse différente, le groupe a trouvé un « consensus ». L'article suggère que cet accord est un signal suffisamment fort pour dire : « D'accord, c'est probablement la bonne voie ».

Voici comment la magie opère : le modèle génère de nombreuses tentatives différentes (appelées « rollouts ») pour résoudre un problème mathématique. Il procède ensuite à un vote. Si une majorité des tentatives s'accorde sur une réponse, cette réponse devient la « pseudo-solution » — un faux mais fiable corrigé créé entièrement par le modèle lui-même. Le modèle examine ensuite les tentatives qui ont divergé de la majorité. Ce sont les chemins « erronés ». Le modèle agit comme un enseignant pour lui-même, montrant aux chemins erronés comment se transformer en le bon chemin, étape par étape. C'est comme un étudiant qui aurait écrit une longue dissertation confuse, réalisant que la plupart de ses amis ont écrit une dissertation claire et correcte, puis réécrivant sa propre dissertation pour correspondre à la logique du groupe, mais en ne corrigeant que les parties où il s'était égaré.

Les résultats sont assez surprenants. Les chercheurs ont testé cela sur plusieurs compétitions mathématiques difficiles (comme AIME et MATH500) en utilisant différentes tailles de modèles (4 milliards et 8 milliards de paramètres). Ils ont découvert que cette méthode d'« auto-enseignement », qui n'utilise aucune supervision externe, a en fait mieux fonctionné que les méthodes qui reposent sur des réponses vérifiées par des humains en mode « non-réflexif » (où le modèle répond rapidement). Dans ce mode, les modèles auto-enseignés ont amélioré leurs scores de 8,5 % et 10,7 % par rapport à leur point de départ, battant même les méthodes qui utilisaient les réponses « d'or ». Cependant, en mode « réflexif » (où le modèle prend son temps pour raisonner), les résultats étaient différents : les modèles auto-enseignés étaient à la hauteur ou légèrement en avance sur les méthodes supervisées, les rejoignant de près plutôt que de les dominer.

L'article soutient que cela fonctionne parce que l'accord du modèle est un signal puissant. Lorsqu'un modèle est assez confiant pour obtenir une majorité de votes, il sait qu'il est sur la bonne voie. Lorsqu'il est en désaccord avec lui-même, c'est là que l'apprentissage se produit. Les chercheurs suggèrent que le goulot d'étranglement pour rendre ces modèles plus intelligents n'est pas le manque de corrigés, mais plutôt la capacité à repérer et à corriger leurs propres incohérences. En utilisant cette stratégie de « vote à la majorité », le modèle peut évoluer et s'améliorer de lui-même, transformant une pièce de jumeaux confus en un seul génie plus intelligent.