🤖 machine learning

GeoMin: Data-Efficient Semi-Supervised RLVR via Geometric Distribution Modeling

GeoMin est un cadre d'apprentissage par renforcement semi-supervisé efficace en termes de données qui modélise les distributions de caractéristiques globales pour distinguer les déroulements corrects des incorrects, lui permettant de surpasser les modèles entièrement supervisés en utilisant seulement 10 % des données d'annotation grâce à l'exploitation efficace des instances non étiquetées.

Auteurs originaux : Guangcheng Zhu, Shenzhi Yang, Haobo Wang, Xing Zheng, Yingfan MA, Xuening Feng, Zhongqi Chen, Kai Tang, Zhengqing Zang, Bowen Song, Weiqiang Wang, Gang Chen

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guangcheng Zhu, Shenzhi Yang, Haobo Wang, Xing Zheng, Yingfan MA, Xuening Feng, Zhongqi Chen, Kai Tang, Zhengqing Zang, Bowen Song, Weiqiang Wang, Gang Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant brillant mais inexpérimenté (l'IA) comment résoudre des problèmes mathématiques complexes. Vous avez une énorme pile de problèmes d'entraînement, mais vous n'avez les corrigés que pour une infime partie d'entre eux.

Le Problème :

La méthode coûteuse : Si vous voulez qu'un étudiant apprenne parfaitement, il vous faudrait un corrigé pour chaque problème. C'est comme embaucher une équipe de tuteurs experts pour corriger chaque devoir. C'est précis, mais cela coûte une fortune et prend un temps infini.
La méthode paresseuse : Vous pourriez laisser l'étudiant s'auto-évaluer en lui disant : « Si je me sens confiant, c'est que j'ai raison. » Mais les étudiants font souvent preuve d'un excès de confiance sur leurs mauvaises réponses. Si vous les laissez s'entraîner sur leurs propres erreurs sans correction, ils finissent par croire n'importe quoi. C'est ce qu'on appelle l'« effondrement du modèle » (model collapse) : l'étudiant finit par empirer car il ne fait que renforcer ses propres erreurs.
Le juste milieu (tentatives précédentes) : Certaines méthodes tentent d'utiliser les quelques corrigés que vous possédez pour guider l'étudiant. Elles disent : « Ne pratique que les problèmes qui ressemblent exactement à ceux dont nous connaissons déjà les réponses. » Le problème est que c'est trop strict. Cela rejette 87 % des bons problèmes d'entraînement parce qu'ils ne ressemblent pas exactement aux quelques exemples que vous avez. C'est comme un professeur qui refuserait de laisser un étudiant pratiquer un nouveau type de problème mathématique simplement parce qu'il a une apparence légèrement différente de celle du manuel.

La Solution : GeoMin (Le « Compas Géométrique »)
Les auteurs proposent une nouvelle méthode appelée GeoMin. Au lieu de simplement regarder les réponses, GeoMin observe la forme du processus de pensée à l'intérieur du cerveau de l'étudiant.

Voici comment cela fonctionne, en utilisant une analogie simple :

1. La « Carte Cérébrale » (Distribution Géométrique)

Imaginez que le cerveau de l'étudiant est une immense pièce. Chaque fois qu'il résout un problème, il laisse une « empreinte » à un endroit précis dans cette pièce.

Les bonnes réponses ont tendance à laisser des empreintes dans un groupe spécifique (appelons cela la zone « Nord »).
Les mauvaises réponses laissent des empreintes dans un autre groupe (la zone « Sud »).

Au tout début, l'étudiant est confus, et les empreintes forment un tas désordonné au milieu.

2. Première étape : Tracer la carte (Ancrage supervisé)

D'abord, GeoMin prend le petit tas de problèmes dont les réponses sont connues (les données étiquetées) et demande à l'étudiant de les résoudre.

Il observe où tombent les empreintes.
Il trace une ligne de démarcation claire entre la zone « Nord » (Correct) et la zone « Sud » (Faux).
L'ingrédient secret : Il accorde une attention particulière aux empreintes qui tombent juste sur la ligne (les « échantillons limites »). C'est comme un entraîneur qui crie : « Hé, tu y étais presque ! Entraîne-toi spécifiquement sur ce mouvement ! » Cela permet d'affiner la frontière entre un raisonnement juste et un raisonnement erroné.

3. Deuxième étape : Le Compas (Extraction semi-supervisée)

Maintenant, l'étudiant s'attaque à l'énorme pile de problèmes sans corrigés (les données non étiquetées).

Au lieu de simplement demander : « Est-ce que cette réponse ressemble à celles que nous connaissons ? », GeoMin demande : « Est-ce que la forme du processus de pensée de cet étudiant correspond à la zone « Nord » ou à la zone « Sud » ? »
Même si la réponse est nouvelle, si les « empreintes » internes de l'étudiant s'alignent avec la zone « Nord », GeoMin sait : « C'est un bon problème d'entraînement, même si nous n'avons pas encore la réponse. »
Il utilise un filtre intelligent (un « Modèle de Mélange Gaussien », qui est simplement une façon sophistiquée de dire un trieur intelligent) pour sélectionner automatiquement les meilleurs problèmes qui correspondent au motif « Nord » et ignorer ceux qui ressemblent à des erreurs de type « Sud ».

Le Résultat

En utilisant ce « Compas Géométrique », GeoMin est capable de trouver et d'utiliser 89 % des problèmes d'entraînement précieux que les autres méthodes jetaient.

Efficacité : Il obtient de meilleurs résultats qu'un étudiant entraîné sur tous les corrigés, alors qu'il n'a utilisé que 10 % de ces corrigés pour y parvenir.
Vitesse : Parce qu'il arrête de perdre du temps sur de mauvaises données et qu'il n'a pas besoin d'une longue phase de « mise en jambe » pour savoir quoi faire, il s'entraîne deux fois plus vite que la meilleure méthode précédente.

En résumé :
GeoMin ne cherche pas à mémoriser les réponses, mais commence à apprendre la géométrie de la pensée correcte. En comprenant la « forme » d'une solution correcte, il peut guider l'IA avec assurance à travers des milliers de nouveaux problèmes sans avoir besoin qu'un humain corrige chacun d'entre eux.

Résumé Technique : GeoMin - Apprentissage par Renforcement Semi-Supervisé à Haute Efficacité de Données via la Modélisation de Distributions Géométriques

1. Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu un paradigme pivot pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Cependant, la scalabilité du RLVR est sévèrement contrainte par le « goulot d'étranglement de l'annotation » : les approches supervisées standards nécessitent des annotations de vérité terrain coûteuses, tandis que les alternatives non supervisées souffrent souvent d'un « effondrement du modèle » dû à la dépendance à des signaux d'auto-récompense bruités (ex: vote majoritaire, entropie) qui renforcent une fausse confiance sans fondement factuel.

Des approches semi-supervisées récentes, telles que TraPO, tentent de combler ce fossé en utilisant un petit ensemble étiqueté pour guider la sélection de données non étiquetées de haute qualité. Cependant, ces méthodes font face à un goulot d'étranglement critique de l'efficacité des données. Elles reposent sur des heuristiques de performance grossières (ex: aligner les taux de réussite des trajectoires individuelles sur les moyennes collectives), ce qui ne tient pas compte des fluctuations naturelles de l'optimisation des instances individuelles. Par conséquent, ces méthodes présentent un sévère « goulot d'étranglement de rappel », n'utilisant qu'une infime fraction (ex: ~12,3 %) des données non étiquetées fiables disponibles, laissant la majorité des instances précieuses sous-utilisées.

2. Méthodologie : GeoMin

Les auteurs proposent GeoMin, un cadre à deux étapes qui exploite les propriétés géométriques des représentations latentes pour extraire efficacement des données non étiquetées de haute qualité. L'idée centrale est que les déploiements de raisonnement corrects et incorrects présentent une résonance géométrique distincte dans leurs distributions directionnelles, laquelle peut être modélisée pour évaluer la fiabilité des signaux d'auto-récompense.

Concept Central : Priors Géométriques

La méthode modélise les états cachés des LLM (spécifiquement les plongements du dernier jeton normalisés) comme des données directionnelles sur une hypersphère. Elle postule que les déploiements corrects et incorrects forment des clusters distincts qui peuvent être modélisés à l'aide de distributions de von Mises-Fisher (vMF).

Résonance Géométrique : À mesure que l'entraînement progresse, les distributions directionnelles des déploiements corrects et incorrects se séparent naturellement. Les déploiements corrects non étiquetés s'alignent sur la distribution « correcte » étiquetée, tandis que les incorrects s'alignent sur la distribution « incorrecte ».

Étape 1 : Ancrage Supervisé

Pour établir un prior géométrique robuste, GeoMin effectue d'abord un entraînement supervisé exclusivement sur un petit ensemble étiqueté ( $D_l$ ).

Modélisation de la Distribution : Il ajuste des distributions vMF en ligne ( $\mu_c, \kappa_c$ ) pour les classes correctes ( $c=1$ ) et incorrectes ( $c=0$ ) à travers les couches du réseau.
Désambiguïsation des Frontières : La méthode identifie les « échantillons de frontière ambigus » où l'alignement géométrique des déploiements contredit leur correction (ex: un déploiement correct est géométriquement plus proche de la distribution incorrecte).
Repondération de l'Avantage : Pour accélérer l'émergence de la séparation géométrique, les avantages de ces échantillons de frontière sont amplifiés lors de la mise à jour par Optimisation de Politique Relative de Groupe (GRPO). Cela affine la frontière de décision dans l'espace de représentation.

Étape 2 : Extraction d'Échantillons Guidée par la Géométrie

Dans la seconde étape, le cadre incorpore des données non étiquetées ( $D_u$ ) pour l'entraînement semi-supervisé.

Adaptation Dynamique : Les distributions vMF sont continuellement actualisées à l'aide du sous-ensemble étiqueté pour suivre l'évolution de l'espace de représentation.
Sélection de Couches Discriminantes : La méthode quantifie la séparabilité par couche ( $\Delta^{(l)}$ ) et sélectionne les $K$ meilleures couches présentant la plus haute fidélité diagnostique pour l'évaluation de la fiabilité.
Score de Confiance : Pour chaque instance non étiquetée, un score de confiance ( $s_i$ ) est calculé en agrégeant les affinités directionnelles de ses déploiements par rapport aux distributions vMF correctes et incorrectes apprises.
Filtrage Adaptatif : Au lieu d'utiliser un seuil statique, GeoMin ajuste un Modèle de Mélange Gaussien (GMM) à la distribution des scores de confiance. Il sélectionne de manière adaptative les échantillons de haute confiance (appartenant au composant gaussien de moyenne élevée) pour former un ensemble de pseudo-étiquettes fiables ( $B^*_u$ ).
Entraînement : La politique finale est optimisée sur l'union de l'ensemble étiqueté original et de l'ensemble non étiqueté filtré et fiable.

3. Contributions Clés

Découverte de la Résonance Géométrique : Le papier identifie et formalise le phénomène de « résonance géométrique », où la divergence structurelle entre les déploiements corrects et incorrects peut être décodée via les distributions de caractéristiques globales, fournissant un prior robuste pour évaluer la fiabilité des pseudo-étiquettes.
Cadre Innovant à Deux Étapes : GeoMin introduit une approche coordonnée combinant l'ancrage supervisé (pour établir des frontières discriminantes) et l'extraction guidée par la géométrie (pour sélectionner de manière adaptative les données non étiquetées), surmontant les limitations de rappel des méthodes semi-supervisées précédentes.
Efficacité des Données : En modélisant les distributions plutôt qu'en s'appuyant sur des heuristiques de performance macroscopiques, GeoMin atteint un score F1 de 89,0 % dans l'identification des échantillons non étiquetés fiables, surpassant nettement le score F1 de 21,4 % de la base de référence TraPO.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Deepmath-103k avec Qwen3-8B-Base et d'autres modèles (1.5B, 8B).

Gains de Performance : GeoMin surpasse la base de référence semi-supervisée la plus forte (TraPO) de +4,1 % en précision In-Domain (ID) et de +1,7 % en moyenne Out-of-Domain (OOD).
Efficacité d'Annotation : De manière remarquable, GeoMin, entraîné avec seulement 10 % des annotations, surpasse la base de référence entièrement supervisée (entraînée sur 100 % des données) de +1,2 % en performance ID, tout en maintenant une performance OOD compétitive.
Scalabilité : La méthode démontre des améliorations constantes à travers différentes échelles de modèles (1.5B à 8B) et architectures (Qwen vs Llama).
Efficacité : GeoMin permet une accélération de 2,14× du temps d'entraînement total par rapport à TraPO, car il évite les phases de préchauffage multi-époques fastidieuses requises par les bases de comparaison de correspondance de trajectoire.

5. Signification et Revendications

Le papier affirme que GeoMin représente une étape significative vers un RLVR scalable et efficace en données. En déplaçant l'attention des probabilités de sortie de surface vers l'alignement géométrique des représentations latentes, la méthode libère le potentiel des vastes ensembles de données non étiquetées sans compromettre la stabilité de l'entraînement.

Les auteurs soutiennent que GeoMin contourne efficacement la barrière de l'annotation, permettant aux modèles d'atteindre une généralisation supérieure avec un minimum de supervision humaine. Le travail suggère que le « goulot d'étranglement de rappel » dans le RLVR semi-supervisé n'est pas inhérent au paradigme, mais découle de la dépendance à des heuristiques grossières, lesquelles peuvent être résolues par une modélisation rigoureuse des distributions géométriques.

Limites Reconnues :

La validation a été principalement conduite sur des modèles allant jusqu'à 8 milliards de paramètres ; la performance sur les modèles de pointe plus larges reste à vérifier.
L'efficacité de la méthode dépend de la discriminabilité géométrique initiale du modèle ; les modèles ayant une faible qualité de représentation initiale peuvent nécessiter un entraînement prolongé en Étape 1.
L'évaluation actuelle est limitée au raisonnement textuel et symbolique ; la généralisation aux tâches multimodales ou translinguistiques nécessite des investigations supplémentaires.