🤖 machine learning

GeoMin: Data-Efficient Semi-Supervised RLVR via Geometric Distribution Modeling

GeoMin is een data-efficiënt semi-supervised reinforcement learning-framework dat globale featureverdelingen modelleert om onderscheid te maken tussen correcte en incorrecte rollouts, waardoor het volledig gesuperviseerde modellen kan overtreffen met slechts 10% van de annotatiedata door effectief gebruik te maken van ongelabelde instanties.

Oorspronkelijke auteurs: Guangcheng Zhu, Shenzhi Yang, Haobo Wang, Xing Zheng, Yingfan MA, Xuening Feng, Zhongqi Chen, Kai Tang, Zhengqing Zang, Bowen Song, Weiqiang Wang, Gang Chen

Gepubliceerd 2026-06-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Guangcheng Zhu, Shenzhi Yang, Haobo Wang, Xing Zheng, Yingfan MA, Xuening Feng, Zhongqi Chen, Kai Tang, Zhengqing Zang, Bowen Song, Weiqiang Wang, Gang Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een briljante maar onervaren student (de AI) te leren hoe hij complexe wiskundige problemen moet oplossen. Je hebt een enorme stapel oefenopgaven, maar je hebt alleen de antwoordsleutels voor een heel klein deel daarvan.

Het Probleem:

De Dure Manier: Als je wilt dat de student perfect leert, heb je een antwoordsleutel nodig voor elk enkel probleem. Dit is alsof je een team van deskundige docenten inhuurt om elke huiswerkopdracht te nakijken. Het is accuraat, maar het kost een fortuin en duurt eeuwen.
De Luie Manier: Je zou de student zijn eigen werk kunnen laten nakijken door te zeggen: "Als ik me zelfverzekerd voel, heb ik het goed." Maar studenten worden vaak overmoedig over foute antwoorden. Als je ze laat oefenen met hun eigen fouten zonder correctie, gaan ze uiteindelijk onzin geloven. Dit wordt "model collapse" genoemd — de student wordt steeds slechter omdat hij alleen maar zijn eigen fouten versterkt.
Het Middenpad (Eerdere Pogingen): Sommige methoden proberen de paar antwoordsleutels die je hebt te gebruiken om de student te begeleiden. Ze zeggen: "Oefen alleen de problemen die precies lijken op de problemen waarvan we de antwoorden al weten." Het probleem is dat dit te strikt is. Het gooit 87% van de goede oefenopgaven weg omdat ze niet exact lijken op de weinige voorbeelden die je hebt. Het is als een docent die weigert een student een nieuw type wiskundig probleem te laten oefenen, simpelweg omdat het er iets anders uitziet dan in het tekstboek.

De Oplossing: GeoMin (Het "Geometrische Kompas")
De auteurs stellen een nieuwe methode voor genaamd GeoMin. In plaats van alleen naar de antwoorden te kijken, kijkt GeoMin naar de vorm van het denkproces in de hersenen van de student.

Zo werkt het, met een eenvoudige analogie:

1. De "Breinkaart" (Geometrische Verdeling)

Stel je voor dat de hersenen van de student een enorme kamer zijn. Elke keer dat de student een probleem oplost, laat hij een "voetafdruk" achter op een specifiee plek in die kamer.

Goede antwoorden laten meestal voetafdrukken achter in een specifieke cluster (laten we het de "Noord"-zone noemen).
Foute antwoorden laten voetafdrukken achter in een andere cluster (laten we het de "Zuid"-zone noemen).

Aan het begin is de student verward en liggen de voetafdrukken allemaal door elkaar in een rommelige hoop in het midden.

2. Fase Eén: De Kaart Tekenen (Supervised Anchoring)

Eerst neemt GeoMin de kleine stapel problemen met bekende antwoorden (de gelabelde data) en laat de student deze oplossen.

Het observeert waar de voetafdrukken landen.
Het tekent een duidelijke grenslijn tussen de "Noord"-zone (Correct) en de "Zuid"-zone (Fout).
Het Geheime Ingrediënt: Het besteedt specifiek extra aandacht aan de voetafdrukken die precies op de lijn landen (de "boundary samples"). Het is als een coach die roept: "Hé, je was er bijna! Laten we die specifieke zet oefenen!" Dit verscherpt de lijn tussen juist en onjuist denken.

3. Fase Twee: Het Kompas (Semi-Supervised Mining)

Nu tackle de student de enorme stapel problemen zonder antwoordsleutels (de ongelabelde data).

In plaats van alleen te vragen: "Lijkt dit antwoord op de antwoorden die we al kennen?", vraagt GeoMin: "Komt de vorm van dit denkproces van de student overeen met de 'Noord'-zone of de 'Zuid'-zone?"
Zelfs als het antwoord nieuw is, als de interne "voetafdrukken" van de student overeenkomen met de "Noord"-zone, weet GeoMin: "Dit is een goede oefenopgave, ook al hebben we de antwoordsleutel nog niet."
Het gebruikt een slimme filter (een "Gaussian Mixture Model", wat gewoon een chique manier is om een slim sorteermachine te zeggen) om automatisch de beste problemen te selecteren die in het "Noord"-patroon passen en de problemen te negeren die lijken op "Zuid"-fouten.

Het Resultaat
Door dit "Geometrische Kompas" te gebruiken, is GeoMin in staat om 89% van de waardevolle oefenopgaven te vinden en te gebruiken die andere methoden weg zouden gooien.

Efficiëntie: Het behaalt betere resultaten dan een student die getraind is op alle antwoordsleutels, terwijl het slechts 10% van de antwoordsleutels gebruikte om dat te bereiken.
Snelheid: Omdat het geen tijd verspilt aan slechte data en geen lange "opwarmfase" nodig heeft om te begrijpen wat het moet doen, traint het twee keer zo snel als de vorige beste methode.

In een Notendop:
GeoMin stopt met het proberen te memoriseren van de antwoorden en begint met het leren van de geometrie van correct denken. Door de "vorm" van een correcte oplossing te begrijpen, kan het de AI met vertrouwen door duizenden nieuwe problemen leiden zonder dat er voor elk probleem een mens nodig is om het te nakijken.

Technische Samenvatting: GeoMin - Data-efficiënte Semi-Supervisie RLVR via Geometrische Distributiemodellering

1. Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is een cruciaal paradigma geworden voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLMs). De schaalbaarheid van RLVR wordt echter ernstig beperkt door de "annotatie-bottleneck": standaard gesuperviseerde benaderingen vereisen kostbare grondwaarheid-annotaties, terwijl unsupervised alternatieven vaak lijden onder "model collapse" door de afhankelijkheid van ruisgevoelige zelf-beloningssignalen (bijv. meerderheidsstemmen, entropie) die valse zekerheid versterken zonder feitelijke onderbouwing.

Recente semi-gesuperviseerde benaderingen, zoals TraPO, proberen deze kloof te overbruggen door een kleine gelabelde set te gebruiken om de selectie van hoogwaardige ongelabelde data te sturen. Deze methoden kampen echter met een kritieke data-efficiëntie-bottleneck. Ze vertrouwen op grove prestatie-heuristieken (bijv. het afstemmen van individuele traject-pass-rates op collectieve gemiddelden), die geen rekening houden met de natuurlijke fluctuaties in individuele instantie-optimalisatie. Als gevolg hiervan vertonen deze methoden een ernstige "recall-bottleneck", waarbij slechts een fractie (bijv. ~12,3%) van de beschikbare betrouwbare ongelabelde data wordt benut, waardoor het merendeel van de waardevolle instanties onderbenut blijft.

2. Methodologie: GeoMin

De auteurs stellen GeoMin voor, een tweestaps-framework dat gebruikmaakt van de geometrische eigenschappen van latente representaties om hoogwaardige ongelabelde data efficiënt te minen. De kerninzicht is dat correcte en incorrecte redeneer-rollouts een duidelijke geometrische resonantie vertonen in hun directionele distributies, die gemodelleerd kunnen worden om de betrouwbaarheid van zelf-beloningssignalen te beoordelen.

Kernconcept: Geometrische Priors

De methode modelleert de verborgen toestanden van LLM's (specifiek genormaliseerde last-token embeddings) als directionele data op een hypersfeer. Het stelt dat correcte en incorrecte rollouts verschillende clusters vormen die gemodelleerd kunnen worden met behulp van von Mises-Fisher (vMF) distributies.

Geometrische Resonantie: Naarmate de training vordert, scheiden de directionele distributies van correcte en incorrecte rollouts zich natuurlijk. Ongelabelde correcte rollouts lijnen uit met de "correcte" gelabelde distributie, terwijl incorrecte rollouts uitlijnen met de "incorrecte" distributie.

Fase 1: Gesuperviseerde Verankering (Supervised Anchoring)

Om een robuuste geometrische prior te vestigen, voert GeoMin eerst een gesuperviseerde training uit, uitsluitend op een kleine gelabelde set ( $D_l$ ).

Distributiemodellering: Het past online vMF-distributies ( $\mu_c, \kappa_c$ ) toe voor correcte ( $c=1$ ) en incorrecte ( $c=0$ ) klassen over de netwerk-lagen.
Grens-disambiguatie: De methode identificeert "ambigue grens-samples" waar de geometrische uitlijning van rollouts in strijd is met hun correctheid (bijv. een correcte rollout die geometrisch dichter bij de incorrecte distributie ligt).
Voordeel-herweging (Advantage Reweighting): Om de opkomst van geometrische scheiding te versnellen, worden de voordelen van deze grens-samples tijdens de Group Relative Policy Optimization (GRPO) update versterkt. Dit verscherpt de beslissingsgrens in de representatieruimte.

Fase 2: Geometrie-gestuurde Sample Mining

In de tweede fase incorporeert het framework ongelabelde data ( $D_u$ ) voor semi-gesuperviseerde training.

Dynamische Adaptatie: De vMF-distributies worden continu ververst met behulp van de gelabelde subset om de evoluerende representatieruimte te volgen.
Discriminatieve Laagselectie: De methode kwantificeert laag-specifieke scheidbaarheid ( $\Delta^{(l)}$ ) en selecteert de top- $K$ lagen met de hoogste diagnostische getrouwheid voor betrouwbaarheidsbeoordeling.
Betrouwbaarheidsscore: Voor elke ongelabelde instantie wordt een betrouwbaarheidsscore ( $s_i$ ) berekend door de directionele affiniteiten van de rollouts te aggregeren tegen de geleerde correcte en incorrecte vMF-distributies.
Adaptieve Filtering: In plaats van een statische drempelwaarde te gebruiken, past GeoMin een Gaussian Mixture Model (GMM) toe op de distributie van betrouwbaarheidsscores. Het selecteert adaptief hoog-betrouwbare samples (die behoren tot de hoog-gemiddelde Gaussische component) om een betrouwbare pseudo-gelabelde set ( $B^*_u$ ) te vormen.
Training: De uiteindelijke policy wordt geoptimaliseerd op de unie van de originele gelabelde set en de gefilterde betrouwbare ongelabelde set.

3. Belangrijkste Bijdragen

Ontdekking van Geometrische Resonantie: Het artikel identificeert en formaliseert het "geometrische resonantie"-fenomeen, waarbij de structurele discrepantie tussen correcte en incorrecte rollouts gedecodeerd kan worden via globale feature-distributies, wat een robuuste prior biedt voor het beoordelen van de betrouwbaarheid van pseudo-labels.
Nieuw Tweestaps-framework: GeoMin introduceert een gecoördineerde aanpak die gesuperviseerde verankering (om onderscheidende grenzen te vestigen) combineert met geometrie-gestuurde mining (om adaptief ongelabelde data te selecteren), waarmee de recall-beperkingen van eerdere semi-gesuperviseerde methoden worden overwonnen.
Data-efficiëntie: Door distributies te modelleren in plaats van te vertrouwen op macro-prestatie-heuristieken, bereikt GeoMin een F1-score van 89,0% bij het identificeren van betrouwbare ongelabelde samples, wat de 21,4% F1-score van de TraPO-baseline aanzienlijk overtreft.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de Deepmath-103k dataset met Qwen3-8B-Base en andere modellen (1.5B, 8B).

Prestatiewinst: GeoMin presteert beter dan de sterkste semi-gesuperviseerde baseline (TraPO) met +4,1% in In-Domain (ID) en +1,7% in Out-of-Domain (OOD) gemiddelde nauwkeurigheid.
Annotatie-efficiëntie: Opmerkelijk genoeg overtreft GeoMin, getraind met slechts 10% van de annotaties, de volledig gesuperviseerde baseline (getraind op 100% data) met +1,2% in ID-prestaties, terwijl het competitieve OOD-prestaties behoudt.
Schaalbaarheid: De methode vertoont consistente verbeteringen over verschillende model-schalen (1.5B tot 8B) en architecturen (Qwen vs. Llama).
Efficiëntie: GeoMin bereikt een 2,14× versnelling in de totale trainingstijd vergeleken met TraPO, omdat het de verspillende multi-epoch warm-up fasen vermijdt die vereist zijn door traject-matching baselines.

5. Betekenis en Claims

Het artikel beweert dat GeoMin een belangrijke stap is richting schaalbare, data-efficiënte RLVR. Door de focus te verschuiven van oppervlakkige output-waarschijnlijkheden naar de geometrische uitlijning van latente representaties, ontsluit de methode het potentieel van enorme ongelabelde datasets zonder de stabiliteit van de training in gevaar te brengen.

De auteurs stellen dat GeoMin effectief de annotatiebarrière omzeilt, waardoor modellen superieure generalisatie kunnen bereiken met minimale menselijke supervisie. Het werk suggereert dat de "recall-bottleneck" in semi-gesuperviseerde RLVR niet inherent is aan het paradigma, maar voortkomt uit de afhankelijkheid van grove heuristieken, die opgelost kunnen worden door rigoureuze geometrische distributiemodellering.

Erkende Beperkingen:

Validatie werd primair uitgevoerd op modellen tot 8B parameters; prestaties op grotere frontier-modellen moeten nog worden geverifieerd.
De efficiëntie van de methode hangt af van de initiële geometrische onderscheidbaarheid van het model; modellen met een matige initiële representatiekwaliteit kunnen een uitgebreidere Fase 1-training vereisen.
De huidige evaluatie is beperkt tot tekstuele en symbolische redenering; generalisatie naar multimodale of kruis-linguale taken vereist verder onderzoek.