Technische Samenvatting: Manifold Bandits – Bayesian Curriculum Learning over de Latente Geometrie van Large Language Models

1. Probleemstelling

Reinforcement Learning (RL) is een primaire methode geworden voor het verbeteren van de redeneervaardigheden van Large Language Models (LLM's), met name door groepsrelatieve optimalisatiealgoritmen zoals GRPO, DAPO en GSPO. Deze methoden vertrouwen op beloningsvariantie binnen een groep rollouts om beleidsgradiënten te genereren. Als een model een prompt consequent oplost of consequent faalt, is de beloningsvariantie nul, wat resulteert in geen leersignaal en verspilling van computationele middelen.

Bestaande adaptieve curriculum learning-methoden proberen dit aan te pakken door prompts met een intermediare moeilijkheidsgraad (die waarschijnlijk een niet-nul variantie opleveren) prioriteit te geven. Deze benaderingen kaderen de probleemselectie echter doorgaans als een standaard multi-armed bandit-probleem met onafhankelijke armen. Deze inkadering negeert twee cruciale dynamieken van LLM-training:

1. Endogene Niet-Stationariteit: De beloningsverdeling over prompts evolueert niet alleen door externe factoren, maar is een direct gevolg van de eigen updates en sampling-beslissingen van het model.
2. Gestructureerde Heterogeniteit: Problemen zijn niet onafhankelijk; prompts van vergelijkbare types delen redeneerpatronen en latente kenmerken. Het negeren van deze relaties leidt tot inefficiënte exploratie.

Bovendien richten huidige strategieën zich vaak uitsluitend op productiviteit (het maximaliseren van het onmiddellijke leersignaal) terwijl ze diversiteit (dekking van de taakruimte) en utiliteit (relevantie voor downstream evaluatiebenchmarks) verwaarlozen. Dit kan leiden tot een smalle dekking en suboptimale generalisatie.

2. Methodologie

De auteurs stellen Bayesian Manifold Curriculum (BMC) voor, een framework dat probleemselectie herkadert als een manifold-gestructureerd bandit-probleem met endogene niet-stationariteit. De methodologie bestaat uit drie kerncomponenten:

A. Latente Taakbomen (Latent Task Trees)

In plaats van prompts als onafhankelijke armen te behandelen, construeert BMC een hiërarchische Latent Task Tree rechtstreeks vanuit de interne representaties van het beleidsmodel.

• Constructie: De boom wordt recursief gebouwd met behulp van embeddings uit een tussenliggende laag van het beleidsmodel. Bij elk knooppunt worden embeddings gereduceerd via PCA, geprojecteerd via UMAP en geclusterd met HDBSCAN.
• Stopcriterium: Recursie stopt wanneer een regio een "Chart Test" doorstaat, die verifieert dat de lokale manifold ongeveer glad en coherent is (lage intrinsieke dimensionaliteit en connectiviteit).
• Doel: Deze hiërarchie benadert de latente taakmanifold van het model, waarbij prompts worden georganiseerd in multi-schaal regio's die de relaties tussen taken reflecteren volgens de interne perceptie van het model, in plaats van te vertrouwen op externe annotaties of vaste taxonomieën.

B. Bayesian Manifold Curriculum (BMC)

BMC voert gestructureerde besluitvorming uit over de Latent Task Tree via een driestapscyclus:

1. Top-Down Selectie (Hierarchical Thompson Sampling): Om een trainingsbatch te vormen, traverseren agenten de boom van de wortel naar de bladeren. Bij elk knooppunt samplen ze beloningsschattingen voor kindknopen uit een Gaussische geloofsgroep ($\mathcal{N}(\mu, \sigma^2)$) en selecteren ze het kind met de hoogste sample. Dit balanceert exploratie (diversiteit) en exploitatie (productiviteit) over verschillende abstractieniveaus.
2. Niet-Stationaire Geloofsbemodellering (Bayesian Filtering): Bladknopen (individuele prompts) behouden geloof over hun verwachte leersignaal (beloningsvariantie). Deze overtuigingen worden online bijgewerkt met een lichtgewicht Bayesiaanse filter geïnspireerd op het Normal–Inverse-Gamma model. Het update-mechanisme incorporeert verrassing (gestandaardiseerde voorspellingsfout) en veroudering (tijd sinds de laatste sampling) om zich aan te passen aan de evoluerende capaciteiten van het model.
3. Bottom-Up Geloofspropagatie (Empirical Bayes): Na updates wordt informatie omhoog gepropageerd. De geloofswaarden van ouderknopen worden geschat als precisie-gewogen gemiddelden van de geloofswaarden van hun kinderen, aangepast voor subboom-heterogeniteit. Dit maakt het mogelijk dat observaties van één prompt de overtuigingen over gerelateerde prompts in dezelfde regio informeren, waardoor de latente structuur wordt benut.

C. Utiliteitsbewuste Uitbreiding (BMC-T)

Om de mismatch tussen trainingsproductiviteit en downstream evaluatieprestaties aan te pakken, introduceren de auteurs BMC-T. Deze variant stuurt de sampling naar regio's van de trainingsdistributie die overlappen met een doelverdeling (bijv. een specifieke evaluatiebenchmark) in de latente ruimte. Het behandelt de Latent Task Tree als een benaderend interventiemodel, uitgaande van het principe dat trainen op nabijgelegen taken sterkere transfereffecten heeft.

3. Belangrijkste Bijdragen

1. Latente Taakbomen: Een hiërarchische methode voor het benaderen van de structuur van de taakmanifold direct vanuit de embeddings van het model, wat een multi-schaal representatie biedt van de relaties tussen prompts zonder externe labels.
2. Bayesian Manifold Curriculum (BMC): Een structuurbewust adaptief curriculumframework dat Bayesiaanse besluitvorming uitvoert over deze bomen, wat efficiënte exploratie mogelijk maakt terwijl rekening wordt gehouden met endogene, door het model geïnduceerde niet-stationariteit.
3. Productiviteit–Diversiteit–Utiliteit Trade-offs: Een diagnostische analyse die aantoont dat adaptieve curricula niet uitsluitend gekarakteriseerd kunnen worden door downstream prestaties alleen. De auteurs onderscheiden drie assen:
   • Productiviteit: Leersignaal (beloningsvariantie).
   • Diversiteit: Dekking van de taakmanifold.
   • Utiliteit: Relevantie voor specifieke evaluatiebenchmarks.
     Ze tonen aan dat deze assen niet uitwisselbaar zijn; het optimaliseren van de ene garandeert niet de optimalisatie van de andere.

4. Experimentele Resultaten

De auteurs evalueerden BMC op wiskundige redeneertaken met de DAPO-Math-17K dataset en Qwen3-modellen (4B en 8B) met GSPO en GRPO.

• Trainingsefficiëntie (Productiviteit): BMC en de "Difficulty Only" ablatiestudie bereikten leersnelheden die vergelijkbaar zijn met Dynamic Sampling (dat batches regenereert om variantie te garanderen), maar met aanzienlijk minder wandkloktijd, waarbij ze dicht bij de efficiëntie van Uniform Sampling blijven.
• Dekking en Informatiedeling (Diversiteit): BMC slaagde erin de diversiteit van Tree Only (die de nadruk legt op dekking) te balanceren met de productiviteit van Difficulty Only. Metrics toonden aan dat BMC een betere dekking bood van ondervertegenwoordigde regio's (rarity-weighted exposure) en dat de Latent Task Tree een aanzienlijke variatie in leersignalen verklaarde (structure gain), wat bevestigt dat leersignalen gecorreleerd zijn met de latente structuur.
• Evaluatieprestaties (Utiliteit):
  • Dynamic Sampling presteerde slecht op minder vertegenwoordigde benchmarks (bijv. Chinese wiskunde, OOD wetenschap) vanwege impliciete filtering van zeldzame prompttypes.
  • BMC behaalde sterke prestaties op de out-of-domain GPQA-Diamond benchmark, wat suggereert dat het gezamenlijk optimaliseren van productiviteit en diversiteit capaciteiten bevordert die niet gevangen worden door standaard in-distribution wiskunde-evaluaties.
  • BMC-T toonde aan dat utiliteit gestuurd kan worden: het targeten van specifieke benchmarks (bijv. AIME2024) verbeterde de prestaties op die specifieke benchmarks terwijl de algehele productiviteit behouden bleef, wat bevestigt dat verschillende problementypes verschillende evaluatierelvanties dragen.

5. Betekenis en Claims

Het artikel betoogt dat moeilijkheidsgraad alleen onvoldoende is voor sterke downstream prestaties. Het maximaliseren van het leersignaal (productiviteit) garandeert geen betere resultaten als het model niet wordt blootgesteld aan de typen problemen die de generalisatie naar doeltaken drijven.

De auteurs claimen dat probleemselectie moet worden geformuleerd als een manifold-gestructureerd bandit-probleem over de latente geometrie van het beleid. Door de curriculumstructuur af te leiden uit de geleerde representaties van het beleid zelf (in lijn met de "Bitter Lesson" om data en compute te gebruiken om structuur te leren in plaats van menselijke definities op te leggen), biedt BMC een manier om:

• De trade-offs tussen productiviteit, diversiteit en utiliteit te navigeren.
• Endogene niet-stationariteit te exploiteren waarbij sampling-beslissingen de toekomstige beloningslandschappen vormgeven.
• Te generaliseren over domeinen, talen en modaliteiten zonder dat handgedefinieerde taxonomieën of externe embedding-modellen nodig zijn.

Het werk belicht een "evaluatie doodlopende weg" (evaluation deadzone) fenomeen: een model kan productief getraind worden op een specifieke set problemen, maar als die problemen niet overeenkomen met de evaluatiedistributie, zal de downstream prestatie mogelijk niet verbeteren. BMC-T biedt een mechanisme om dit aan te pakken door de trainingsinspanning te sturen naar doel-relevante regio's van de latente manifold.