Technische Samenvatting: CANON (Consensus-Anchored Self-Distillation)

Probleemstelling

Grote taalmodellen (LLM's) hebben verbeterde redeneervermogens aangetoond door middel van Reinforcement Learning (RL) met verifieerbare beloningen. Echter, deze standaardaanpak veronderstelt toegang tot gouden antwoorden voor verificatie, die niet beschikbaar zijn in ongesuperviseerde of labelvrije omgevingen. Hoewel "self-consistency" (het samplen van meerdere oplossingen en het selecteren van de meerderheidsstem) dient als een betrouwbare ongesuperviseerde proxy voor nauwkeurigheid, zijn bestaande methoden die dit signaal benutten beperkt in hun efficiëntie en informatiedichtheid. Huidige labelvrije benaderingen reduceren het consensus-signaal doorgaans tot:

1. Een filter voor het selecteren van oplossingen voor supervised fine-tuning (SFT).
2. Een bron van paar voorkeuren voor alignment.
3. Een scalaire pseudo-beloning voor RL.

Deze methoden negeren de rijke, op token-niveau aanwezige informatie binnen de overeenstemmende oplossingen. RL-gebaseerde benaderingen vereisen vaak honderden optimalisatiestappen ondersteund door nieuwe generaties, wat resulteert in hoge computationele kosten. De kernuitdaging die dit artikel aanpakt, is hoe de eigen consensus van het model kan worden getransformeerd in een dense, token-niveau supervisiesignaal zonder gouden labels, wat efficiënte zelf-distillatie mogelijk maakt die wedijvert met gold-conditioned methoden.

Methodologie: CANON

De auteurs stellen CANON voor (Consensus-Anchored self-distillatiON), een labelvrije post-training methode die meerderheidsstemmen omzet in dense supervisie. Het framework werkt in drie stappen per ongelabelde prompt:

1. Consensus Extractie: Gegeven een prompt $x$, samplet het model $N$ oplossingen (rollouts). Het meerderheidsantwoord wordt geïdentificeerd, en de meest zelfverzekerde oplossing binnen de meerderheidsset (hoogste gemiddelde token log-waarschijnlijkheid) wordt geselecteerd als de consensus oplossing ($s_x$).
2. Teacher Constructie: Een bevroren snapshot van het model ($\bar{\pi}$), genomen aan het begin van de trainings-epoch, fungeert als de teacher. Deze teacher is geconditioneerd op de prompt $x$ en de consensus oplossing $s_x$ (ingebracht via een template). Cruciaal is dat de teacher niet genereert; deze scoort enkel.
3. Dense Distillatie: Het student-model ($\pi_\theta$) genereert zijn eigen rollouts $y^{(i)}$ geconditioneerd op enkel de prompt. De student wordt getraind om de next-token distributies van de teacher te matchen over deze zelfde rollouts. De objectief minimaliseert de volledige-vocabulaire Jensen–Shannon Divergentie (JSD) tussen de distributie van de student en de distributie van de teacher bij elke token-positie:
   $$L(\theta) = \mathbb{E}_{x \sim D} \frac{1}{N} \sum_{i=1}^{N} \frac{1}{|y^{(i)}|} \sum_{t=1}^{|y^{(i)}|} D_{JS} \left( \pi_\theta(\cdot | x, y^{(i)}_{<t}) \parallel \bar{\pi}(\cdot | x, s_x, y^{(i)}_{<t}) \right)$$

Belangrijkste Verschillen:

• Dense Supervisie: In tegenstelling tot scalaire beloningen biedt CANON een volledige next-token distributie voor elk token in elke rollout, inclusief de tokens die afwijken van de consensus.
• Bevroren Teacher: De teacher is een statische snapshot, wat degeneratieve co-adaptatie tussen teacher en student voorkomt.
• Efficiëntie: De methode vereist slechts één generatie-pass (dezelfde pass die wordt gebruikt voor inference-time self-consistency) en één epoch van training, waardoor de herhaalde generatiecycli van RL worden vermeden.

Belangrijkste Bijdragen

1. CANON Framework: Een nieuwe labelvrije methode die een consensus-geankerde teacher distilleert naar het model, waarbij meerderheidsstemmen worden omgezet in dense token-niveau supervisie.
2. Efficiëntie en Prestaties: Een gecontroleerde vergelijking die aantoont dat CANON bestaande labelvrije alternatieven (zoals self-consistency fine-tuning en test-time RL) domineert op de accuracy-compute frontier, waarbij winsten worden behaald die vergelijkbaar zijn met gold-conditioned teachers tegen een fractie van de computationele kosten.
3. Transfereerbaarheid: Bewijs dat verbeteringen overdragen naar uitgestelde (held-out) en moeilijkere benchmarks, waarbij de prestaties van methoden die gouden labels gebruiken worden geëvenaard.
4. Mechanisme Analyse: Een analyse die aantoont dat de winsten niet louter te danken zijn aan distributie-verscherping (het concentreren van waarschijnlijkheid op bestaande antwoorden), maar betrokken zijn bij echte capaciteitsuitbreiding, waarbij problemen worden opgelost die voorheen onoplosbaar waren in meerdere pogingen.

Experimentele Resultaten

De auteurs evalueerden CANON op wiskundige (AMC 2023, AIME 2024/2025, MATH500) en wetenschappelijke (GPQA-Diamond) redeneerbenchmarks met diverse modelfamilies (Qwen, SmolLM, Gemma, LFM).

• Transductieve Prestaties (Test-Time Training): Op de AMC-benchmark verbeterde CANON de pass@1 met 10,5 punten (van 66,0 naar 76,5) met slechts 1,2 GPU-uren. Dit presteerde aanzienlijk beter dan labelvrije RL-baselines (bijv. TTRL, SCRL), die 6–10 GPU-uren vereisten en slechts 4–5 punten winst boekten. CANON naderde de prestaties van een "oracle" teacher geconditioneerd op goud-geverifieerde oplossingen (76,9 vs. 76,5).
• Inductieve Transfer: Wanneer getraind op ongelabelde AMC-prompts en geëvalueerd op uitgestelde benchmarks (AIME 2024/2025, GPQA), behield CANON significante winsten, waarbij het de labelvrije RL overtrof en de gold-reward RL evenaarde. Bijvoorbeeld, op AIME 2024 verbeterde CANON de avg@32 met 7,0 punten ten opzichte van het basismodel, terwijl TTRL met 4,2 punten verbeterde.
• Computationele Efficiëntie: CANON behaalde resultaten die vergelijkbaar zijn met gold-reward GRPO (die 19,2 GPU-uren vereiste) in slechts 1,2 GPU-uren (ongeveer 1/16e van de compute).
• Dekking en Capaciteit: Een post-training analyse onthulde dat de meerderheidsstem nauwkeurigheid van het model toenam, en dat pass@32 aanzienlijk verbeterde op moeilijke benchmarks. Het model loste problemen op die het voorheen nooit had opgelost in 32 pogingen, wat aangeeft dat de winsten verder gaan dan eenvoudige waarschijnlijkheidsconcentratie.

Betekenis en Claims

Het artikel claimt dat CANON aantoont dat de eigen consensus van een model effectief kan dienen als geprivilegieerde context voor zelf-distillatie, een rol die traditioneel alleen wordt ingevuld door gouden labels. Door een teacher te verankeren aan de consensus oplossing, extraheert de methode dense supervisiesignalen die zowel computationeel efficiënt als zeer effectief zijn.

De auteurs benadrukken dat de verbeteringen niet louter het resultaat zijn van het "verscherpen" van de output-distributie op reeds oplosbare problemen. In plaats daarvan stelt de methode het model in staat om problemen op te lossen die het voorheen niet kon, wat wijst op een echte uitbreiding van het redeneervermogen. Het werk stelt vast dat voor kleine instruct-modellen in domeinen met extraheerbare antwoorden (zoals wiskunde en meerkeuze wetenschap), consensus-gebaseerde zelf-distillatie de effectiviteit van gold-gesuperviseerde training kan evenaren of benaderen, terwijl het volledig zonder labels opereert.

Door de auteurs genoemde beperkingen:

• De methode vereist een extraheerbaar eindantwoord om een consensus te vormen, wat het beperkt tot domeinen met verifieerbare output.
• Het biedt weinig voordeel op "verzadigde" model-benchmark paren waar het model al een hoge nauwkeurigheid bereikt.
• Het kan fouten versterken als de samples samenwerken op een zelfverzekerd foutief antwoord, hoewel deze foutmodus slechts in ongeveer 2,7% van de geanalyseerde prompts werd waargenomen.
• Het transductieve regime gaat uit van toegang tot test-prompts vóór het beantwoorden, wat mogelijk niet past bij interactieve gebruikssituaties, hoewel inductieve resultaten suggereren dat de aanname kan worden versoepeld.