Technische Samenvatting: Compute as Teacher (CaT)

Probleemstelling

Het post-trainen van grote taalmodellen (LLMs) voor gespecialiseerde vaardigheden vertrouwt doorgaans op Supervised Fine-Tuning (SFT) met door mensen gelabelde referentieantwoorden of Reinforcement Learning (RL) met verifieerbare beloningen van programmatische checkers. Hoewel deze benaderingen effectief zijn voor domeinen zoals wiskunde en code, falen ze in niet-verifieerbare domeinen (bijvoorbeeld gezondheidszorgadvies, creatief schrijven, vrij vormbaar dialoog) waar:

1. Meerdere geldige antwoorden bestaan en experts het oneens kunnen zijn.
2. Deterministische regelcontrole onpraktisch is.
3. Menselijke annotatie duur is, moeilijk schaalbaar of niet beschikbaar.

Bestaande alternatieven, zoals het gebruik van een LLM als rechter om vrij vormbare outputs te scoren, lijden onder inconsistentie, een vertekening ten opzichte van uitgebreidheid en beloningsovertreding. De vraag in het artikel is: Kan rekenkracht tijdens de inferentie de ontbrekende supervisie vervangen?

Methodologie: Compute as Teacher (CaT)

De auteurs stellen Compute as Teacher (CaT) voor, een raamwerk dat rekenkracht tijdens de inferentie omzet in supervisiesignalen voor RL-training zonder dat grondwaarheid-labels nodig zijn. Het raamwerk werkt in twee hoofdfasen, waarbij gebruik wordt gemaakt van parallelle rollouts gegenereerd door het huidige beleid $\pi_t$.

1. Referentie-estimatie

In plaats van te vertrouwen op een door de mens aangeleverde referentie, aggregeert CaT $G$ parallelle rollouts ($o_{1:G}$) die gegenereerd zijn voor een prompt $q$ tot een pseudo-referentie ($s$). Deze aggregatie vangt de onzekerheid van het model op, aangezien rollouts vaak juist verschillen op de momenten dat het model het niet zeker weet.

• Aggregatiestrategieën: Het raamwerk is agnostisch ten opzichte van de methode. Het onderzoekt Synthese, waarbij een bevroren ankerbeleid ($\pi_0$) conditieert op de set rollouts om een nieuwe, verzoende respons te genereren. Dit stelt het systeem in staat om correcte fragmenten uit verschillende rollouts te combineren (bijvoorbeeld correcte tussenstappen uit de ene en een geldige conclusie uit de andere).
• Alternatieven: Selectiestrategieën zoals meerderheidsstemming of Best-of-N zijn ook compatibel, hoewel synthese wordt benadrukt vanwege het vermogen om responsen te construeren die buiten de oorspronkelijke rollout-verdeling vallen.

2. Beloningsafleiding

De pseudo-referentie $s$ wordt gebruikt om beloningen af te leiden voor de individuele rollouts om het beleid bij te werken via Group Relative Policy Optimization (GRPO). Het mechanisme verschilt afhankelijk van de verifieerbaarheid van het domein:

• Verifieerbare domeinen (bijvoorbeeld Wiskunde, Code): Beloningen zijn binair, gebaseerd op of het uiteindelijke antwoord van een rollout overeenkomt met het antwoord van de pseudo-referentie.
• Niet-verifieerbare domeinen (bijvoorbeeld Gezondheidszorg): Het artikel introduceert Zelfvoorgestelde Rubrieken.
  • Het ankerbeleid $\pi_0$ genereert een set binaire, verifieerbare criteria ($R = \{r_1, \dots, r_n\}$) die specifiek zijn afgeleid van de pseudo-referentie $s$ (bijvoorbeeld "raadpleeg een medisch professional").
  • Een onafhankelijk rechtermodel ($\pi_J$) scoort elke rollout tegen deze criteria.
  • De beloning is het fractioneel aantal voldane criteria. Dit ontdekt vage kwalitatieve oordelen in specifieke, controleerbare binaire checks, wat de instabiliteit van directe scoring met een LLM als rechter mitigeert.

Trainingslus

Het proces is iteratief: het beleid genereert rollouts $\to$ referentie-estimatie creëert $s$ $\to$ beloningsafleiding scoort rollouts tegen $s$ $\to$ GRPO werkt het beleid bij. Cruciaal is dat het raamwerk de rekenkosten van het genereren van meerdere rollouts en het aggregeren daarvan tijdens de training amortiseert, waardoor het uiteindelijk getrainde beleid bij inferentie hoge kwaliteit enkelvoudige outputs kan produceren.

Belangrijkste Bijdragen

1. Zelfvoorgestelde Rubrieken: Een nieuw beloningsmechanisme voor niet-verifieerbare RL dat oordelen ontdekt in binaire criteria gegenereerd vanuit pseudo-referenties, waardoor de behoefte aan door mensen geannoteerde rubrieken of referentieantwoorden wordt geëlimineerd.
2. Compute as Teacher (CaT) Raamwerk: Een algemeen paradigma om inferentierekenkracht om te zetten in supervisie via referentie-estimatie en beloningsafleiding. Het toont aan dat synthese (generatieve aggregatie) selectie-gebaseerde baselines kan overtreffen door gedistribueerde informatie over rollouts te verzoenen.
3. Empirische Validatie: Uitgebreide experimenten over drie model families (Gemma 3 4B, Qwen 3 4B, Llama 3.1 8B) in zowel niet-verifieerbare (HealthBench) als verifieerbare (MATH-500) domeinen.

Resultaten

• Prestatiewinst: CaT-getrainde modellen bereiken tot +30% relatieve verbetering op HealthBench en +33% op MATH-500 in vergelijking met het initiële, niet-getrainde beleid.
• Efficiëntie: Getrainde modellen halen de kwaliteit van aggregatie tijdens de inferentie (bijvoorbeeld synthese) of overtreffen deze, terwijl ze 9× minder rekenkracht tijdens de test gebruiken. Het model leert de aggregatiecapaciteit te internaliseren, waarbij slechts één forward pass nodig is bij inferentie.
• Niet-verifieerbare domeinen: Zelfvoorgestelde rubrieken presteren vergelijkbaar met door artsen geannoteerde rubrieken op HealthBench en overtreffen directe "Model-as-Judge" scoring aanzienlijk.
• Synthese versus Selectie: Referentie-estimatie op basis van synthese overtreft selectie-baselines (meerderheidsstemming, Best-of-N) in niet-verifieerbare domeinen. In gevallen waarin synthese het oneens is met het consensus, is het in 70–86% van de gevallen correct, waarbij het vaak fouten corrigeert die in alle individuele rollouts aanwezig waren.
• RL versus SFT: RL met rubriekbeloningen presteert consequent beter dan Supervised Fine-Tuning (SFT) op gesynthetiseerde referenties, wat suggereert dat RL beter generaliseert vanuit beperkte, gesynthetiseerde data.

Betekenis en Claims

Het artikel claimt dat CaT een praktische, "drop-in" oplossing biedt voor het post-trainen van LLMs in domeinen waar referentieantwoorden schaars, duur of niet-bestaand zijn. Door rekenkracht tijdens de inferentie te benutten om zijn eigen supervisie te genereren, doet het raamwerk het volgende:

• Overbrugt de kloof tussen verifieerbare en niet-verifieerbare RL, functionerend als een geünificeerde aanpak.
• Verlaagt de afhankelijkheid van menselijke annotatie, en biedt een weg voorwaarts voor gespecialiseerde domeinen waar expert-labeling een bottleneck is.
• Amortiseert rekenkosten, door de zware arbeid van aggregatie te verschuiven van inferentietijd (herhaaldelijk) naar trainingstijd (eenmalig), wat resulteert in een efficiëntere implementatie.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van het vermogen van het basismodel om diverse rollouts te genereren en het potentieel voor prestatieplateaus naarmate rollouts convergeren (entropie-instorting). Ze positioneren CaT echter als een belangrijke stap richting het mogelijk maken van leren zonder referenties in complexe, kwalitatieve domeinen.