Technische Samenvatting: Door Vrije Energie Aangedreven Versterkende Leer met Adaptieve Voordeelvorming (FREIA)

Probleemstelling

Ongecontroleerde versterkende leer (RL) is een cruciaal paradigma geworden voor het mogelijk maken van zelfverbetering in Large Language Models (LLMs) zonder afhankelijkheid van kostbare supervisie op grondwaarheid. Echter, bestaande methoden voor ongecontroleerde RL lijden onder een fundamentele misalignering met de evoluerende leerdynamiek van het model.

Huidige benaderingen vallen over het algemeen in twee categorieën, die beide falen in het aanpassen aan de veranderende capaciteiten van het model tijdens het trainen:

1. Traject-intrinsieke methoden: Deze halen beloningen uit intrinsieke maatstaven zoals modelonzekerheid of zelfinformatie. Ze riskeren het versterken van antwoorden met hoge zekerheid maar die onjuist zijn, met name wanneer het redeneervermogen van het model beperkt is, wat leidt tot een mismatch tussen zekerheid en juistheid.
2. Populatie-gebaseerde methoden: Deze vertrouwen op collectief consensus (bijvoorbeeld meerderheidsstemming) om juistheid te bepalen. Hoewel ze groepsakkoord benutten, verwerpen ze vaak waardevolle minderheidsredeneerpaden. Dit creëert een bias waarbij onjuiste meerderheden maximale beloningen ontvangen en correcte minderheden worden gestraft, vooral in vroege trainingsfasen of fasen met "zwakke consensus".

Bovendien passen bestaande methoden statische voordeelvorming toe, ongeacht de evolutie van de beloningsverdeling. Naarmate het trainen vordert van een fase van "Zwakke Consensus" (spaarzame hoge beloningen) naar een fase van "Sterke Consensus" (dominante meerderheid), leidt statische normalisatie ofwel tot overstraffen van zeldzame correcte antwoorden of tot buitensporige beloning van stochastische afwijkingen, wat resulteert in voortijdige convergentie of overfitting op misleidende signalen.

Methodologie: FREIA

Om deze beperkingen aan te pakken, stellen de auteurs FREIA (Free Energy-Driven Reinforcement Learning with Adaptive Advantage Shaping) voor, een nieuw algoritme dat twee kerninnovaties integreert om beleidsoptimalisatie af te stemmen op de interne leerdynamiek van het model.

1. Door Vrije Energie Aangedreven Beloning (FER)

Gebaseerd op het Principe van Vrije Energie (FEP), herformuleert FER zelfverbetering als een proces van het minimaliseren van vrije energie. Het splitst het beloningsdoel op in twee adaptieve componenten:

• Consensus-Alignering: Moedigt het model aan om zich te aligneren met de meest waarschijnlijke oplossing (de modus van de gesamplede verdeling).
• Exploratie: Stimuleert de ontdekking van diverse redeneerpaden wanneer het model hoge onzekerheid vertoont.

Het mechanisme werkt in drie stappen:

1. Versterking van Overtuigingen: Unieke antwoorden worden behandeld als hypothesen. Een niet-lineair versterkingsmechanisme (gecontroleerd door parameter $\alpha$) converteert antwoordfrequenties naar overtuigingsgewichten, waarbij robuuste consensus wordt onderscheiden van stochastische ruis.
2. Groepszekerheid ($C_G$): Een maatstaf afgeleid van de Shannon-entropie van de overtuigingsverdeling kwantificeert de mate van groepsconsensus. $C_G \to 1$ duidt op hoge zekerheid, terwijl $C_G \to 0$ hoge onzekerheid aangeeft.
3. Adaptieve Beloningsformulering: De uiteindelijke beloning $R_i$ voor een redeneerpad is een dynamische afweging:
   $$R_i = C_G \cdot r_{cons}(y_i) + (1 - C_G) \cdot r_{explore}(y_i)$$
   In staten met hoge zekerheid prioriteert het model consensus. In staten met lage zekerheid wordt het model gestimuleerd om diverse paden te verkennen, wat effectief voortijdige convergentie naar suboptimale oplossingen tegengaat.

2. Adaptieve Voordeelvorming (AAS)

Inzicht hebbend dat beloningsverdelingen continu verschuiven tijdens het trainen, past AAS de voordeelssignalen die worden gebruikt voor beleidsupdates dynamisch aan op basis van de scheefheid van de beloningsverdeling.

• Positieve Scheefheid (Spaarzame Hoge Beloningen): Treedt op wanneer antwoorden met hoge beloning zeldzaam zijn. Standaard normalisatie zou buitensporig grote voordelen toekennen aan deze afwijkingen. AAS dempt deze positieve voordelen om te voorkomen dat het model overfit op potentieel misleidende stochastische signalen.
• Negatieve Scheefheid (Prevalente Hoge Beloningen): Treedt op wanneer de meerderheid van de antwoorden hoge beloningen heeft. Standaard normalisatie zou grote straffen toekennen aan zeldzame afwijkingen met lage beloning. AAS dempt deze negatieve voordelen om te voorkomen dat het model overcorrectie toepast op basis van zeldzame, potentieel onschadelijke variaties.

De uiteindelijke voordeel $\hat{A}_i$ wordt gemoduleerd door adaptieve gewichten afgeleid van de scheefheid $S$, wat stabiele beleidsupdates garandeert over verschillende trainingsfasen heen.

Kernbijdragen

1. Identificatie van Misalignering: Het paper identificeert dat bestaande methoden voor ongecontroleerde RL falen in het aanpassen aan evoluerende redeneercapaciteiten en verschuivende beloningsverdelingen negeren, wat leidt tot suboptimale beleidsoptimalisatie.
2. FREIA-algoritme: De introductie van een unificerend kader met:
   • FER: Een beloningsmechanisme dat balans houdt tussen consensus en exploratie op basis van het Principe van Vrije Energie, met dynamische aanpassing van gewichten via Groepszekerheid.
   • AAS: Een techniek voor voordeelvorming die leersignalen moduleert op basis van de statistische scheefheid van de beloningsverdeling.
3. Empirische Validatie: Uitgebreide evaluatie die aantoont dat FREIA bestaande ongecontroleerde baselines overtreft op meerdere redeneertaken.

Experimentele Resultaten

De auteurs hebben FREIA geëvalueerd op negen datasets die drie redeneertaken bestrijken: wiskundig redeneren, SQL-generatie en multi-modaal redeneren.

• Wiskundig Redeneren: Met behulp van het DeepSeek-R1-Distill-Qwen-1.5B-model overtrof FREIA andere ongecontroleerde methoden met gemiddeld 0,5 tot 3,5 punten in Pass@1 op benchmarks zoals MATH500, AIME24 en AIME25. Opmerkelijk is dat FREIA prestaties behaalde die vergelijkbaar waren met of zelfs superieur waren aan gecontroleerde GRPO (Versterkende Leer met Verifieerbare Beloningen) in meerdere metrieken, ondanks het ontbreken van labels op grondwaarheid.
• Generalisatie: FREIA toonde sterke overdraagbaarheid naar SQL-generatie (Spider, BIRD) en multi-modaal redeneren (Geometry3K), en overtrof baselines zoals TTRL, Entropy en Intuitor.
• Trainingsdynamiek: Analyse van trainingscurven toonde aan dat FREIA effectief balans houdt tussen exploratie en consensus. De score voor Groepszekerheid ($C_G$) nam in de loop van de tijd toe, wat duidt op verminderde onzekerheid, terwijl het exploratiecomponent actief genoeg bleef om modale ineenstorting te voorkomen.
• Ablatiestudies: Het verwijderen van ofwel de Consensus- of de Exploratie-component van FER, of de AAS-module, resulteerde in significante prestatiedegradatie, wat de noodzaak bevestigt van zowel adaptieve beloningsformulering als dynamische voordeelvorming.

Betekenis en Beweringen

Het paper beweert dat FREIA een nieuw paradigma biedt voor alignering in scenario's waar gelabelde data niet beschikbaar is. Door het Principe van Vrije Energie te integreren met adaptieve statistische analyse, stelt FREIA LLMs in staat effectieve zelfverbetering te bereiken zonder externe supervisie.

De auteurs benadrukken dat hun aanpak:

• De "Majority Bias" Mitigeert: In tegenstelling tot statische stemmethoden kan FREIA correcte minderheidspaden identificeren en belonen wanneer de consensus zwak of onjuist is.
• Stabiliteit Garandeert: AAS voorkomt de instabiliteit veroorzaakt door afwijkende beloningen in vroege training en buitensporige straffen in late training.
• Schaalbaarheid: Hoewel huidige experimenten beperkt zijn tot modellen tot 3B parameters vanwege resourcebeperkingen, stellen de auteurs dat de onderliggende principes van FREIA zijn ontworpen om te schalen naar grotere foundation-modellen.

Het werk concludeert dat het minimaliseren van vrije energie door adaptieve consensus en cultivatie van exploratie robuustere redeneercapaciteiten oplevert dan outcome-gebaseerde supervisie alleen, en een principiële oplossing biedt voor ongecontroleerd redeneren in LLM's.