Technische Samenvatting: Waarom Semantische Entropie Faalt: Geometrie-bewuste en Gekalibreerde Onzekerheid voor Policy-Optimalisatie

Probleemstelling

Het post-training van Large Language Models (LLM's) is centraal komen te staan in het verbeteren van redeneren en uitlijning, met name via critic-vrije, groepsgebaseerde methoden zoals Group Relative Policy Optimization (GRPO). In deze paradigma's worden meerdere antwoorden gesampled voor één enkele input, en wordt de optimalisatie aangedreven door relatieve beloningen. Er bestaat echter een kritieke beperking: huidige benaderingen behandelen alle queries uniform, zonder onderscheid te maken tussen informatieve leersignalen en ruisvariaties.

Hoewel recente werken proberen de optimalisatie te reguleren met onzekerheidssignalen op antwoordniveau (bijvoorbeeld Semantische Entropie), is hun empirische succes onstabiel. Het artikel betoogt dat bestaande entropie-gebaseerde schatters twee fundamentele hiaten vertonen wanneer ze worden bekeken door de lens van gradientenvariatie en de kwaliteit van leersignalen:

1. Het Anisotrope Gat: Entropiemaatstaven vangen probabilistische dispersie op (hoe waarschijnlijk verschillende semantische clusters zijn), maar negeren de geometrische grootte van meningsverschillen. Bij redeneertaken kunnen een "bijna-miss" fout en een "fundamenteel verkeerd" pad vergelijkbare entropie hebben, maar leiden ze tot sterk verschillende gradientenrichtingen. Entropie behandelt deze fouten als even ernstig, waardoor de ware anisotrope structuur van de foutruimte niet wordt vastgelegd.
2. Het Kalibratiegat: Entropie is ontkoppeld van de informativiteit van beloningen. Hoge onzekerheid impliceert niet noodzakelijk een sterk leersignaal; het kan simpelweg ruis weerspiegelen. Omgekeerd bevatten samples met hoge variantie vaak rijke, door beloning gedifferentieerde informatie. Door samples met hoge entropie te onderdrukken zonder rekening te houden met de dispersie van beloningen, onderdrukken bestaande methoden onbedoeld juist de samples die de sterkste corrigerende leersignalen bieden, wat leidt tot bevooroordeelde optimalisatie en een ingestorte gradientenvariatie.

Methodologie: Geometrie-bewuste Gekalibreerde Policy-Optimalisatie (GCPO)

Om deze hiaten aan te pakken, stellen de auteurs GCPO voor, een kader dat onzekerheid niet interpreteert als een heuristische proxy voor dispersie, maar als een mechanisme voor het karakteriseren en kalibreren van gradientenvariatie. GCPO integreert twee kerncomponenten:

1. Geometrie-bewuste Maatstaven (Aanpak van het Anisotrope Gat)

In plaats van uitsluitend te vertrouwen op probabilistische massa, introduceert GCPO maatstaven die de geometrische afstand tussen semantische representaties in de embedding-ruimte vastleggen:

• Cosine Dispersie (CD): Meet paarsgewijze geometrische meningsverschillen direct in de embedding-ruimte. Het berekent de gewogen som van cosinusafstanden tussen alle antwoord-embeddings. CD is effectief voor het vastleggen van fijnmazige, continue semantische variaties.
• Barycentrisch Transport (BoT): Geïnspireerd door Optimaal Transport, vangt deze maatstaf gestructureerde dispersie op over distincte semantische clusters. Het groepeert antwoorden in semantische clusters, berekent een consensus barycentrische richting, en meet de transportkosten (cosinusafwijking) van elke clustercentroïde ten opzichte van deze consensus. BoT is robuust tegen parafraserende redundantie binnen clusters, terwijl het gevoelig blijft voor ware semantische divergentie tussen modi.

Deze maatstaven genereren een betrouwbaarheidsgewicht, $\omega_{geo}$, dat grote semantische afwijkingen bestraft terwijl het kleine variaties tolereert.

2. Beloningsdispersie (Aanpak van het Kalibratiegat)

Om onzekerheid af te stemmen op de sterkte van het leersignaal, introduceert GCPO Beloningsdispersie (RD). Deze module kwantificeert de informativiteit van een rollout-groep op basis van de variabiliteit van beloningen binnen die groep.

• Als een groep antwoorden zeer diverse beloningen oplevert (hoge dispersie), duidt dit op sterke preferentiesignalen en informatieve leergelegenheden.
• Als beloningen uniform zijn (lage dispersie), biedt de groep een beperkt leersignaal.
• RD genereert een versterkingsgewicht, $\omega_{RD}$, dat updates voor groepen met hoge beloningsinformativiteit opschroeft.

Gecombineerde Modulatie

De uiteindelijke policy-update voor een query $q$ wordt gemoduleerd door het product van deze gewichten:
$$\tilde{A}_i = A_i \cdot \omega_{geo}(q) \cdot \omega_{RD}(q)$$
Deze formulatie zorgt ervoor dat gradientenupdates worden versterkt wanneer antwoorden een uitgelijnde semantische structuur vertonen met informatieve beloningscontrasten, en worden afgezwakt wanneer variantie wordt gedomineerd door ruis of semantische inconsistentie.

Belangrijkste Bijdragen

1. Principiële Formulering: Het artikel biedt de eerste analyse die onzekerheidssignalen expliciet formuleert als mechanismen voor het reguleren van gradientenvariatie en de kwaliteit van leersignalen. Het identificeert en karakteriseert theoretisch het Anisotrope Gat en het Kalibratiegat als de worteloorzaken van falen bij entropie-gebaseerde methoden.
2. GCPO Kader: De voorstelling van een nieuw optimalisatiekader dat geometrie-bewuste semantische structuur (CD/BoT) combineert met beloningsgebaseerde kalibratie (RD) om ruisvariantie selectief te onderdrukken terwijl informatieve gradienten behouden blijven.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat geometrie-bewuste maatstaven trouwer corresponderen met sample-niveau gradientenvariatie dan entropie-gebaseerde maatstaven. De voorgestelde methode verbetert consistent de prestaties na training over meerdere benchmarks.

Experimentele Resultaten

De auteurs evalueerden GCPO op diverse benchmarks, waaronder open-ended QA (NarrativeQA, Qasper), feitelijke QA (HotpotQA) en wiskundig redeneren (MATH500, AIME24, OlympiadBench), met behulp van het Qwen2.5-1.5B-Instruct model.

• Prestatiewinst: GCPO presteert consistent beter dan ruwe GRPO en entropie-gebaseerde baselines (zoals Seed-GRPO, EMPO).
  • Op NarrativeQA behaalde GCPO (met BoT) een verbetering van 11,38% in Nauwkeurigheid en 10,15% in F1 ten opzichte van ruwe GRPO.
  • Op Qasper waren de verbeteringen ongeveer 20% in Nauwkeurigheid en 18,82% in F1.
  • Op HotpotQA toonde GCPO winsten van 21,56% in F1.
• Gradienten Uitlijning: Statistische analyse onthulde dat geometrie-bewuste maatstaven (CD, BoT) een aanzienlijk sterkere correlatie vertonen met sample-niveau gradientenvariatie in vergelijking met entropie-gebaseerde maatstaven. Dit bevestigt de theoretische claim dat deze maatstaven de daadwerkelijke optimalisatiedynamiek beter volgen.
• Stabiliteit: GCPO verlaagde de standaardafwijking van trainingsruns, wat wijst op verbeterde stabiliteit zonder in te leveren op prestaties.
• Nuance in Wiskundig Redeneren: Hoewel GCPO de prestaties op MATH500 verbeterde, waren de winsten minder uitgesproken op AIME24 en OlympiadBench. De auteurs schrijven dit toe aan de aard van deze taken, waar meerdere geldige oplossingspaden kunnen bestaan met vergelijkbare beloningen, waardoor de uitlijning tussen semantische onzekerheid en informatieve gradientenvariatie verzwakt.

Betekenis en Claims

Het artikel claimt dat onzekerheid niet moet worden behandeld als een generieke proxy voor dispersie, maar als een gestructureerd signaal dat verbonden is met leerdynamiek. De betekenis van dit werk ligt in:

• Herformulering van Onzekerheid: Het verschuiven van het perspectief van "onzekerheid als ruis die moet worden onderdrukt" naar "onzekerheid als een gekalibreerd signaal voor gradientenregulatie".
• Robuuste Post-Training: Het bieden van een principiële richtlijn voor het ontwerpen van onzekerheidssignalen die informatieve gradienten behouden terwijl het instorten van leersignalen wordt vermeden, wat cruciaal is voor de stabiele post-training van LLM's.
• Taakbewust Ontwerp: Het benadrukken dat de effectiviteit van onzekerheidsschatting afhangt van de uitlijning tussen semantische variatie en optimalisatiesignalen, wat suggereert dat toekomstige methoden moeten worden op maat gemaakt voor specifieke taakeigenschappen (bijvoorbeeld redeneren versus generatie).

De auteurs concluderen dat door het integreren van geometrie-bewuste structuur met beloningskalibratie, GCPO een betrouwbaardere uitlijning met optimalisatiedynamiek bereikt, en een robuust pad voorwaarts biedt voor het verbeteren van redeneren en uitlijning in LLM's.