Technische Samenvatting: Confidence-Orchestrated Self-Evolution (COSE)

Probleemstelling

Zelfevoluerende Large Language Models (LLMs) streven ernaar de redeneercapaciteiten te verbeteren door hun eigen trainingsopdrachten te genereren, deze op te lossen en te leren van zelfgegenereerde feedback, zonder volledig afhankelijk te zijn van door mensen samengestelde supervisie. Er bestaat echter een kritieke bottleneck in domeinen waar oplossingen niet kunnen worden geverifieerd via uitvoering (bijvoorbeeld code) of exacte matching (bijvoorbeeld wiskunde). In deze "open-domein"-instellingen moet het model fungeren als zowel een Validator (die de validiteit van de taak beoordeelt) als een Rechter (die de juistheid van het antwoord beoordeelt).

De kernuitdaging is ruis in zelfgegenereerde feedback. Een model dat in staat is om moeilijke taken te genereren, mist mogelijk de capaciteit om deze correct te valideren of de juistheid van voorgestelde oplossingen te beoordelen. Wanneer het model ten onrechte een gebrekkige taak goedkeurt of een fout antwoord onterecht als correct beoordeelt, worden deze fouten omgezet in beloningssignalen. In standaard zelfevolutielussen drijven deze foutieve signalen gradiëntupdates aan die onjuiste redeneerm patronen versterken, wat leidt tot optimalisatie-instabiliteit of prestatiedegradatie. Bestaande benaderingen vertrouwen ofwel op externe verifiers (wat de generaliteit beperkt) of behandelen alle zelfgegenereerde feedback als even betrouwbare supervisie, zonder rekening te houden met de onzekerheid die inherent is aan het feedbackgeneratieproces.

Methodologie: COSE

De auteurs stellen COSE (Confidence-Orchestrated Self-Evolution) voor, een kader dat het intrinsieke vertrouwen van het LLM gebruikt als een lichtgewicht onzekerheidssignaal om het leerproces te moduleren. COSE maakt gebruik van één enkel backbone-model $\pi_\theta$ dat wordt geprompt om vier rollen te spelen: Proposer (genereert vragen), Validator (scoreert de kwaliteit van de vraag), Solver (genereert antwoorden) en Judge (scoreert de juistheid van het antwoord).

De kerninnovatie ligt in het schatten van vertrouwen direct uit de token-niveau outputverdeling van de Validator en Judge tijdens het genereren van feedback, in plaats van de feedback te behandelen als een ground-truth label.

1. Schatting van Vertrouwen

COSE berekent vertrouwen ($c$) op basis van de genormaliseerde entropie van de token-niveau outputverdeling van het model. Voor een gegenereerde token $t$ met kansverdeling $P_t$ over het vocabulaire $\mathcal{V}$:
$$c_t = 1 - \frac{H(P_t)}{\log |\mathcal{V}|}$$
Vertrouwen op sequentieniveau ($c_{seq}$) is het gemiddelde van de token-niveau vertrouwensniveaus. Deze metriek dient als een heuristiek voor onzekerheid: lage entropie (hoog vertrouwen) impliceert dat het model zeker is over zijn beoordeling, terwijl hoge entropie (laag vertrouwen) onzekerheid aangeeft.

2. Vertrouwensgewogen PPO

COSE integreert deze vertrouwensscores in het Proximal Policy Optimization (PPO)-doel om de gradiëntbijdrage van elke steekproef te schalen.

• Proposer-gewicht ($w_P$): Schaleert updates op basis van vraagkwaliteit ($v$) en Validator-vertrouwen ($c_V$):
  $$w_P(q) = \text{clip}(v(q) \cdot c_V(q), 0.1, 1.0)$$
• Solver-gewicht ($w_S$): Schaleert updates op basis van vraagkwaliteit, Validator-vertrouwen en Rechter-vertrouwen ($c_J$):
  $$w_S(q, a) = \text{clip}(v(q) \cdot c_V(q) \cdot c_J(q, a), 0.1, 1.0)$$
  Door het gewicht te begrenzen bij een ondergrens van 0.1 in plaats van onzekere steekproeven volledig te verwijderen, behoudt COSE exploratie terwijl het voorkomt dat feedback met hoge variantie en laag vertrouwen de optimalisatie domineert.

3. Vertrouwensgeprioriteerde Replay

De replay-buffer prioriteert het opvragen van vragen die niet alleen geldig zijn, maar ook liggen nabij de huidige capability-grens van het model. De prioriteit wordt gedefinieerd als:
$$\text{priority}(q) \propto v(q) \cdot c_V(q) \cdot \max(4p(q)(1-p(q)), 0.1)$$
Hierbij is $p(q)$ het gemiddelde oplospercentage. De term $4p(q)(1-p(q))$ is maximaal wanneer $p(q) \approx 0.5$, waardoor de training zich richt op vragen die het model ongeveer de helft van de tijd kan oplossen (de "leergrens"). De vertrouwenscomponenten zorgen ervoor dat vragen met onzekere validatie niet overmatig worden bemonsterd.

Belangrijkste Bijdragen

1. Identificatie van Optimalisatiebottleneck: Het artikel identificeert ruis in zelfgegenereerde feedback (zowel validatie als beoordeling) als een centrale optimalisatiebottleneck in zelfevoluerende LLM's, onderscheiden van louter data-schaarste.
2. Formulering van Trainingscontrole: De auteurs formuleren het probleem als een trainingscontrole-taak per steekproef, waarbij de invloed van een feedbacksignaal op het leren wordt gemoduleerd door zijn intrinsieke vertrouwen.
3. Empirische Validatie: Door uitgebreide experimenten over 19 terughoudende benchmarks en vier modelbackbones (Qwen- en Llama-families, 0.6B–4B parameters) tonen de auteurs aan dat COSE consequent verbetert ten opzichte van basismodellen en prior self-evolving baselines (AZR, MAE, R-Zero) verslaat of concurrentieel blijft.

Experimentele Resultaten

De evaluatie bestrijkt algemeen redeneren, wiskunde en codegeneratie.

• Algemeen Redeneren: COSE behaalt de hoogste gemiddelde prestatie over alle vier de backbones. Opmerkelijk is dat op de zwakkere Qwen3-0.6B en Llama-3.2-3B modellen, COSE aanzienlijke winsten oplevert (bijvoorbeeld +28.5 punten op Qwen3-0.6B), wat significant beter is dan de baselines. De auteurs schrijven dit toe aan het feit dat zwakkere modellen ruisiger feedback produceren; de vertrouwensweging van COSE dempt effectief de impact van deze fouten, terwijl baselines deze versterken.
• Wiskunde: COSE toont de grootste verbeteringen op moeilijke wiskundebenchmarks (bijvoorbeeld Olympiad-Bench, Minerva). De resultaten suggereren dat vertrouwenscontrole bijzonder cruciaal is wanneer de Rechter moet onderscheid maken tussen plausibele maar onjuiste afleidingen, een scenario waar naïef zelfbeoordelen vaak faalt.
• Codegeneratie: In domeinen met uitvoerbare verificatie (code) blijft COSE concurrentieel. Hoewel methoden die vertrouwen op externe verifiers (zoals AZR) soms iets beter presteren op specifieke backbones, lijdt COSE geen significante regressie. Dit geeft aan dat vertrouwensweging de prestaties niet schaadt in domeinen waar feedback al betrouwbaar is.
• Ablatiestudies: Het verwijderen van vertrouwensgewogen PPO veroorzaakt de grootste prestatiedaling, met name in wiskunde, wat bevestigt dat het controleren van de gradiëntsterkte de primaire drijvende kracht van succes is. Het verwijderen van replay-prioriteit heeft een kleinere maar consequent negatief effect.

Betekenis en Claims

Het artikel beweert dat zelfevolutie effectiever wordt wanneer modellen niet alleen leren van hun eigen feedback, maar ook controleren hoe sterk onzeker feedback het trainingsproces beïnvloedt.

• Robuustheid: COSE biedt een mechanisme om de versterking van fouten in zelfevolutielussen te voorkomen. Het stelt modellen in staat te profiteren van zelfgegenereerde data, zelfs wanneer de Validator/Rechter imperfect is, mits het model zijn eigen onzekerheid kan herkennen.
• Generaliseerbaarheid: In tegenstelling tot methoden die beperkt zijn tot uitvoerbare domeinen, stelt COSE zelfevolutie mogelijk in open-domein redeneertaken waar externe verifiers niet beschikbaar zijn.
• Bescheidenheid: De auteurs stellen expliciet dat vertrouwen een heuristisch onzekerheidssignaal is, geen garantie voor juistheid. Zij erkennen dat outputs met hoog vertrouwen nog steeds fout kunnen zijn, met name bij adversariale of out-of-distribution problemen. Bovendien is de methode afhankelijk van toegang tot token-niveau kansen (logits), wat de directe toepassing beperkt tot black-box API's zonder aanvullende bemonsteringsstrategieën. De experimenten zijn uitgevoerd op relatief kleine open-weight modellen (0.6B–4B), en het schaalgedrag naar grotere modellen blijft een open vraag voor toekomstig werk.

Kortom, COSE vertegenwoordigt een verschuiving van het behandelen van zelfgegenereerde feedback als uniforme supervisie naar het behandelen ervan als een gewogen signaal, waarbij het gewicht wordt bepaald door het eigen vertrouwen van het model in het produceren van dat signaal. Deze benadering stabiliseert het zelfevolutieproces, met name in het uitdagende intermediaire regime waar modellen verbeteren maar hun zelf-evaluatiecapaciteiten nog steeds ruisig zijn.