Technische Samenvatting: Seirênes

Probleemstelling

Hoewel Versterkend Leren met Verifieerbare Beloningen (RLVR) de redeneercapaciteiten van Large Language Models (LLMs) aanzienlijk heeft verbeterd, vertonen deze modellen een kritieke kwetsbaarheid: contextuele broosheid. Sterke redenaars falen vaak wanneer ze geconfronteerd worden met niet-geïdealiseerde contexten die worden gekenmerkt door overbodige informatie, zijdelingse instructies of toevallige correlaties. Eerdere bewijzen geven aan dat structurele herformuleringen van wiskundeproblemen de nauwkeurigheid met 27–31% kunnen verminderen, en dat irrelevante ophaalresultaten de prestaties kunnen laten dalen van 96% naar 65%. Bestaande zelfspel-kaders richten zich doorgaans op de co-evolutie van taakgeneratie of oplossingsverificatie, waarbij de onderliggende taak vast blijft maar de kwetsbaarheid van het redeneerproces niet wordt aangepakt wanneer de context rondom de taak wordt verstoord.

Methodologie: Seirênes-kader

De auteurs stellen Seirênes voor, een zelfspel-RL-kader dat contextuele interferentie omzet van een faalmodus in een intern trainingsignaal. Het systeem maakt gebruik van een gedeelde-parameter-adversariale zelfspel-lus waarbij één beleid twee distincte rollen vervult:

1. De Adversaris: Genereert plausibele maar misleidende contextuele hints (afleidingen) die zijn ontworpen om de redeneertrajecten te dwarsbomen.
2. De Redenaar: Probeert het oorspronkelijke probleem op te lossen door de essentiële taak te onderscheiden van deze verstoringen en de kernlogica te herstellen.

Kernmechanisme

Het kader werkt met één gedeelde-parameter-beleid ($\pi_\theta$) dat wordt geconditioneerd door roll-prompten. Voor elke trainingsvraag $q$ voert het systeem een drie-traps rollout-bundel uit:

• R1 (Schone Rollout): De Redenaar lost $q$ op zonder interferentie om een baseline-succesrate ($\hat{p}(q)$) vast te stellen.
• R2 (Adversariale Hintgeneratie): De Adversaris genereert $G_2$ hint-candidaten ($h_k$) die bedoeld zijn om natuurlijk maar misleidend te zijn.
• R3 (Hint-geconditioneerde Rollout): De Redenaar probeert $q \oplus h_k$ op te lossen (de vraag aangevuld met de hint).

Trainingsignalen en Updates

Het kader maakt gebruik van Group Relative Policy Optimization (GRPO) met distincte updatestromen voor elke rol om credit-semantiek te behouden:

• Adversaris-beloning: De Adversaris wordt beloond op basis van de prestatiedaling die deze veroorzaakt. De beloning wordt gedefinieerd als het verschil tussen de schone succesrate en de hint-geconditioneerde succesrate: $\hat{R}_{Adv} = \hat{p}(q) - \hat{p}(q, h_k)$. Deze formulering begrenst de beloning op natuurlijke wijze en richt het leren op "sweet spot"-vragen waarbij het model het schone probleem kan oplossen maar faalt onder de specifieke afleiding.
• Redenaar-beloning: De Redenaar wordt getraind op zowel schone trajecten (om kerncapaciteiten te behouden) als hint-geconditioneerde trajecten (om robuustheid te leren).
• Orkestratie: Om de rekenkosten van de drie-traps-lus te beheersen, hanteert Seirênes rol-specifieke wachtrijen en Bounded FIFO-buffers. Dit ontkoppelt de updatestromen, waardoor gradiënten van schone redenering, adversariale generatie en robuustheidsherstel asynchroon kunnen worden verwerkt zonder interferentie. Daarnaast maakt een meesterschapsbewuste steekproef mechanisme vragen die het model onder zowel schone als adversariale condities heeft beheerst, lager prioriteit om rekenkrachtverspilling te verminderen.

Belangrijkste Bijdragen

1. Adversariaal Co-evolutiekader: Introductie van Seirênes, een zelfspelsysteem waarbij één model co-evolueert als zowel Adversaris (die misleidende hints genereert) als Redenaar (die zich daarvan herstelt), waardoor contextuele broosheid wordt omgezet in een adaptief curriculum.
2. Gedeelde-parameterontwerp: Een nieuw architectuur dat end-to-end training van de adversariale lus mogelijk maakt met één beleid, onderscheiden uitsluitend door roll-conditionering, gecombineerd met rol-specifieke beloningssignalen en efficiënte orkestratiestrategieën.
3. Empirische Validatie: Uitgebreide experimenten die consistente winsten tonen ten opzichte van standaard RL en cooperative-hint-baselines over zeven wiskundige redeneerbenchmarks en modelschalen variërend van 4B tot 30B parameters.

Experimentele Resultaten

Het artikel evalueert Seirênes op zeven benchmarks (AIME 2024–2026, IMO-Bench, Minerva Math, OlympiadBench, HMMT 2026) met behulp van Qwen2.5-7B, Qwen3-4B en Qwen3-30B backbones.

• Prestatiewinst: Seirênes bereikt gemiddelde verbeteringen van +10,2, +9,1 en +7,2 punten ten opzichte van instructie-getuned baselines voor respectievelijk de 4B-, 7B- en 30B-modellen.
• Robuustheid: Modellen getraind met Seirênes tonen superieure robuustheid tegen structurele verstoringen (Math-Perturb) en gegenereerde afleidingen (GSMIR, MMLU-Perturb), met een lagere degradatie van de nauwkeurigheid in vergelijking met cooperative-hint-baselines.
• Cross-model Aanvalscapaciteit: De adversariale hints gegenereerd door het 4B Seirênes-model degraderen de prestaties van top-tier gesloten-bronmodellen (GPT-5.1 en Gemini 3 Flash) aanzienlijk, met een gemiddelde vermindering van hun nauwkeurigheid met ongeveer 4–5 punten. Dit suggereert dat de geleerde afleidingen fundamentele redeneerfouten targeten in plaats van modelspecifieke eigenaardigheden.
• Ablatiestudies:
  • Budgetcontrole: De winsten zijn niet louter het gevolg van verhoogde rekenkracht; Seirênes presteert beter dan een "rollout-gematchte" DAPO-baseline met equivalente wandkloktijd.
  • Statisch versus Evoluerend: Statische hints (offline gegenereerd) bereiken een plateau in effectiviteit naarmate het model leert deze te omzeilen, terwijl de evoluerende adversariale distributie in Seirênes aanhoudende druk en een hogere uiteindelijke nauwkeurigheid handhaaft.

Betekenis en Claims

De auteurs claimen dat Seirênes een verschuiving vertegenwoordigt van het optimaliseren van modellen via statische pipelines naar actieve deelname aan het genereren van de uitdagingen die continue verbetering drijven. Door contextuele interferentie niet alleen te behandelen als een stress-test maar als een constructief trainingsignaal, verankert het kader modelcapaciteiten in robuuste onderliggende redenering in plaats van oppervlakkig patroonherkenning.

Het artikel benadrukt dat Seirênes uitsluitend de inputcontext wijzigt, terwijl de onderliggende taak, verifieerder en testtijd-interface ongewijzigd blijven. Bijgevolg wordt het resulterende model geoptimaliseerd als een sterker zelfstandig redenaar in plaats van een gespecialiseerde robuustheidsmodule. Het werk suggereert dat de "verlokking" van plausibele maar misleidende hints (die verwijzen naar de Griekse mythische Sirenen) kan worden ingezet om modellen te dwingen verder te gaan dan broze redeneerkortsluitingen, waardoor hun veerkracht in real-world scenario's die worden geteisterd door ruis of afleidende informatie wordt verbeterd.