💬 NLP

POLARIS: Guiding Small Models to Write Long Stories

Het artikel introduceert POLARIS, een met lage rekenkracht geoptimaliseerd GRPO-trainingsrecept dat LLM-als-rechter-beloningen combineert met menselijke referentie-injectie om kleine modellen zoals Qwen3.5-9B in staat te stellen hoogwaardige, langvormige verhalen te genereren die grotere modellen evenaren, terwijl ze een sterke lengte-naleving en generalisatie behouden.

Oorspronkelijke auteurs: Rishanth Rajendhran, Jenna Russell, Mohit Iyyer, John Frederick Wieting

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rishanth Rajendhran, Jenna Russell, Mohit Iyyer, John Frederick Wieting

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Kleine Schrijvers Worden Moe

Stel je voor dat je een zeer slimme maar kleine robot-schrijver hebt (een "klein model"). Als je hem vraagt om een kort verhaal te schrijven, is hij erg goed in. Maar als je hem vraagt om een lange roman te schrijven, gebeuren er twee dingen:

Hij geeft het op: Hij stopt met schrijven ver voordat het verhaal echt af is.
Hij verliest zijn verstand: Het verhaal wordt rommelig, repetitief of saai naarmate het langer wordt.

Grote, dure supercomputers (zoals "frontier models") kunnen lange verhalen goed schrijven, maar ze zijn te kostbaar voor de meeste mensen om te gebruiken. De auteurs van dit paper vroegen zich af: "Kunnen we een kleine, goedkope robot leren om lange, kwalitatieve verhalen te schrijven zonder een supercomputer nodig te hebben?"

De Oplossing: POLARIS

Ze hebben een trainingsrecept gemaakt genaamd POLARIS. Zie dit als een speciale coachingmethode voor de robot. In plaats van de robot alleen maar zelfstandig te laten oefenen, hebben ze twee geheime ingrediënten toegevoegd aan zijn trainingskamp.

Ingrediënt 1: De "Strenge Redacteur" (De LLM-rechter)

Normaal gesproken, wanneer je AI traint, gebruik je een simpele "scorekaart" die alleen "Goed" of "Slecht" zegt. Dat is als een docent die een leerling een cijfer "C" geeft zonder te vertellen waarom.

POLARIS gebruikt een Frontier LLM Judge (een zeer geavanceerde AI) die optreedt als een Strenge Redacteur.

Hoe het werkt: In plaats van alleen een score te geven, leest deze Redacteur het verhaal en vult een gedetailleerde Rubriek (een checklist) in.
De Checklist: Het kijkt naar 16 verschillende zaken, zoals: "Had het personage een duidelijke stem?" (Goed) of "Werd het verhaal repetitief?" (Slecht).
De Analogie: Stel je een schrijfworkshop voor waar een beroemde auteur jouw verhaal leest en je specifieke opmerkingen geeft: "Je dialoog is te stijf," of "Het einde voelt gehaast aan." De robot leert van deze specifieke opmerkingen, niet van een generiek cijfer.

Ingrediënt 2: Het "Menselijk Anker" (Human-Reference Injection)

Dit is het meest unieke deel. In een typische trainingsgroep genereert de robot 5 verschillende verhalen, en de computer kiest de beste uit om van te leren. Maar soms zijn alle 5 de verhalen middelmatig, en raakt de robot in een lus van het schrijven van "oké" maar niet "geweldige" verhalen.

POLARIS voegt een Menselijk Anker toe aan elke groep.

Hoe het werkt: Voor elke prompt dwingt het systeem de robot om naar een echt door een mens geschreven verhaal te kijken naast zijn eigen pogingen.
De Analogie: Stel je een groep studenten voor die proberen een wiskundig probleem op te lossen. Normaal gesproken vergelijken ze hun antwoorden alleen met elkaar. Maar in deze klas zet de docent een perfect opgelost voorbeeld op het bord. De studenten zijn niet alleen aan het gissen; ze hebben een "Poolster" om naar te streven. Zelfs als de robot het menselijke verhaal niet kopieert, zorgt het zien van dat hoogwaardige voorbeeld ervoor dat de "ambitie" van de robot hoog blijft en voorkomt het dat hij genoegen neemt met kwalitatief matig schrijfwerk.

De Resultaten: Het "Kleine" Model dat Boven zijn Weer kan Sterken

De auteurs namen een standaard 9-miljard parameter model (Qwen3.5-9B) en trainden dit met deze methode op ongeveer 1.400 korte verhalen.

De Verrassing: Hoewel de robot alleen getraind was op verhalen tot 4.000 woorden, leerde hij hoe hij verhalen kon schrijven tot 12.000 woorden (3 keer zo lang!) zonder de kwaliteit te verliezen.
De Vergelijking:
- Vs. Base Model: Het is veel beter dan de ongetrainde versie.
- Vs. Reusachtige Modellen: Het presteert bijna net zo goed als modellen die 3 keer groter zijn (27 miljard parameters) en veel duurder zijn.
- De "Stress Test": De meeste kleine modellen storten in wanneer ze gevraagd wordt om lange verhalen te schrijven. POLARIS is het enige kleine model dat sterk bleef, de samenhang bewaarde en daadwerkelijk de gevraagde lengte voltooide.

Waarom dit Belangrijk is

Het paper betoogt dat "Lengte-generalisatie" (het vermogen om langer te schrijven dan je getraind bent) een geweldige stress test is.

De Metafoor: Als je een hardloper traint voor een race van 1 mijl, kan hij bij 2 mijlen moe worden. Als hij echter 3 mijlen kan rennen zonder te stoppen, bewijst dat hij echte uithoudingsvermogen heeft, en niet alleen een korte sprintkracht.
POLARIS bewees dat met de juiste "coaching" (de Strenge Redacteur en het Menselijk Anker), een klein model de uithoudingskracht kan hebben van een reusachtig model.

Samenvatting

POLARIS is een slimme, goedkope trainingsmethode die kleine AI-modellen leert om lange, creatieve verhalen te schrijven door:

Ze gedetailleerde, specifieke feedback te geven van een slimme AI-redacteur.
Ze hoogwaardige menselijke voorbeelden te tonen om ze hoog te laten mikken.

Het resultaat is een klein, betaalbaar AI-model dat lange verhalen even goed schrijft als de enorme, dure modellen, zonder dat daar een supercomputer voor nodig is.

Technische Samenvatting: POLARIS – Kleine modellen begeleiden bij het schrijven van lange verhalen

Probleemstelling

Kleine open-weight taalmodellen (bijv. 9B parameters) hebben aanzienlijke moeite met langdurig creatief schrijven. Wanneer ze de opdracht krijgen om verhalen van substantiële lengte te genereren, vertonen deze modellen doorgaans een van de twee faalmodi: ze blijven ver achter bij de gevraagde lengte, of de kwaliteit van de output verslechtert drastisch naarmate de generatie vordert. Dit staat in contrast met frontier-modellen, die coherentie en stilistische consistentie handhaven over duizenden tokens. Bestaande reinforcement learning (RL) benaderingen voor langvormige generatie vertrouwen vaak op dure infrastructuur, inclusief grote basismodellen, continue pretraining, specifiek getrainde reward-modellen of massale datasets. Het artikel onderzoekt of een klein open model competitief kan worden in dit domein zonder dergelijke schaal.

Methodologie

De auteurs presenteren POLARIS (Policy Optimization with LLM-as-a-judge rewards and Anchored-Reference Injection for Storywriting), een GRPO-recept (Group Relative Policy Optimization) met een lagere rekenintensiteit dat specifiek is ontworpen voor langdurig creatief schrijven. De methode wordt toegepast op een Qwen3.5-9B basismodel met behulp van een dataset van ongeveer 1.388 prompt–verhaal-paren, afgeleid van 100 commercieel aangekochte korte verhalen-anthologieën.

Het recept steunt op twee primaire technische innovaties:

1. Gestructureerde LLM-as-a-Judge Beloning

In plaats van een apart scalair reward-model te trainen, gebruikt POLARIS een frontier LLM (Gemini 3 Flash) als een online rechter tijdens elke GRPO-stap. Deze rechter maakt gebruik van een gestructureerde Story Quality rubric bestaande uit 16 dimensies:

Positieve dimensies (6): Prompt-naleving, narratieve boog, karakterdiepgang, stem (voice), scène-realisatie en thematische rijkdom.
Negatieve dimensies (10): Prompt-schendingen, coherentiebreuken, generieke taal, overmatige samenvatting, overmatige uitleg, structurele drift, dialoogproblemen, mechanische fouten, voorspelbaarheid en overdadig proza.
Catch-alls: Bonus- en strafpunten voor niet-gemodelleerde excellentie of falen.

De ruwe score wordt genormaliseerd en gecombineerd met hulp-straffen voor herhaling, lengte-mismatch en lege outputs. Cruciaal is dat de beloningsfunctie een sublineaire lengte-schaleringsfactor bevat om beloningsinflatie bij korte outputs te voorkomen, evenals een clipping-mechanisme om de training te stabiliseren.

2. Human-Reference Injection (HRI)

Om het probleem van stagnatie in open-ended RL aan te pakken — waarbij policy rollouts kunnen convergeren naar vergelijkbare reward-scores, waardoor het leren stopt — introduceren de auteurs HRI.

Mechanisme: Voor elke GRPO-groep wordt een door een mens geschreven verhaal (via teacher-forcing door de huidige policy) ingevoegd als het $(k+1)$ -de lid.
Functie: Deze menselijke referentie fungeert als een hoog-belonende anker, wat de binnen-groep reward-variantie in stand houdt en zorgt voor een stabiele gradiëntdruk richting sterker schrijven.
Implementatie: De referentie wordt door dezelfde beloningsfunctie gescoord als de policy rollouts, maar wordt uitgesloten van de berekening van het groepsgemiddelde en de standaarddeviatie. Het voordeel ervan wordt geschaald met een warmup-schema om de gradiëntbijdrage van de demonstratie-traject te dempen, zodat de update een biased demonstratie-geaugmenteerde GRPO-stap blijft in plaats van een unbiased on-policy estimator.

Belangrijkste Bijdragen

Een recept met lage rekenkracht: De auteurs laten zien dat een 9B model gedurende ongeveer 48 uur getraind kan worden op 4 A100 GPU's (totale kosten ~$500) om competitieve prestaties voor langdurig schrijven te behalen.
Gestructureerde Rubric boven Scalaire Beloningen: Door getrainde reward-modellen te vervangen door een gestructureerde, multidimensionale LLM-as-a-judge, vermijdt de methode de noodzaak voor aparte training van reward-modellen en biedt het granulair feedback op specifieke narratieve kwaliteiten.
Human-Reference Injection: De introductie van HRI als een mechanisme om stagnatie van het leerproces in open-ended taken te voorkomen, wat een eenvoudige maar effectieve manier biedt om policy-updates te verankeren zonder voor elke stap volledige expert-trajecten nodig te hebben.
Lengte-generalisatie: De trainingsdata bestaat volledig uit verhalen tot 4.000 woorden. Ondanks dit toont het resulterende model, POLARIS–9B, robuuste prestaties op prompts die verhalen tot 12.000 woorden vragen (3× de trainingslengte).

Resultaten

De evaluatie beslaat vijf benchmarks die in-distribution (ID) en out-of-distribution (OOD) prompts en rubrics bestrijken, met meer dan 160.000 paar-oordelen.

Prestaties t.o.v. grotere modellen: POLARIS–9B is competitief met open-weight modellen die drie keer zo groot zijn (bijv. Qwen3.5-27B, Gemma 4 31B). Op EQ-Bench Creative staat het op de 3e plaats van 15 modellen, direct achter frontier-modellen (GPT-5.4, Claude Opus 4.6) en menselijke referenties.
Lengte-naleving: In tegen tegenstelling tot veel grotere open-weight modellen die ofwel in kwaliteit degraderen of de gevraagde lengtes onderschieten bij 8–12k woorden, behoudt POLARIS–9B zowel de rubric-kwaliteit als de lengte-naleving. Het bereikt een lengte-nalevingsratio van 0,72 bij 8–12k woorden terwijl de kwaliteit van het verhaal behouden blijft, terwijl baselines zoals Gemma 4 31B vaak aanzienlijk kortere verhalen schrijven om de kwaliteit te waarborgen.
Menselijke Evaluatie: In een geblindeerde menselijke evaluatie van 60 prompt–verhaal-paren gaven annotatoren de voorkeur aan POLARIS–9B boven het basismodel Qwen3.5-9B (67,5% win rate). De vergelijking met Qwen3.5-27B was statistisch ononderscheidbaar (51,2% win rate), waarbij menselijke commentaren wezen op de sterkere atmosfeer, stem en scène-realisatie van POLARIS–9B.
Faalmodi: Het artikel merkt op dat hoewel POLARIS–9B de "kwaliteitscollaps" en "lengte-looprunaway" vermijdt die bij andere modellen worden gezien, het nog steeds kan lijden onder stilistische overbelasting (overmatig gebruik van jargon of zwaar proza) en lokale coherentiefouten (tegenstrijdige details).

Betekenis en Claims

Het artikel claimt dat lengte-generalisatie dient als een betekenisvolle stresstest voor creatieve schrijfmodellen. Een model dat slechts oppervlakkige patronen leert, zal degraderen wanneer verhalen een voortdurende narratieve coherentie en het voltooien van een boog vereisen over duizenden tokens. Het vermogen van POLARIS–9B om sterke rubric-scores te behouden bij 8–12k woorden, ondanks dat er alleen getraind is op data tot 4k woorden, suggereert dat het voorgestelde GRPO-recept met HRI en gestructureerde beoordeling een effectieve weg is om kleine modellen te aligneren op open-ended taken met soft rewards.

De auteurs positioneren dit werk als een praktisch alternatief voor de "scale-first" benadering, waarbij zij aantonen dat met het juiste trainingsrecept kleine open-weight modellen grotere tegenhangers kunnen evenaren in langdurig creatief schrijven zonder de noodzaak van massale rekeninfrastructuur of propriëtaire data. De resultaten suggereren dat het onderscheiden van modellen in dit domein niet alleen vereist dat men de geaggregeerde kwaliteit evalueert, maar specifiek hoe kwaliteit en lengte-naleving standhouden onder condities van verre transfer.