Sintesi Tecnica: POLARIS – Guidare i piccoli modelli alla scrittura di storie lunghe

Problema

I piccoli modelli linguistici a pesi aperti (ad esempio, con 9 miliardi di parametri) faticano significativamente nella scrittura creativa a lungo formato. Quando sono incaricati di generare storie di lunghezza sostanziale, questi modelli tipicamente mostrano uno dei due modi di fallimento: o non raggiungono affatto la lunghezza richiesta, oppure la qualità del loro output degrada precipitamente man mano che la generazione si estende. Ciò contrasta con i modelli all'avanguardia (frontier models), che mantengono coerenza e consistenza stilistica per migliaia di token. Gli approoli di apprendimento per rinforzo (RL) esistenti per la generazione a lungo formato spesso si affidano a infrastrutture costose, tra cui grandi modelli base, pre-addestramento continuo, modelli di ricompensa addestrati appositamente o dataset massicci. Il paper si chiede se un piccolo modello open possa diventare competitivo in questo dominio senza tale scala.

Metodologia

Gli autori presentano POLARIS (Policy Optimization with LLM-as-a-judge rewards and Anchored-Reference Injection for Storywriting), una ricetta GRPO (Group Relative Policy Optimization) a basso consumo computazionale progettata specificamente per la scrittura creativa a lungo formato. Il metodo è applicato a un modello base Qwen3.5-9B utilizzando un dataset di circa 1.388 coppie prompt–storia derivate da 100 antologie di racconti acquistate commercialmente.

La ricetta si basa su due innovazioni tecniche primarie:

1. Ricompensa strutturata LLM-as-a-Judge

Invece di addestrare un separato modello di ricompensa scalare, POLARIS impiega un LLM all'avanguardia (Gemini 3 Flash) come giudice online durante ogni step GRPO. Questo giudice utilizza una rubrica della qualità della storia strutturata composta da 16 dimensioni:

• Dimensioni Positive (6): Adempimento del prompt, arco narrativo, profondità dei personaggi, voce, realizzazione della scena e ricchezza tematica.
• Dimensioni Negative (10): Violazioni del prompt, rotture della coerenza, linguaggio generico, eccessiva sintesi, eccessiva spiegazione, deriva strutturale, problemi di dialogo, errori meccanici, prevedibilità e prosa eccessivamente ricercata.
• Catch-all: Termini di bonus e penalità per eccellenze o fallimenti non modellati.

Il punteggio grezzo viene normalizzato e combinato con penalità ausiliarie per ripetizione, discrepanza di lunghezza e output vuoti. Fondamentalmente, la funzione di ricompensa include un fattore di scaling della lunghezza sublineare per prevenire l'inflazione della ricompensa su output brevi e un meccanismo di clipping per stabilizzare l'addestramento.

2. Iniezione di Riferimento Umano (HRI)

Per affrontare il problema della stagnazione nell'RL open-ended — dove le rollout della policy possono convergere verso punteggi di ricompensa simili, interrompendo l'apprendimento — gli autori introducono l'HRI.

• Meccanismo: Per ogni gruppo GRPO, una storia scritta da un essere umano (imposta tramite teacher-forcing attraverso la policy corrente) viene inserita come il $(k+1)$-esimo membro.
• Funzione: Questo riferimento umano agisce come un ancoraggio ad alta ricompensa, mantenendo la varianza della ricompensa all'interno del gruppo e fornendo una pressione del gradiente stabile verso una scrittura più forte.
• Implementazione: Il riferimento viene valutato dalla stessa funzione di ricompensa delle rollata della policy, ma è escluso dal calcolo della media e della deviazione standard del gruppo. Il suo vantaggio è scalato da un programma di warmup per attenuare il contributo del gradiente dalla traiettoria di dimostrazione, garantendo che l'aggiornamento rimanga un passo GRPO aumentato da dimostrazione distorto piuttosto che un estimatore on-policy non distorto.

Contributi Chiave

1. Una ricetta a basso consumo: Gli autori dimostrano che un modello da 9B può essere addestrato per circa 48 ore su 4 GPU A100 (costo totale ~$500) per raggiungere prestazioni di scrittura a lungo formato competitive.
2. Rubrica strutturata rispetto a ricompense scalari: Sostituendo i modelli di ricompensa addestrati con un LLM-as-a-judge strutturato e multidimensionale, il metodo evita la necessità di pipeline di addestramento separate per il modello di ricompensa e fornisce un feedback granulare su specifiche qualità narrative.
3. Iniezione di Riferimento Umano: L'introduzione di HRI come meccanismo per prevenire la stagnazione dell'apprendimento in compiti open-ended, offrendo un modo semplice ed efficace per ancorare gli aggiornamenti della policy senza richiedere intere traiettorie esperte per ogni step.
4. Generalizzazione della lunghezza: I dati di addestramento consistono interamente in storie fino a 4.000 parole. Nonostante ciò, il modello risultante, POLARIS–9B, dimostra una robusta performance su prompt che richiedono storie fino a 12.000 parole (3× la lunghezza di addestramento).

Risultati

La valutazione copre cinque benchmark che riguardano prompt e rubriche in-distribution (ID) e out-of-distribution (OOD), coinvolgendo oltre 160.000 giudizi a coppie.

• Performance vs Modelli più Grandi: POLARIS–9B è competitivo con modelli a pesi aperti tre volte più grandi (ad esempio, Qwen3.5-27B, Gemma 4 31B). Su EQ-Bench Creative, si posiziona al 3° posto tra 15 modelli, dietro solo ai modelli all'avanguardia (GPT-5.4, Claude Opus 4.6) e ai riferimenti umani.
• Aderenza alla Lunghezza: A differenza di molti modelli a pesi aperti più grandi che degradano in qualità o sottostimano le lunghezze richieste a 8–12k parole, POLARSO–9B mantiene sia la qualità della rubrica che l'aderenza alla lunghezza. Ottiene un rapporto di aderenza alla lunghezza di 0,72 a 8–12k parole preservando la qualità della storia, mentre i baseline come Gemma 4 31B spesso scrivono storie significativamente più brevi per mantenere la qualità.
• Valutazione Umana: In una valutazione umana in cieco di 60 coppie prompt–storia, gli annotatori hanno preferito POLARIS–9B rispetto al base Qwen3.5-9B (tasso di vittoria del 67,5%). Il confronto con Qwen3.5-27B è statisticamente indistinguibile (tasso di vittoria del 51,2%), con commenti umani che evidenziano l'atmosfera, la voce e la realizzazione delle scene più forti di POLARIS–9B.
• Modalità di Fallimento: Il paper nota che, sebbene POLARIS–9B eviti il "collasso della qualità" e la "fuga della lunghezza" visti in altri modelli, può ancora soffrire di sovraccarico stilistico (uso eccessivo di gergo o prosa pesante) e fallimenti di coerenza locale (contraddizioni nei dettagli).

Significato e Rivendicazioni

Il paper sostiene che la generalizzazione della lunghezza funga da test di stress significativo per i modelli di scrittura creativa. Un modello che impara solo schemi superficiali degraderà man mano che le storie richiederanno una coerenza narrativa sostenuta e il completamento dell'arco su migliaia di token. La capacità di POLARIS–9B di mantenere punteggi di rubrica elevati a 8–12k parole, nonostante l'addestramento su dati fino a 4k parole, suggerisce che la ricetta GRPO proposta con HRI e giudizio strutturato è un percorso efficace per allineare piccoli modelli su compiti open-ended con ricompense "soft".

Gli autori posizionano questo lavoro come un'alternativa pratica all'approccio "scale-first", dimostrando che, con la giusta ricetta di addestramento, i piccoli modelli a pesi aperti possono competere con controparti molto più grandi senza la necessità di massicce infrastrutture computazionali o dati proprietari. I risultati suggeriscono che distinguere i modelli vicini in questo dominio richiede di valutare non solo la qualità aggregata, ma specificamente come la qualità e l'aderenza alla lunghezza resistano in condizioni di trasferimento lontano (far-transfer).