Résumé technique : POLARIS – Guider les petits modèles vers l'écriture de récits longs

Problématique

Les petits modèles de langage à poids ouverts (par exemple, 9 milliards de paramètres) éprouvent des difficultés significatives dans la rédaction créative de longue forme. Lorsqu'on leur demande de générer des histoires d'une longueur substantielle, ces modèles présentent généralement l'un des deux modes de défaillance suivants : soit ils s'arrêtent bien avant la longueur demandée, soit la qualité de leur production se dégrade de manière précipitée à mesure que la génération s'étend. Cela contraste avec les modèles de pointe, qui maintiennent cohérence et constance stylistique sur des milliers de jetons. Les approches existantes de renforcement par apprentissage (RL) pour la génération de longue forme reposent souvent sur des infrastructures coûteuses, incluant de grands modèles de base, un pré-entraînement continu, des modèles de récompense entraînés spécifiquement ou des jeux de données massifs. L'article demande si un petit modèle ouvert peut devenir compétitif dans ce domaine sans une telle échelle.

Méthodologie

Les auteurs présentent POLARIS (Policy Optimization with LLM-as-a-judge rewards and Anchored-Reference Injection for Storywriting), une recette GRPO (Group Relative Policy Optimization) à faible consommation de calcul, conçue spécifiquement pour la rédaction créative de longue forme. La méthode est appliquée à un modèle de base Qwen3.5-9B à l'aide d'un jeu de données d'environ 1 388 paires prompt-histoire dérivées de 100 anthologies de nouvelles achetées commercialement.

La recette repose sur deux innovations techniques primaires :

1. Récompense structurée par LLM-en-tant que juge (LLM-as-a-Judge)

Au lieu d'entraîner un modèle de récompense scalaire distinct, POLARIS emploie un LLM de pointe (Gemini 3 Flash) comme juge en ligne lors de chaque étape de GRPO. Ce juge utilise une rubrique de qualité de l'histoire structurée comprenant 16 dimensions :

• Dimensions positives (6) : Respect du prompt, arc narratif, profondeur des personnages, voix, réalisation des scènes et richesse thématique.
• Dimensions négatives (10) : Violations du prompt, ruptures de cohérence, langage générique, sur-résumé, sur-explication, dérive structurelle, problèmes de dialogue, erreurs mécaniques, prévisibilité et prose outrée.
• Catégories générales : Termes de bonus et de pénalité pour l'excellence ou l'échec non modélisés.

Le score brut est normalisé et combiné avec des pénalités auxiliaires pour la répétition, l'inadéquation de la longueur et les sorties vides. Crucialement, la fonction de récompense inclut un facteur d'échelle de longueur sous-linéaire pour empêcher l'inflation de la récompense sur les sorties courtes et un mécanisme de clipsage pour stabiliser l'entraînement.

2. Injection de Référence Humaine (HRI)

Pour remédier au problème de stagnation dans le RL ouvert — où les déploiements de la politique peuvent converger vers des scores de récompense similaires, stoppant ainsi l'apprentissage — les auteurs introduisent l'HRI.

• Mécanisme : Pour chaque groupe GRPO, une histoire écrite par un humain (imposée par l'enseignant à la politique actuelle) est insérée comme le $(k+1)$-ième membre.
• Fonction : Cette référence humaine agit comme une ancre à haute récompense, maintenant la variance de la récompense intra-groupe et fournissant une pression de gradient stable vers une écriture plus forte.
• Implémentation : La référence est évaluée par la même fonction de récompense que les déploiements de la politique, mais elle est exclue du calcul de la moyenne et de l'écart type du groupe. Son avantage est mis à l'échelle par un calendrier de chauffe (warmup) pour atténuer la contribution de gradient de la trajectoire de démonstration, garantissant que la mise à jour reste une étape GRPO augmentée par démonstration biaisée plutôt qu'un estimateur on-policy non biaisé.

Contributions clés

1. Une recette à faible coût de calcul : Les auteurs démontrent qu'un modèle de 9B peut être entraîné pendant environ 48 heures sur 4 GPU A100 (coût total d'environ 500 $) pour atteindre des performances de rédaction de longue forme compétitives.
2. Rubrique structurée plutôt que récompenses scalaires : En remplaçant les modèles de récompense entraînés par un LLM-en-tant-que-juge multidimensionnel et structuré, la méthode évite le besoin de pipelines d'entraînement de modèles de récompense distincts et fournit un feedback granulaire sur des qualités narratives spécifiques.
3. Injection de Référence Humaine : L'introduction de l'HRI comme mécanisme pour prévenir la stagnation de l'apprentissage dans les tâches ouvertes, offrant un moyen simple et efficace d'ancrer les mises à jour de la politique sans nécessendre de trajectoires d'experts complètes pour chaque étape.
4. Généralisation de la longueur : Les données d'entraînement consistent entièrement en des histoires allant jusqu'à 4 000 mots. Malgré cela, le modèle résultant, POLARIS–9B, démontre des performances robustes sur des prompts demandant des histoires allant jusqu'à 12 000 mots (3 fois la longueur d'entraînement).

Résultats

L'évaluation couvre cinq benchmarks couvrant des prompts et des rubriques en distribution (ID) et hors distribution (OOD), impliquant plus de 160 000 jugements par paires.

• Performance vs Modèles plus grands : POLARIS–9B est compétitif avec des modèles à poids ouverts trois fois plus grands (ex: Qwen3.5-27B, Gemma 4 31B). Sur l'EQ-Bench Creative, il se classe 3ème parmi 15 modèles, derrière seulement les modèles de pointe (GPT-5.4, Claude Opus 4.6) et les références humaines.
• Adhérence à la longueur : Contrairement à de nombreux modèles à poids ouverts plus grands qui dégradent soit leur qualité, soit leur longueur demandée à 8–12k mots, POLARIS–9B maintient à la fois la qualité de la rubrique et l'adhérence à la longueur. Il atteint un ratio d'adhérence à la longueur de 0,72 à 8–12k mots tout en préservant la qualité de l'histoire, alors que les modèles de base comme Gemma 4 31B écrivent souvent des histoires nettement plus courtes pour maintenir la qualité.
• Évaluation humaine : Dans une évaluation humaine en aveugle de 60 paires prompt-histoire, les annotateurs ont préféré POLARIS–9B au modèle de base Qwen3.5-9B (taux de victoire de 67,5 %). La comparaison avec Qwen3.5-27B est statistiquement indiscernable (taux de victoire de 51,2 %), les commentaires humains soulignant l'atmosphère, la voix et la réalisation des scènes plus fortes de POLARIS–9B.
• Modes de défaillance : L'article note que bien que POLARษIS–9B évite l'effondrement de la qualité et la fuite de la longueur observés chez d'autres modèles, il peut encore souffrir de surcharge stylistique (usage excessif de jargon ou de prose lourde) et de défaillances de cohérence locale (contradictions de détails).

Signification et Revendications

L'article affirme que la généralisation de la longueur sert de test de résistance significatif pour les modèles de rédaction créative. Un modèle qui apprend simplement des motifs de surface se dégradera à mesure que les histoires exigeront une cohérence narrative soutenue et une complétion d'arc sur des milliers de jetons. La capacité de POLARIS–9B à conserver des scores de rubrique élevés à 8–12k mots, malgré un entraînement uniquement sur des données allant jusqu'à 4k mots, suggère que la recette GRPO proposée avec HRI et un jugement structuré est une voie efficace pour aligner les petits modèles sur des tâches ouvertes avec des récompenses souples.

Les auteurs positionnent ce travail comme une alternative pratique à l'approche "scale-first", montrant qu'avec la bonne recette d'entraînement, les petits modèles à poids ouverts peuvent rivaliser avec des homologues beaucoup plus grands sans nécessiter d'infrastructures de calcul massives ou de données propriétaires. Les résultats suggèrent que distinguer les modèles proches dans ce domaine nécessite d'évaluer non seulement la qualité globale, mais spécifiquement comment la qualité et l'adhérence à la longueur tiennent compte des conditions de transfert lointain.