💬 NLP

POLARIS: Guiding Small Models to Write Long Stories

Das Papier stellt POLARIS vor, ein recheneffizientes GRPO-Trainingsrezept, das LLM-as-a-Judge-Belohnungen mit der Injektion menschlicher Referenzen kombiniert, um kleine Modelle wie Qwen3.5-9B dazu zu befähigen, hochwertige, langformatige Geschichten zu generieren, die mit viel größeren Modellen konkurrieren und gleichzeitig eine starke Längentreue sowie Generalisierung beibehalten.

Ursprüngliche Autoren: Rishanth Rajendhran, Jenna Russell, Mohit Iyyer, John Frederick Wieting

Veröffentlicht 2026-06-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Rishanth Rajendhran, Jenna Russell, Mohit Iyyer, John Frederick Wieting

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Kleine Schreiber werden müde

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber kleinen Roboter-Schreiber (ein „kleines Modell“). Wenn Sie ihn bitten, eine Kurzgeschichte zu schreiben, ist er großartig. Aber wenn Sie ihn bitten, einen langen Roman zu schreiben, passieren zwei Dinge:

Er gibt auf: Er hört auf zu schreiben, lange bevor die Geschichte beendet ist.
Er verliert den Verstand: Die Geschichte wird chaotisch, repetitiv oder langweilig, je länger sie wird.

Große, teure Supercomputer (wie „Frontier-Modelle“) können lange Geschichten gut schreiben, aber sie sind für die meisten Menschen zu kostspielig im Einsatz. Die Autoren dieser Arbeit fragten sich: „Können wir einem kleinen, günstigen Roboter beibringen, lange, hochwertige Geschichten zu schreiben, ohne einen Supercomputer zu benötigen?“

Die Lösung: POLARIS

Sie entwickelten ein Trainingsrezept namens POLARIS. Betrachten Sie dies als eine spezielle Coaching-Methode für den Roboter. Anstatt den Roboter einfach alleine üben zu lassen, fügten sie seinem Trainingslager zwei geheime Zutaten hinzu.

Zutat 1: Der „Strenge Editor“ (Der LLM-Richter)

Normalerweise verwendet man beim Training von KI eine einfache „Bewertungskarte“, die nur „Gut“ oder „Schlecht“ sagt. Das ist wie ein Lehrer, der einem Schüler eine Note von „C“ gibt, ohne zu erklären, warum.

POLARIS nutzt einen Frontier LLM Judge (einen sehr fortgeschrittenen KI-Richter), der als Strenger Editor funget.

Wie es funktioniert: Anstatt nur eine Punktzahl zu vergeben, liest dieser Editor die Geschichte und füllt ein detailliertes Rubric (eine Checkliste) aus.
Die Checkliste: Er achtet auf 16 verschiedene Dinge, wie zum Beispiel: „Hat der Charakter eine klare Stimme?“ (Gut) oder „Wurde die Geschichte repetitiv?“ (Schlecht).
Die Analogie: Stellen Sie sich einen Schreibworkshop vor, in dem ein berühmter Autor Ihre Geschichte liest und Ihnen spezifische Notizen gibt: „Deine Dialoge sind zu steif“ oder „Das Ende wirkt überstürzt.“ Der Roboter lernt aus diesen spezifischen Notizen, nicht nur aus einer generischen Note.

Zutat 2: Der „Menschliche Anker“ (Human-Reference Injection)

Dies ist der einzigartigste Teil. In einer typischen Trainingsgruppe generiert der Roboter 5 verschiedene Geschichten, und der Computer wählt die beste davon aus, um daraus zu lernen. Aber manchmal sind alle 5 Geschichten mittelmäßig, und der Roboter steckt in einer Schleife fest, in der er nur „okay“, aber nicht „großartige“ Geschichten schreibt.

POLARIS fügt jeder Gruppe einen Menschlichen Anker hinzu.

Wie es funktioniert: Für jeden Prompt zwingt das System den Roboter, eine echte, von einem Menschen geschriebene Geschichte neben seinen eigenen Versuchen zu betrachten.
Die Analogie: Stellen Sie sich eine Gruppe von Schülern vor, die versuchen, eine Matheaufgabe zu lösen. Normalerweise vergleichen sie ihre Antworten nur untereinander. Aber in diesem Kurs setzt der Lehrer ein perfekt gelöstes Beispiel an die Tafel. Die Schüler raten nicht nur; sie haben einen „Nordstern“, an dem sie sich orientieren können. Selbst wenn der Roboter die menschliche Geschichte nicht kopiert, sorgt das Sehen dieses hochwertigen Beispiels dafür, dass der „Ehrgeiz“ des Roboters hoch bleibt und er nicht bei minderwertiger Qualität stehen bleibt.

Die Ergebnisse: Das „kleine“ Modell, das über sich hinauswächst

Die Autoren nahmen ein Standardmodell mit 9 Milliarden Parametern (Qwen3.5-9B) und trainierten es mit dieser Methode an etwa 1.400 Kurzgeschichten.

Die Überraschung: Obwohl der Roboter nur auf Geschichten bis zu 4.000 Wörtern trainiert wurde, lernte er, Geschichten bis zu 12.000 Wörter (das Dreifache!) zu schreiben, ohne an Qualität zu verlieren.
Der Vergleich:
- Gegenüber dem Basismodell: Es ist viel besser als die ungetrainierte Version.
- Gegenüber Giganten-Modellen: Es schneidet fast so gut ab wie Modelle, die 3-mal größer sind (27 Milliarden Parameter) und viel teurer.
- Der „Stresstest“: Die meisten kleinen Modelle brechen zusammen, wenn man sie bittet, lange Geschichten zu schreiben. POLARIS ist das einzige kleine Modell, das stark blieb, die Kohärenz der Geschichte beibehielt und die gewünschte Länge tatsächlich erreichte.

Warum das wichtig ist

Die Arbeit argumentiert, dass „Längen-Generalisierung“ (die Fähigkeit, länger zu schreiben, als man trainiert wurde) ein hervorragender Stresstest ist.

Die Metapher: Wenn man einen Läufer darauf trainiert, einen 1-Meilen-Lauf zu absolvieren, wird er bei 2 Meilen vielleicht müde. Wenn er es schafft, 3 Meilen ohne anzuhalten zu laufen, beweist das, dass er echte Ausdauer besitzt und nicht nur eine kurze Geschwindigkeit hat.
POLARIS bewies, dass ein kleines Modell mit dem richtigen „Coaching“ (dem Strengen Editor und dem Menschlichen Anker) die Ausdauer eines Giganten haben kann.

Zusammenfassung

POLARIS ist eine kluge, kostengünstige Trainingsmethode, die kleinen KI-Modellen beibringt, lange, kreative Geschichten zu schreiben, indem sie:

Detailliertes, spezifisches Feedback von einem intelligenten KI-Editor erhalten.
Hochwertige menschliche Beispiele sehen, die sie dazu bringen, nach Höherem zu streben.

Das Ergebnis ist eine kleine, erschwingliche KI, die lange Geschichten so gut schreibt wie die massiven, teuren Modelle – und das, ohne einen Supercomputer zu benötigen.

Technisches Resümee: POLARIS – Kleine Modelle zu langen Geschichten führen

Problemstellung

Kleine Open-Weight-Sprachmodelle (z. B. mit 9 Milliarden Parametern) haben erhebliche Schwierigkeiten mit kreativem Schreiben in Langform. Wenn sie die Aufgabe erhalten, Geschichten erheblicher Länge zu generieren, zeigen diese Modelle typischerweise eines von zwei Ausfallmodi: Entweder bleiben sie weit hinter der angeforderten Länge zurück, oder die Qualität ihres Outputs sinkt mit fortschreitender Generierung drastisch ab. Dies steht im Gegensatz zu Frontier-Modellen, die über tausende von Token hinweg Kohärenz und stilistische Konsistenz beibehalten. Bestehende Reinforcement Learning (RL)-Ansätze für die Generierung von Langformtexten stützen sich oft auf eine teure Infrastruktur, einschließlich großer Basismodelle, kontinuierliches Pretraining, speziell trainierter Reward-Modelle oder massiver Datensätze. Die Arbeit stellt die Frage, ob ein kleines Open-Model in diesem Bereich wettbewerbsfähig werden kann, ohne eine solche Skalierung zu benötigen.

Methodik

Die Autoren präsentieren POLARIS (Policy Optimization with LLM-as-a-judge rewards and Anchored-Reference Injection for Storywriting), ein recheneffizientes GRPO-Rezept (Group Relative Policy Optimization), das speziell für kreatives Schreiben in Langform entwickelt wurde. Die Methode wird auf einem Qwen3.5-9B-Basismodell unter Verwendung eines Datensatzes von etwa 1.388 Prompt–Geschichte-Paaren angewendet, die aus 100 kommerziell erworbenen Kurzgeschichten-Anthologien abgeleitet wurden.

Das Rezept stützt sich auf zwei primäre technische Innovationen:

1. Strukturierte LLM-as-a-Judge-Belohnung

Anstatt ein separates skalares Reward-Modell zu trainieren, setzt POLARIS während jedes GRPO-Schritts ein Frontier-LLM (Gemini 3 Flash) als Online-Richter ein. Dieser Richter verwendet eine strukturierte Story Quality Rubric (Bewertungsmatrix zur Erzählqualität), die aus 16 Dimensionen besteht:

Positive Dimensionen (6): Prompt-Erfüllung, Erzählbogen, Charaktertiefe, Stimme, Szenenrealisierung und thematische Tiefe.
Negative Dimensionen (10): Prompt-Verstöße, Kohärenzbrüche, generische Sprache, Über-Zusammenfassung, Über-Erklärung, strukturelle Drift, Dialogprobleme, mechanische Fehler, Vorhersehbarkeit und überladene Prosa.
Catch-alls: Bonus- und Malus-Terme für nicht modellierte Exzellenz oder Versagen.

Der Rohwert wird normalisiert und mit Hilfsstrafen für Repetition, Längenabweichungen und leere Outputs kombiniert. Entscheidend ist, dass die Belohnungsfunktion einen sublinearen Längen-Skalierungsfaktor enthält, um eine Belohnungsinflation bei kurzen Outputs zu verhindern, sowie einen Clipping-Mechanismus zur Stabilisierung des Trainings.

2. Human-Reference Injection (HRI)

Um das Problem der Stagnation in offenem RL zu adressieren – bei dem Policy-Rollouts zu ähnlichen Belohnungswerten konvergieren können, was das Lernen stoppt – führen die Autoren HRI ein.

Mechanismus: Für jede GRPO-Gruppe wird eine von Menschen geschriebene Geschichte (durch den Teacher-Forcing der aktuellen Policy eingefügt) als das $(k+1)$ -te Mitglied eingesetzt.
Funktion: Diese menschliche Referenz fungiert als hoch-belohnter Anker, der die innerhalb der Gruppe liegende Belohnungsvarianz aufrechterhält und einen stabilen Gradientendruck in Richtung stärkerer Schreibleistung erzeugt.
Implementierung: Die Referenz wird durch dieselbe Funktion bewertet wie die Policy-Rollouts, ist jedoch von der Berechnung des Gruppenmittelwerts und der Standardabweichung ausgeschlossen. Ihr Vorteil wird durch ein Warmup-Schema skaliert, um den Gradientenbeitrag aus der Demonstrationstrajektorie zu dämpfen, wodurch sichergestellt wird, dass das Update ein verzerrter, demonstrations-augmentierter GRPO-Schritt bleibt und kein unverzerrter On-Policy-Schätzer ist.

Zentrale Beiträge

Ein Low-Compute-Rezept: Die Autoren zeigen, dass ein 9B-Modell für etwa 48 Stunden auf 4 A100-GPUs (Gesamtkosten ~$500) trainiert werden kann, um eine wettbewerbsfähige Performance beim Schreiben von Langformtexten zu erreichen.
Strukturierte Rubrik statt skalarer Rewards: Durch den Ersatz von trainierten Reward-Modellen durch eine strukturierte, multidimensionale LLM-as-a-judge-Methode vermeidet die Methode die Notwendigkeit separater Reward-Modell-Trainingspipelines und bietet granulares Feedback zu spezifischen narrativen Qualitäten.
Human-Reference Injection: Die Einführung von HRI als Mechanismus zur Vermeung der Lernstagnation bei offenen Aufgaben bietet einen einfachen, aber effektiven Weg, um Policy-Updates zu verankern, ohne für jeden Schritt vollständige Experten-Trajektorien zu benötigen.
Längen-Generalisierung: Der Trainingsdatensatz besteht vollständig aus Geschichten bis zu 4.000 Wörtern. Trotzdem demonstriert das resultierende Modell, POLARIS–9B, eine robuste Leistung bei Prompts, die Geschichten bis zu 12.000 Wörter anfordern (3× die Trainingslänge).

Ergebnisse

Die Evaluierung umfasst fünf Benchmarks, die In-Distribution (ID) und Out-of-Distribution (OOD) Prompts sowie Rubriken abdecken, und beinhaltet über 160.000 paarweise Vergleiche.

Performance vs. größere Modelle: POLARIS–9B ist wettbewerbsfähig gegenüber Open-Weight-Modellen, die dreimal so groß sind (z. B. Qwen3.5-27B, Gemma 4 31B). Auf EQ-Bench Creative belegt es den 3. Platz unter 15 Modellen, direkt hinter Frontier-Modellen (GPT-5.4, Claude Opus 4.6) und menschlichen Referenzen.
Längentreue: Im Gegensatz zu vielen größeren Open-Weight-Modellen, die entweder in der Qualität degradieren oder bei 8–12k Wörtern die geforderte Länge unterschreiten, hält POLARIS–9B sowohl die Rubrik-Qualität als auch die Längentreue aufrecht. Es erreicht ein Längentreue-Verhältnis von 0,72 bei 8–12k Wörtern, während Baselines wie Gemma 4 31B oft signifikant kürzere Geschichten schreiben, um die Qualität zu halten.
Humane Evaluierung: In einer Blindstudie mit 60 Prompt–Geschichte-Paaren bevorzugten menschliche Annotatoren POLARIS–9B gegenüber dem Basismodell Qwen3.5-9B (67,5 % Win-Rate). Der Vergleich mit Qwen3.5-27B war statistisch ununterscheidbar (51,2 % Win-Rate), wobei menschliche Kommentare die stärkere Atmosphäre, Stimme und Szenenrealisierung von POLARIS–9B hervorhoben.
Fehlermodi: Das Paper stellt fest, dass POLARIS–9B zwar den „Qualitätskollaps“ und den „Längen-Durchlauf“ (Length Runaway) anderer Modelle vermeidet, aber dennoch unter stilistischer Überladung (übermäßiger Gebrauch von Jargon oder schwerfälliger Prosa) und lokalen Kohärenzfehlern (Widersprüche in Details) leiden kann.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Längen-Generalisierung als aussagekräftiger Stresstest für kreatives Schreib-Modelle dient. Ein Modell, das lediglich oberflächliche Muster lernt, wird degradieren, wenn Geschichten eine anhaltende narrative Kohärenz und den Abschluss eines Bogens über tausende von Token hinweg erfordern. Die Fähigkeit von POLARisch–9B, trotz eines Trainings auf Daten bis zu 4k Wörtern, starke Rubrik-Scores bei 8–12k Wörtern beizubehalten, deutet darauf an, dass das vorgeschlagene GRPO-Rezept mit HRI und strukturierter Bewertung ein effektiver Weg ist, um kleine Modelle auf offene Aufgaben mit weichen Belohnungen (Soft Rewards) auszurichten.

Die Autoren positionieren diese Arbeit als praktische Alternative zum „Scale-First“-Ansatz und zeigen, dass mit dem richtigen Trainingsrezept kleine Open-Weight-Modelle mit deutlich größeren Gegenüberen im Bereich des kreativen Schreibens in Langform mithalten können, ohne eine massive Recheninfrastruktur oder proprietäre Daten zu benötigen. Die Ergebnisse legen nahe, dass die Unterscheidung von Modellen in diesem Bereich nicht nur die Bewertung der aggregierten Qualität erfordert, sondern spezifisch untersucht, wie sich Qualität und Längentreue unter Bedingungen des weiten Transfers (Far-Transfer) verhalten.