💬 NLP

POLARIS: Guiding Small Models to Write Long Stories

本論文は、LLM-as-a-judgeによる報酬と人間による参照の注入を組み合わせることで、Qwen3.5-9Bのような小型モデルが、長さの遵守性と汎化性能を維持しつつ、より大規模なモデルに匹敵する高品質な長文ストーリーを生成することを可能にする、低計算コストのGRPOトレーニングレシピであるPOLARISを紹介している。

原著者： Rishanth Rajendhran, Jenna Russell, Mohit Iyyer, John Frederick Wieting

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rishanth Rajendhran, Jenna Russell, Mohit Iyyer, John Frederick Wieting

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

概要：POLARIS論文の解説

大きな問題：小さな書き手は途中で疲れてしまう

非常に賢いけれど、体力の少ない小さなロボット作家（「小型モデル」）を想像してみてください。もしそのロボットに短い物語を書くよう頼めば、それは素晴らしいことができます。しかし、長い小説を書くよう頼むと、2つの悪いことが起こります。

諦めてしまう： 物語が終わるずっと前に、執筆を止めてしまいます。
理性を失う： 長くなればなるほど、物語が支離滅裂になったり、同じことの繰り返しになったり、退屈になったりします。

巨大で高価なスーパーコンピュータ（「フロンティアモデル」など）は、長い物語を上手く書けますが、多くの人々が利用するにはコストがかかりすぎます。この論文の著者たちはこう問いかけました。「小型で安価なロボットに、スーパーコンピュータを使わずに、長くて高品質な物語を書く方法を教えられないだろうか？」

解決策：POLARIS

彼らは、POLARISというトレーニングのレシピを作り上げました。これは、ロボットのための特別なコーチング・メソッドだと考えてください。単にロボットを一人で練習させるのではなく、そのトレーニングキャンプに2つの「秘密の材料」を加えました。

材料1：「厳格な編集者」（LLMによる判定）

通常、AIをトレーニングする際は、「良い」か「悪い」かを判定するだけの単純な「スコアカード」を使用します。それは、生徒に理由も言わずに単に「C判定」とだけつける先生のようなものです。

POLARISは、フロンティアLLM判定員（非常に高度なAI）を、厳格な編集者として採用しています。

仕組み： この編集者は、単にスコアを与えるのではなく、物語を読み込み、詳細な**ルーブリック（評価基準）**を記入します。
チェックリスト： 編集者は16の異なる項目を確認します。例えば、「キャラクターの声（口調）は明確だったか？」（良）や、「物語が冗長になっていないか？」（悪）といった具合です。
比喩： 有名な作家があなたの物語を読み、「あなたの台詞回しは硬すぎる」「結末が急ぎすぎている」といった具体的なフィードバックをくれる執筆ワークショップを想像してください。ロボットは、単なる一般的な成績ではなく、こうした具体的なメモから学ぶのです。

材料2：「人間のアンカー」（人間による参照情報の注入）

これが最もユニークな部分です。通常のトレーニンググループでは、ロボットが5つの異なる物語を生成し、コンピュータはその中から最も優れたものを選んで学習します。しかし、時として5つとも平凡な物語になってしまい、ロボットが「まあまあ」な物語を書くループに陥ってしまうことがあります。

POLARISは、すべてのグループに**「人間のアンカー（錨）」**を加えます。

仕組み： すべてのプロンプトに対して、システムはロボットに対し、自身の試行錯誤と並行して、実際に人間が書いた物語を見ることを強制します。
比喩： 数学の問題を解こうとしている生徒たちのグループを想像してください。通常、彼らは自分たちの答えを互いに比較するだけです。しかし、このクラスでは、先生が黒板に完璧に解かれた例題を掲示します。生徒たちはただ推測しているのではなく、「北極星（目標）」を持っているのです。たとえロボットが人間の物語をそのままコピーしなくても、その高品質な例を目にすることで、ロボットの「向上心」を高く保ち、低品質な文章で妥協してしまうのを防ぐのです。

結果：「小型」ながらも強敵に打ち勝つモデル

著者たちは、標準的な90億パラメータのモデル（Qwen3.5-9B）を取り出し、この手法を用いて約1,400の短編小説でトレーニングを行いました。

驚きの結果： このロボットは、最大4,000語までの物語でトレーニングされたにもかかわらず、品質を落とすことなく、最大12,000語（3倍の長さ！）の物語を書く方法を学びました。
比較：
- ベースモデルに対して： 未学習のバージョンよりもはるかに優れています。
- 巨大モデルに対して： 3倍のサイズ（270億パラメータ）で、より高価なモデルとほぼ同等の性能を発揮します。
- 「ストレス・テスト」： ほとんどの小型モデルは、長い物語を書こうとすると崩壊してしまいます。POLARISは、物語の一貫性を保ち、要求された長さに実際に到達できた唯一の小型モデルでした。

なぜこれが重要なのか

この論文は、「長さの汎化（Length Generalization）」（学習したよりも長い文章を書く能力）は、優れたストレス・テストであると主張しています。

比喩： もしランナーを1マイルのレースのために訓練した場合、2マイル地点で疲れてしまうかもしれません。もしそのランナーが止まることなく3マイルを走れたなら、それは単なる瞬発力ではなく、真のスタミナを持っている証拠となります。
POLARISは、適切な「コーチング」（厳格な編集者と人間のアンカー）があれば、小型モデルでも巨大なモデルのようなスタミナを持てることを証明しました。

まとめ

POLARISは、小型のAIモデルに、長くてクリエイティブな物語を書かせるための、巧妙で低コストなトレーニング手法です。それは以下の2点によって実現されます。

スマートなAI編集者による、詳細で具体的なフィードバックを与えること。
高品質な人間の例を見せることで、高い目標を維持させること。

その結果、安価で扱いやすい小型AIが、スーパーコンピュータを必要とすることなく、巨大で高価なモデルと同じくらい優れた長い物語を書けるようになったのです。

技術要約：POLARIS – 小規模モデルに長編ストーリーを書かせるためのガイダンス

問題提起

小規模なオープンウェイト言語モデル（例：9Bパラメータ）は、長編のクリエイティブ・ライティングにおいて著しく苦戦する。長大な物語の生成を求められた際、これらのモデルは通常、2つの失敗モードのいずれかに陥る。すなわち、要求された長さに遠く及ばないか、あるいは生成が進むにつれて出力の品質が急激に低下するかである。これは、数千トークンにわたって一貫性と文体を維持できるフロンティアモデルとは対照的である。既存の長編生成に対する強化学習（RL）アプローチは、巨大なベースモデル、継続的な事前学習、カスタム学習された報酬モデル、あるいは大規模なデータセットを含む、高価なインフラストラクチャに依存することが多い。本論文は、このようなスケールを用いずに、小規模なオープンモデルがこの領域で競争力を獲得できるかという問いを投げかけている。

メソドロジー

著者らは、長編のクリエイティブ・ライティングに特化して設計された、低計算量GRPO（Group Relative Policy Optimization）レシピであるPOLARIS（Policy Optimization with LLM-as-a-judge rewards and Anchored-Reference Injection for Storywriting）を提示している。この手法は、Qwen3.5-9Bベースモデルに適用され、100冊の商業的な短編小説アンソロジーから派生した約1,388組のプロンプトと物語のペアを用いたデータセットを使用している。

このレシピは、主に2つの技術的革新に基づいている。

1. 構造化されたLLM-as-a-Judge報酬

個別のスカラー報酬モデルを訓練する代わりに、POLARISは各GRPOステップにおいて、オンライン・ジャッジとしてフロンティアLLM（Gemini 3 Flash）を採用している。このジャッジは、16の次元からなる構造化されたストーリー品質ルーブリックを利用する。

ポジティブな次元 (6): プロンプトの充足、物語の弧（ナラティブ・アーク）、キャラクターの深み、声（ボイス）、シーンの具現化、およびテーマの豊かさ。
ネガティブな次元 (10): プロンプト違反、一貫性の崩壊、一般的な表現、過度な要約、過度な説明、構造の漂流、対話の問題、機械的なエラー、予測可能性、および大げさすぎる散文。
キャッチオール: モデル化されていない卓越性または失敗に対するボーナスおよびペナルティ項。

生のスコアは正規化され、反復、長さの不一致、および空白の出力に対する補助的なペナルティと組み合わされる。決定的なことに、報酬関数には、短い出力による報酬の膨張を防ぐための劣線形な長さスケーリング係数と、トレーニングを安定させるためのクリッピング機構が含まれている。

2. 人間による参照の注入（Human-Reference Injection: HRI）

オープンエンドなRLにおける停滞（ポリシーのロールアウトが同様の報酬スコアに収束し、学習が停止する現象）に対処するため、著者らはHRIを導入した。

メカニズム: 各GRPOグループにおいて、人間が書いた物語（現在のポリシーを通じて教師強制されるもの）が $(k+1)$ 番目のメンバーとして挿入される。
機能: この人間の参照は、高報酬のアンカーとして機能し、グループ内の報酬分散を維持し、より強力な執筆へと向かう安定した勾配圧力を提供する。
実装: 参照はポリシーのロールアウトと同じ報酬関数によってスコアリングされるが、グループの平均および標準偏差の計算からは除外される。そのアドバンテージは、デモンストレーションの軌道からの勾配の寄与を抑制するためにウォームアップ・スケジュールによってスケーリングされ、これにより更新が、バイアスのないオンポリシーのエスティメータではなく、バイアスのあるデモンストレーション増強型GRPOステップとなるように制御される。

主な貢献

低計算量レシピ: 著者らは、4台のA100 GPU（総コスト約500ドル）を用いて約48時間訓練することで、9Bモデルが競争力のある長編執筆性能を達成できることを示している。
スカラー報酬に対する構造化ルーブリック: 学習済みの報酬モデルを、構造化された多次元のLLM-as-a-judgeに置き換えることで、個別の報酬モデルの訓練パイプラインを必要とせず、特定の物語の質に関する粒度の高いフィードバックを提供することを可能にした。
Human-Reference Injection: オープンエンドなタスクにおける学習停滞を防ぐためのメカニズムとしてHRIを導入し、すべてのステップに対して完全なエキスパートの軌跡を必要とすることなく、ポリシーの更新をアンカーするシンプルかつ効果的な方法を提供した。
長さの汎化: トレーニングデータはすべて4,000語までの物語で構成されている。それにもかかわらず、結果として得られたモデルであるPOLARIS–9Bは、最大12,000語（トレーニング長の3倍）の物語を要求するプロンプトに対しても、堅牢なパフォーマンスを示す。

結果

評価は、16万件以上のペアワイズ判定を含む、イン・ディストリビューション（ID）およびアウト・オブ・ディストリビューション（OOD）のプロンプトとルーブリックをカバーする5つのベンチマークにわたって行われた。

大型モデルとの比較: POLARIS–9Bは、その3倍のサイズを持つオープンウェイトモデル（例：Qwen3.5-27B、Gemma 4 31B）に対して競争力がある。EQ-Bench Creativeにおいて、フロンティアモデル（GPT-5.4、Claude Opus 4.6）および人間の参照に次いで、15モデル中3位にランクインした。
長さの遵守: 8,000〜12,000語において品質が低下するか、あるいは要求された長さに届かないことが多い多くの大型オープンウェイトモデルとは異なり、POLARIS–9Bはルーブリックの品質と長さの遵守の両方を維持している。品質を維持するために大幅に短い物語を書くことが多いGemma 4 31Bなどのベースラインに対し、POLARIS–9Bは8,000〜12,000語において0.72の長さ遵守率を達成しながら、ストーリーの品質を保持している。
人間による評価: 60組のプロンプト–物語ペアを用いたブラインド・ヒューマン・エバリュエーションにおいて、アノテーターはPOLARIS–9BをベースのQwen3.5-9Bよりも好んだ（勝率67.5%）。Qwen3.5-27Bとの比較では、統計的に差がない結果となった（勝率51.2%）。人間のコメントでは、POLARIS–9Bのより強力な雰囲気、声、およびシーンの具現化が強調された。
失敗モード: 本論文では、POLARIS–9Bは他のモデルに見られる「品質の崩壊」や「長さの暴走」は回避しているものの、依然として「スタイルの過負荷（専門用語や重厚な散文の多用）」や「局所的な一貫性の欠如（細部の矛盾）」に陥る可能性があると指摘している。

意義と主張

本論文は、長さの汎化がクリエイティブ・ライティング・モデルにとって意味のあるストレス・テストであると主張している。単に表面的なパターンを学習しただけのモデルは、数千トークンにわたって持続的な物語の一貫性と展開の完了が求められるにつれて、劣化する。トレーニングデータが4,000語までであるにもかかわらず、POLARIS–9Bが8,000〜12,000語において強いルーブリック・スコアを維持できることは、HRIと構造化されたジャッジを用いた提案されたGRPOレシピが、ソフトな報酬を伴うオープンエンドなタスクにおいて小規模モデルを整列させるための効果的な経路であることを示唆している。

著者らは、この研究を「スケール・ファースト」のアプローチに対する実用的な代替案として位置づけており、適切なトレーニング・レシピがあれば、大規模な計算インフラや独自のデータを用いることなく、小規模なオープンウェイトモデルが長編のクリエイティブ・ライティングにおいてより大きなモデルに匹敵できることを示している。結果は、この領域においてモデルを区別するには、集約された品質だけでなく、品質と長さの遵守が遠隔転移条件下でどのように維持されるかを具体的に評価する必要があることを示唆している。