技術的サマリー：StoicLLM

問題定義

大規模言語モデル（LLM）は事実の適応において強力な能力を示す一方で、厳密なデータ制約下で洗練された哲学的枠組みを内面化する能力は未だ十分に研究されていない。具体的には、「小規模」言語モデル（SLM）が、マイクロデータセットのみを用いて、ストア派哲学者のような複雑で抽象的なペルソナとどのように整合性を取れるかという点において、理解のギャップが存在する。さらに、現在の選好最適化技術が、SLM における特定の教義的次元、特に外向的な社会的義務と内向的な徳に関する表現の限界を克服できるかどうかは不明である。

手法

モデルとアーキテクチャ

本研究は、2 つの高性能な小規模 LLM、すなわちLlama-3.2-3B-InstructとQwen-3-4B-Instructに焦点を当てている。パラメータ効率的なファインチューニングを実行するため、著者らは標準的な LoRA に代わって**重み分解低ランク適応（DoRA）**を利用した。DoRA は重みの更新を大きさ成分と方向成分に分離し、モデルが完全なファインチューニングの軌跡により密接に追従し、コンテキスト喪失のリスクを低減することを可能にする。

学習戦略

モデルは、ストア派の基礎文献（セネカの『書簡集』およびエピクテトスの『著作集』）に由来するマイクロデータセットを用いて専門化された。データセットの構築には以下のプロセスが含まれる：

1. ソース資料： セネカおよびエピクテトスの学術的翻訳。
2. データ生成： 最先端の LLM（Claude 4.5 Sonnet）を用いて、指示チューニングペア（<質問、選択、却下>）を生成する。ここで「選択」された回答は原本の抜粋であり、「却下」された回答は合成された非原本の完成形である。
3. データセットサイズ： 3 つの階層が作成された。V100、V200、および V300（それぞれ 100、200、300 の例を含む）。

2 つの単一の選好最適化アルゴリズムが比較された：

• ORPO（オッズ比選好最適化）： 標準的な負の対数尤度損失に加えて、却下された生成物に対して対照的なオッズ比ペナルティを適用する。
• AlphaPO： 潜在的な報酬信号の感度をスケーリングするための調整可能な報酬 shaping パラメータ（$\alpha$）を導入することで、フレームワークを拡張する。

学習は、Warmup-Stable-Decay（WSD）学習率スケジューラとStableAdamWオプティマイザを用いて安定化され、DoRA 更新中の勾配爆発を防止した。

評価フレームワーク

評価は、内省的な推論を引き出すように設計された 100 のオープンエンドな現代の質問セットに対して行われた。人間の評価のコストと遅延を回避するため、本研究では3 つの最先端モデル（Claude Sonnet 4.6、Gemini 3 Flash Preview、GPT-5.4）からなるマルチモデル「LLM-as-a-judge」評議会を採用した。

スタンフォード哲学百科事典に基づき、Claude Opus 4.6 によって生成された構造化された評価基準により、回答が 8 つの基準にわたって評価された：

• 哲学的コンテンツ（A1–A6）： 最高善としての徳、外部事物への無関心、理性的自己統治、運命の受容、情念の掌握、および世界市民的社会的義務を含む。
• 正統的ストア派の声（B1–B2）： セネカやエピクテトスなどの人物に対する語彙および様式的類似性を評価する。

審査員は各基準を 1〜5 点のスケールで採点し、堅牢性を確保するため、各審査員が回答を 3 回評価した。

主要な結果

性能効率

本研究は、300 の高忠実度の例が、小規模モデルにおけるストア派の徳との強力な整合性を誘発するのに十分であることを示している。

• Qwen-3-4Bは、すべての条件において Llama-3.2-3B を大幅に上回った。
• 選好最適化対 Few-Shot： ファインチューニングされたモデル（特に 300 の例を用いた AlphaPO による Qwen-3-4B）は30.92のスコアを達成し、few-shot プロンプティングの天井値である32.24に近づいた。これは、マイクロデータセット適応がモデルの重みにトーンや教義的なマーカーをエンコードし、推論時のコンテキストウィンドウのオーバーヘッドを実質的に解放することを示している。
• 統計的有意性： ウィルコクソンの符号付き順位和検定により、データセットサイズが増加するにつれて厳密かつ単調な改善が確認された（$p < 0.001$）。

オプティマイザの有効性とモデル依存性

オプティマイザの選択に関して「交差効果」が観察された：

• AlphaPOは、より強力なQwen-3ベースモデル上で効果的にスケーリングされ、より多くのデータ量（30.92 対 28.98）において ORPO を上回った。
• ORPOは、より弱いLlama-3ベースモデルにおいて一貫して AlphaPO を上回り、データが増えるにつれて性能格差は拡大した（25.13 対 21.56）。
• 著者らはこれを、AlphaPO が微妙な勾配信号を利用するために堅牢なベースライン表現に依存するのに対し、ORPO の硬直的な対照ペナルティがより弱いアーキテクチャに対してより強力なガードレールとして機能するためであると帰結した。

「世界市民的盲点」

重要な発見として、すべてのモデル（few-shot ベースラインを含む）が、**基準 A6（世界市民的社会的義務）**との整合性において持続的な失敗を遂げていることが挙げられる。

• 適応されたモデルは内向的な徳（例：Qwen-3 における理性的自己統治 > 4.5）で高スコアを獲得したが、世界市民的社会的義務では2.20未満のスコアであった。
• Few-shot プロンプティングはこの次元において有意な向上をもたらさなかった（例：Qwen-3 few-shot: 1.82 対 zero-shot: 1.78）。
• これは、マイクロデータセット適応のみでは克服できない、小規模モデルの事前学習混合物における世界市民的倫理的推論に関する表現の限界を示唆している。

意義と主張

本論文は、パラメータ効率的適応の分野に対して 3 つの主要な貢献を主張している：

1. マイクロデータセットの実用性： 小規模で高品質なデータセット（300 例程度）が、複雑なペルソナを SLM の重みに効果的にエンコードし、コンテキストウィンドウのオーバーヘッドを排除しながら few-shot プロンプティングと同等の性能を達成できることを確立する。
2. オプティマイザとモデルの条件性： 選好オプティマイザの有効性は普遍的ではなく、ベースモデルの潜在的な能力に依存することを明らかにする。強力なモデルは調整可能な報酬 shaping（AlphaPO）から恩恵を受けるのに対し、弱いモデルは対照ペナルティの構造的ガードレール（ORPO）を必要とする。
3. 表現の限界： 外向的な社会的義務に関する小規模モデルにおける特定の「盲点」を特定する。すべての適応手法（few-shot を含む）において世界市民的義務を内面化できないことは、これが適応手法の失敗ではなく、モデルの事前学習表現の根本的な限界であることを示している。

著者らは、SLM が抽象的な質的領域に効果的に適応され得る一方で、社会的教義的推論におけるギャップを埋めるには、単にマイクロデータセットのファインチューニングをスケーリングするのではなく、より大きなモデル容量、ターゲットを絞った事前学習データ、または過小評価された次元の明示的な拡張が必要であると結論づけている。