技術的サマリー：大規模言語モデルにおける正書法制約充足と人間の難易度との整合性

1. 問題定義

大規模言語モデル（LLM）は、硬い正書法制約下でテキストを生成する際に、離散的かつ文字レベルの規則を満たしながら大規模な組み合わせ空間を navigated するという根本的な課題に直面している。LLM の訓練を支配する意味的パターンマッチングとは異なり、制約付き生成は構造的妥当性の厳格な遵守（例：特定の文字セットのみを使用する、必須文字を含める、最小長さ要件を満たすなど）を必要とする。

分布的妥当性と構造的妥当性の間には核心的な緊張関係が存在する。分布的パターンに基づいて訓練されたモデルは、訓練データで頻出する単語であっても、二重子音や特定の文字の繰り返しなど、非典型的な正書法パターンを示す制約妥当な解に対して、低い生成確率を割り当てる可能性がある。先行研究では、意味的制約の検討やデコード時の保証（例：グリッドビームサーチ）がなされてきたが、外部の強制メカニズムなしにオープンボキャブラリ設定において、指示微調整済みモデルが硬い正書法制約をどのように処理するかに関する体系的な評価は欠如している。さらに、モデルの規模、計算予算（推論トークン）、人間によって較正された難易度との相互作用は未だ十分に探求されていない。

2. 手法

著者らは、ニューヨーク・タイムズのスペリング・ビーから選ばれた58 個のパズルを用いて、3 つのファミリー（Qwen3、Claude Haiku 4.5、GPT-5-mini）に属する39 種類のモデル構成を評価した。

タスク定義

モデルには、7 文字の特定の文字セットから英語の単語を生成するタスクが課され、そのうち 1 文字は必須である。有効な出力は以下の条件を満たさなければならない：

1. 少なくとも 4 文字以上であること。
2. 提供された 7 文字のみを使用すること（繰り返し可）。
3. 必須の中央文字を含めること。
4. （ボーナス）7 文字すべてを使用して「パングラム」を形成すること。

実験設定

• モデル:
  • Qwen3: 5 つのオープンソースモデル（4B、8B、14B、32B 密結合型；30B-A3B Mixture-of-Experts）。4K、8K、16K トークン予算において、直接生成モードと「思考」モードでテストされた。
  • Claude Haiku 4.5: 4K、8K、16K 予算において、直接モードと拡張思考モードでテストされたプロプライエタリモデル。
  • GPT-5-mini: 3 つの推論努力レベル（概算トークン予算にマッピング）でテストされたプロプライエタリモデル。
• プロンプティング: ゼロショットプロンプトでは、解の数や期待される出力長を明かさずに制約を明示的にリストし、内在的な制約処理能力を分離した。
• 人間難易度ベースライン: 本研究では、パズルごとに10,000 人の人間解決者からの集計性能データを用いて、真の難易度指標（成功率は 3% から 97% の範囲）を確立した。
• 指標: 精度、再現率、F1 スコア。さらに、本研究では較正強度（人間難易度とモデル見落とし率の間のスピアマン順位相関）と長さ層別再現率を測定した。

3. 主要な貢献

1. ファミリー間性能特性の記述: 本研究は、ファミリー間の違い（2.0〜2.2 倍の F1 格差）が、単一ファミリー内でのパラメータスケーリングによって達成される利益（Qwen において 4B から 32B への 83% の向上）よりもはるかに大きいことを示した。この格差は主に再現率によって引き起こされており、精度によるものではない。
2. 不均一な予算感応性: 「思考」予算の影響は均一ではない。高容量モデルは計算量の増加に対して強いリターンを示す一方、中規模モデル（例：Qwen-14B）は割り当ての増加に伴って性能が低下し、小規模モデルは感応性を示さない。
3. 人間難易度との整合性と失敗分析: 大規模な人間データを用いて、著者らはファミリー間で modest だが一貫した較正（ρ = 0.28–0.42）を確立した。重要なのは、人間の成功率が高い（>80%）にもかかわらずモデルの見落とし率が極端に高い（>92%）、「data」、「loll」、「acai」などの一般的な単語において、体系的な失敗が特定されたことである。

4. 主要な結果

ファミリー間対ファミリー内スケーリング

• 性能格差: プロプライエタリモデル（GPT-5-mini、Claude Haiku）は、最大のオープンソース Qwen3 構成（32B）よりも 2.0〜2.2 倍高い F1 スコアを達成する。
• 再現率対精度: この性能格差は再現率によって駆動されている（プロプライエタリ：約 68% 対 Qwen-32B：約 23%）のに対し、精度の違いは modest（約 9 パーセントポイント）である。
• パングラム再現率: 複雑な制約では格差が著しく拡大する。GPT-5-mini はパングラム再現率で 77.6% を達成するのに対し、Qwen-32B は 15.8% である。
• トークナイゼーションの交絡: 部分相関分析により、ファミリー内スケーリングの違いの主要な交絡因子としてトークナイザー設計は除外された。

予算感応性

• 高容量モデル: 密結合型（32B）および MoE（30B）の Qwen 変種と、プロプライエタリモデルは、増加した思考予算から正のリターンを示す。MoE 30B 変種（アクティブパラメータはわずか 3B）は最も強い依存性を示し、限られた実効容量を補うために相当な予算を必要とする。
• 中規模モデルの劣化: Qwen-14B モデルは逆説的な劣化を示し、推論予算が増加するにつれて性能が低下する。著者らは、これが制約検証の比例的な改善なしに分布的妥当性が増幅されたことに起因する可能性があると示唆している。
• 小規模モデルの無感応性: 小規模モデル（4B、8B）は予算全体で平坦な性能を示し、思考モードなしでは 51% のパズルで有効な単語を生成することに失敗することが多い。

人間難易度との整合性

• 較正: 人間難易度とモデル見落とし率の間には modest な相関がある（ρ = 0.28–0.42）。プロプライエタリモデルはオープンソースの対抗モデルよりも高い整合性を示す。
• 体系的失敗: モデルは特定の正書法パターンを持つ一般的な単語で一貫して失敗する：
  • 二重子音: "illicit," "loll," "annotation."
  • 繰り返し文字: "papa," "nana," "toon."
  • 非典型的パターン/借用語: "data," "acai."
  • 観察: これらの単語は訓練データで頻出するが、その頻度に対する正書法パターンの代表性が低い、またはモデルが学習した分布的事前分布に違反しているため、見落とされる。

長さ依存性の劣化

• 人間対モデル: 人間の成功率は単語の長さに対して穏やかに低下する（4 文字から 7 文字以上の単語で 1.3 倍の低下）。
• モデルの崩壊: モデルは長さに対して壊滅的な劣化を示し、容量に応じて再現率が 1.5 倍から 71 倍以上低下する。これは、人間のワーキングメモリ戦略と比較して、増加する組み合わせ複雑性の処理における堅牢性の欠如を示唆している。

5. 意義と主張

本論文は、現在の LLM 建築が分布的妥当性への体系的な過剰依存を示しており、これが正書法的に非典型的だが制約妥当なパターンを罰すると主張している。知見は以下のことを示唆している：

1. 制約充足は区別される: 硬い正書法制約の充足は、自然言語生成とは異なるメカニズムを関与させ、パラメータスケーリングのみでは解決されないワーキングメモリと体系的列挙におけるボトルネックを明らかにする。
2. アーキテクチャは規模よりも重要: ファミリー内のパラメータ数を増やすことよりも、ファミリー間のアーキテクチャの違い（おそらく訓練データの構成や最適化に関わる）が制約充足にとってより重要である。
3. 予算割り当ては非線形: 計算予算を増加させても、性能が普遍的に向上するわけではない。一部のモデルでは、分布バイアスを増幅させることで失敗を悪化させる。
4. 将来の方向性: 著者らは、これらの問題への対処には、分布的事前分布に依存しない明示的検証モジュール、正書法的に異常な解を報酬とする訓練目的、およびモデル固有の予算割り当てポリシーが必要であると提案している。また、これらの知見は、正しい出力が分布的に非典型的である可能性のあるコード合成や構造化データ生成などの他の制約ドメインにも一般化し得ると指摘している。

本研究は、モデルが制約を充足することはできるが、学習された統計的事前分布に対する構造的妥当性の検証に関して、人間の認知とは著しく異なる脆弱性をもってそれを行うと結論づけている。