技術要約：簡潔さは推論効率の魂である

問題提起

大規模言語モデル（LLM）および視覚言語モデル（VLM）における推論効率を向上させるための従来のパラダイムは、蒸留、プルーニング、量子化、スパース・ルーティングといったモデル圧縮技術を通じて「トークンあたりのコスト」を削減することに焦点を当ててきました。このアプローチは、出力長（トークン数）を固定された量として暗黙的に扱っています。しかし、経験的な傾向として、出力長は急速に膨張しており（特に、非推論型モデルよりも約8倍多くのトークンを生成する推論モデルにおいて顕著）、その結果、トークンあたりの効率向上分が冗長性によって相殺され、総推論コスト（正解あたりのドル単価）とレイテンシが増大しています。

本論文は、**簡潔さ（brevity）**こそが推論効率における欠落したレバーであると主張しています。デコーディング時の制約（長さのペナルティやサンプリング制御など）は、事後的に出力を短縮しようと試みますが、これらはしばしば、冗長になるよう訓練されたモデルと対立することになります。著者らは、データキュレーションを事前学習段階で行うことが、より効果的なメカニズムであると断言しています。すなわち、簡潔かつ正確なデータで訓練することで、モデルは品質を犠牲にすることなく、より少ないトークンで回答することを内面化できるという考えです。このアプローチは、推論効率を「トークンあたりのFLOPs」の問題ではなく、「正解あたりのトークン数」の問題として扱います。

手法

本研究では、キュレートされたデータで訓練されたモデルと、標準的な未キュレートのデータで訓練されたモデル、および最先端のオープンウェイトモデルを比較する、制御された実験セットアップを利用しています。

1. データキュレーション・パイプライン: 著者らは、VLMキュレーションパイプラインを MAmmoTH-VL のシングルイメージ訓練コーパスに適用しました。このパイプラインは、簡潔さと正確性の両面でフィルタリングを行います。
2. モデルファミリー:
   • DatologyAI モデル: キュレートされた MAmmoTH-VL ミクスチャで訓練。
   • Mammoth ベースライン: 標準的な未キュレートの MAmmoTH-VL データで訓練（未キュレートの対照群として機能）。
   • フロンティア比較対象: Qwen (3, 3.5, 3-VL)、InternVL、および Isaac ファミリーのオープンウェイトモデル。
3. 評価範囲:
   • スケール: 1B、2B、および 4B の活性化パラメータ。
   • ベンチマーク: 数学、チャート解釈、OCR、グラウンディングなどの能力をカバーする、制御された20の評価セット（回帰分析のために集計のみの評価は除外）。
4. 指標:
   • Cost-of-Pass（合格コスト）: 正解あたりのFLOPs ($2N \times \bar{n}_{out} / \text{accuracy}$) と定義。ここで $N$ は活性化パラメータ数、$\bar{n}_{out}$ は平均出力長です。この指標は、モデルサイズと冗長性の両方を捉えます。
   • 長さ制御済み精度（Length-Controlled Accuracy）: 簡潔さと品質を切り離すため、ベンチマークとスケールの固定効果を用いて、出力長を制御したロジスティック一般化線形モデル（GLM）を適合させます。これにより、トークン数とは独立した、キュレーションに起因する精度の向上を分離します。
   • 事例別コンティンジェンシー（Per-Example Contingency）: 冗長な推論モデルが、簡潔なモデルが解けない問題を解いているのか、あるいはその逆かを確認するために、エラーセットの分析を行います。

主な貢献と結果

1. Cost-of-Pass の劇的な削減

キュレートされたモデルは、推論コストのフロンティアにおいてパレート優位な地位を占めています。

• 35倍のアドバンテージ: 4B スケールにおいて、Datology モデルは、最も冗長な比較対象である Qwen3.5-4B（14.58 TFLOPs）と比較して、ほぼ同等の精度（0.691 対 0.704）を維持しながら、35倍低い Cost-of-Pass（0.41 TFLOPs per correct answer）を達成しました。
• スケーリング効率: キュレートされた 1B モデル（0.10 TFLOPs/correct）は、Qwen3.5-4B よりも正解あたりのコストが 143 倍安価です。
• メカニズム: コスト削減は、ほぼ完全にトークン数の減少によって駆動されています。パラメータ数が一定であれば、トークンあたりの FLOPs は全モデルで同一ですが、正解に到達するために放出されるトークン数に差異が生じます。

2. 一致した長さにおける精度向上

「簡潔さが推論の深さを犠牲にする」という仮説に反して、キュレートされたモデルは、出力長を一定に保った場合でもより高精度でした。

• 長さ制御済みの利得: すべてのスケールにおいて、キュレートされたモデルは、出力長を制御した場合、未キュレートの Mammoth ベースラインよりも +17.55 パーセントポイント (pp) 高い精度を示しました。
• 超線形スケーリング: この精度の優位性はモデルのスケールとともに増大します：1B で +16.7 pp、2B で +15.6 pp、そして 4B で +21.2 pp です。
• ハルシネーションの削減: キャプション作成タスクにおいて、キュレートされたモデルは、グラウンディングの精度を損なうことなく、キャプションの長さを 59% カットしながら、ハルシネーションによる言及を 19% 削減しました。

3. 冗長性の限界

本研究は、冗長なトークンが正解性に寄与するかどうかを調査しています。

• 一般的な冗長性: 未キュレートの Mammoth モデル（冗長だが非推論型）は、どの能力グループやスケールにおいても、簡潔な Datology モデルを上回ることはありませんでした。一般的な冗長性は、精度をもたらしません。
• 推論構造を持つ冗長性: Qwen3.5 ファミリー（Chain-of-Thought を伴う冗長なモデル）は、優位性が縮小しています。2B では、8 つの能力グループのうち 4 つで簡潔なモデルを上回りますが、4B ではその優位性は 8 グループ中 1 つ にまで崩壊します。4B における 8 グループのうち 4 つのグループでは、実際には簡潔なモデルの方が冗長な推論モデルよりも優れた性能を示しました。
• 補完的なエラーセット: 簡潔なモデルは一般的に高い平均精度を達成しますが、事例ごとの分析によれば、冗長な推論モデルが簡潔なモデルが逃した問題を解き、またその逆も成立しています。これは、推論と簡潔さが異なるキュレーション対象であることを示唆しています。

4. フロンティアモデルとの比較

外部のフロンティアモデルに対し、キュレートされたモデルは 7 つの比較対象のうち 6 つに対して、コスト効率のパレートフロントに位置しています。

• InternVL および Perceptron バリアントに対し、精度とコストの両面で上回っています。
• Qwen ファミリーに対しては、長さ制御済みの精度を 4〜7 pp 差し引いたとしても、2.4倍から3.6倍のコスト優位性を保持しています。
• Qwen3.5-4B の例外: Qwen3.5-4B との長さ制御比較は不可能です（出力分布の重なりがわずか 2.2% しかないため）。Qwen3.5-4B の精度は、その極端な冗長性（Datology の約 32 トークンに対し、約 1,284 トークン）と不可分に結びついています。

意義と主張

本論文は、**「簡潔さは推論効率の魂である」とし、それはデータキュレーションによる「アモルタイズド・インファレンス（償却された推論）」**を通じて達成可能であると主張しています。

• 最適化対象の転換: 業界は、より大きなコスト要因（正解あたりのトークン数）を無視し、誤った指標（トークンあたりの FLOPs）を最適化していると著者らは述べています。
• コストの償却: デコーディング時の制約は、あらゆるクエリに対して「長さのペナルティ」を支払いますが、データキュレーションは、簡潔さのためのコストを訓練時に一度だけ支払います。モデルは、この効率性を重みの中に「キャッシュ」し、推論時に（System 2 的な）トークンごとの熟考を行うのではなく、自動的に短く正確な回答（System 1）を生成します。
• スケーラビリティ: キュレーションの恩恵は静的なものではありません。それはモデルのスケールとともに累積します。モデルが大きくなるにつれ、未キュレートの冗長性に対するキュレートされた簡潔さの相対的な優位性は、コスト削減と一致した長さでの精度の両面で増大します。
• 実用性: この手法は、アーキテクチャの変更、特殊なハードウェア、または複雑なデコーディングアルゴリズムを必要としません。これは、長い推論チェーンによって引き起こされる推論コストの膨張を直接的にターゲットとした、「データ第一」のソリューションです。

要約すると、本論文は、キュレートされた簡潔なデータで訓練することで、品質を犠牲にすることなく、VLM が最先端のコスト効率（35倍の改善）を達成できることを示しており、「推論には冗長さが必要である」という概念に異を唱えています。