🤖 machine learning

Teaching Metric Distance to Discrete Autoregressive Language Models

本論文は、トークン間のメトリック関係を活用して従来のワンホットターゲットを報酬重み付き分布に置き換えることで、視覚的グラウンディング、ロボティクス、画像生成など多様なタスクにおけるデータ効率と性能を向上させる離散自己回帰言語モデル向けの距離感知型目的関数「DIST2Loss」を提案する。

原著者： Jiwan Chung, Saejin Kim, Yongrae Jo, Jaewoo Park, Dongjun Min, Youngjae Yu

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiwan Chung, Saejin Kim, Yongrae Jo, Jaewoo Park, Dongjun Min, Youngjae Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに話させたり行動させたりすることを想像してみてください。現在、ほとんどの大規模言語モデル（LLM）は、正解が1 つだけある多肢選択問題を受ける学生のように学習します。もしロボットが正解が「5」のときに「4」と推測すれば、教師は「間違い！もう一度試して」と言います。これは「4」と「5」を、まるで「りんご」と「バナナ」が無関係であるのと同じように、完全に異なり無関係なものとみなすからです。

この論文は、DIST2Lossと呼ばれる新しい教授法を紹介しています。これは、数学、ロボットの動作、あるいは物体を囲む枠の描画といった特定のタスクにおいては、答えが単なるランダムなカテゴリではなく、それらの間に距離が存在すると主張しています。「4」は「5」に非常に近いですが、「4」と「90」の間には大きな隔たりがあります。

以下は、この論文が簡単な比喩を用いてこれを説明する様子です。

1. 問題点：「全か無か」の教師

従来の方法（「ワンホットターゲット」と呼ばれる）では、ロボットが猫の周りに枠を描くことを学ぼうとしている際、わずかに小さすぎる枠を描いた場合、コンピュータは「完全な失敗」と判断します。枠が 1 ピクセルずれているか 100 ピクセルずれているかに関わらず、ペナルティは同じです。

これは、数学のテストで正解が「5.0」のときに「4.9」と答えた場合、「100」と答えた場合と同じくゼロ点をつけるような教師に似ています。モデルは「4.9」が実際にはほぼ正解だったことを学びません。

2. 解決策：「報酬マップ」（DIST2Loss）

著者たちはロボットを評価する新しい方法を開発しました。単純な「正解/不正解」のスイッチの代わりに、ロボットに報酬のマップを与えます。

比喩： あなたが的を狙ってダーツを投げる状況を想像してください。
- 旧方式： 的の中心（ブルズアイ）に命中すれば 10 点。1 ミリでも外れれば 0 点です。
- DIST2Loss： 的の中心に命中すれば 10 点。1 ミリ外れれば 9.9 点。1 マイルも外れれば 0 点です。

モデルは、遠くにあるよりも近くにある方が優れていることを学びます。数値や座標間の実際の距離を用いて「ソフトな」ターゲットを作成します。答えが 5 の場合、モデルは 4 や 6 に対して高い確率を与え、1 や 10 に対しては低い確率を与えるように促されます。

3. これが特別である理由：「試行錯誤」の不要さ

通常、ロボットに「近さ」を理解させるためには、**強化学習（RL）**と呼ばれる方法を使用する必要があります。これは犬を訓練するのと同じです。犬に何かを試させ、それが機能するかどうかを確認し、その後ご褒美を与えたり叱ったりします。これは時間がかかり、乱雑で、不安定になり得ます。

この論文は、DIST2Loss が近道であると主張しています。これは最初から数学的に「完璧な」報酬マップを計算するものです。まるで犬が走り出す前に、おやつが隠されている場所のマップを与えるようなものです。モデルは、何千回も推測して失敗する必要なく、「距離」という概念を瞬時に学びます。

4. 効果が得られる場所（論文の実験）

著者たちは、「近さ」が重要な 4 つの特定の分野で、この「距離を考慮した」教授法をテストしました。

視覚的グラウンディング（物体の発見）： ロボットに「赤い車」の周りに枠を描くよう求められた場合、DIST2Loss は、完璧でなくとも、実際の車に幾何学的により近い枠を描くのを助けます。
ロボティクス（腕の移動）： ロボットが特定の座標（x, y, z）に腕を動かす必要がある場合、DIST2Loss は、わずかなズレが大幅なズレよりも優れていることを理解しているため、動きをより速く、正確に学習するのを助けます。
報酬モデリング（答えの採点）： モデルが人間の答えの良さを評価する必要がある場合（例：1 から 10 のスケールで）、DIST2Loss は「9」が「1」よりも「10」にずっと近いことを理解するのを助け、より良い採点につながります。
画像生成： テキストから画像を作成する際、モデルは「トークン」（デジタルの構築ブロック）を使用します。DIST2Loss は、1 つのトークンを「近くの」トークンに置き換えることは画像を似せたまま保つが、「遠くの」トークンに置き換えると画像を台無しにするという理解を助けます。

結論

この論文は、単にモデルに「ねえ、これらの数値は互いに近いんだよ」と伝えるだけで、モデルは数値、座標、測定値に関連するタスクにおいてはるかに優れるようになると主張しています。複雑で不安定な学習方法を必要とすることなく、モデルをより効率的（学習に必要なデータが少ない）かつ正確にします。これは、正解か不正解かの「白黒」の世界を、近さが何らかの価値を持つ「灰色の濃淡」の世界へと変えるものです。

技術的概要：離散自己回帰言語モデルへの計量距離の学習

問題提起

大規模言語モデル（LLM）やその他の離散自己回帰基盤モデルは、語彙からトークンを予測することで動作し、各トークンを、ワンホット（one-hot）ターゲット分布に対して最適化される離散カテゴリ変数として扱う。この定式化は、LLM を視覚、ロボティクス、マルチモーダル推論など多様なドメインに適応可能にしたが、トークン間の計量的関係を本質的に無視している。

数値的または計量的に構造化された要素を扱うタスク、すなわち算術推論における整数、物体検出における空間座標、ロボティクス操作における回転角度、画像生成における量子化埋め込みなどにおいて、トークンがワンホットターゲットに還元されると、内在的な距離構造が失われる。従来の訓練は、「4」の予測が「5」という正解に対して、「2」の予測よりも意味的に近いという事実を無視している。この制限は、距離が意味を持つドメインにおけるデータ効率と性能を阻害する。

手法：DIST2Loss

著者らは、離散自己回帰モデル向けの距離認識型目的関数であるDIST2Loss（DIScretized DISTance Loss）を導入する。中核的なアイデアは、標準的なワンホットターゲット分布を、事前定義されたトークン距離に由来する報酬重み付き分布に置き換えることである。

中核的な定式化

語彙の部分集合 $V_d$ と計量空間 $(X, d)$ が与えられたとき、DIST2Loss は、時刻ステップ $t$ におけるトークン $v$ に対して、正解トークン $x$ が与えられたターゲット分布 $p_d(v|x, t)$ を構築する。この分布は、離散化された指数族を用いて定義される：

$p_d(v|x, t) = \frac{\exp\left(-\frac{d(v, x, t)}{\tau}\right)}{\sum_{v' \in V_d} \exp\left(-\frac{d(v', x, t)}{\tau}\right)}$

ここで：

$d(v, x, t)$ は、候補トークン $v$ と正解 $x$ の間の距離である（例：座標の場合はユークリッド距離、回転の場合は角度距離、VQ コードの場合は埋め込み距離）。
$\tau$ は、分布の滑らかさを制御する温度ハイパーパラメータである。

最終的な訓練目的関数は、標準的な交差エントロピー損失（ $L_{CE}$ ）と距離ベースの正則化を組み合わせたものである：
$L = L_{CE} + \alpha L_{dist}$
ここで、 $L_{dist}$ はモデルの予測分布と距離認識型ターゲット $p_d$ の間の KL 発散であり、 $\alpha$ は 2 つの項のバランスを取る。

理論的解釈

DIST2Loss は、エントロピー正則化付き方策最適化の閉形式解として解釈される。強化学習（RL）において、エントロピー正則化は、方策が早期に収束するのを防ぎ、探索を促進する。エントロピー正則化付きの期待報酬を最大化する最適方策は、 $\exp(R(a)/\tau)$ に比例することが知られている。DIST2Loss は、候補トークンを行動として扱い、負の距離を報酬信号として扱うことでこれを具体化する。サンプリング、ロールアウト、反復更新を必要とする従来の RL と異なり、DIST2Loss は安定した、分散のない、解析的なターゲット分布を提供し、方策勾配推定量に伴う不安定性を回避する。

高次元およびマルチトークン系列の処理

このフレームワークは、埋め込み上（例：コサイン類似度）で距離メトリックを定義することで、高次元連続ベクトル（例：VQ 埋め込み）を処理するのに十分な柔軟性を持っている。マルチトークンの構造化要素（多桁の数値など）については、著者らは、損失を直接適用すると、どのトークンが誤差の原因となったかをモデルが区別できない「クレジット割り当て問題」に直面すると指摘している。これを緩和するため、彼らは対照的ターゲット増強（負の近傍をサンプリング）や位値重み付け（位置の重要性に応じて損失を重み付け）といった実用的な回避策を提案しているが、主要な実験は、報酬がトークンレベルで自然に分解されるタスクに焦点を当てている。

主要な貢献

DIST2Loss フレームワーク: 追加データや大幅な計算オーバーヘッドを必要とせず、離散自己回帰訓練に計量構造を統合するプラグアンドプレイ型の目的関数。
理論的架け橋: 距離認識型教師信号とエントロピー正則化付き RL の間の接続を確立し、トークンごとの報酬が既知のタスクに対する強化学習の安定した代替手段を提供する。
汎用性: トークンが意味のある計量を持つ場合、1 次元スカラー回帰から高次元画像生成まで、多様なドメインに本手法が適用可能であることを実証。

実験結果

著者らは DIST2Loss を 5 つの異なるドメインで評価し、一貫してデータ効率と下流タスクの性能の向上を示した：

合成関数回帰（玩具タスク）: 1〜10 例のサンプルから線形回帰を学習するメタ学習設定において、DIST2Loss は平均絶対誤差（MAE）と二乗平均平方根誤差（RMSE）の面で、標準的な SFT や語彙制約ベースラインを大幅に上回り、優れた構造的汎化能力を示した。
視覚的グラウンディング: 物体検出の前訓練なしで Phi3V を RefCOCO/RefCOCO+/RefCOCOg に微調整したところ、DIST2Loss は大規模な検出データセットで前訓練された最先端モデルと同等の性能を達成した。注目すべきは、両モデルとも誤った物体を予測した「困難なケース」においても、DIST2Loss の予測は正解に幾何学的に近かった（より高い IoU）ことである。
ロボティクス操作: VIMABench において、DIST2Loss はロボットの動作生成（関節角度と座標）の成功率を向上させた。この改善は、データが限られた領域（1K サンプル）で最も顕著であり、データが限られる場合に計量事前分布の価値を浮き彫りにした。
生成報酬モデリング: LLM のアライメント（RLHF）に適用したところ、DIST2Loss は RewardBench と MT-Bench における報酬モデリング性能を向上させた。DIST2Loss を用いた生成アプローチは、標準的なバイナリ分類器や SFT ベースラインを凌駕し、「Chat Hard」および「Safety」ドメインで特に優れていた。
画像生成: ベクトル量子化（VQ）表現を用いて、DIST2Loss は自己回帰モデル（LlamaGen）における画像表現の学習を強化し、異なるモデルサイズと訓練エポックにわたって、SFT ベースラインと比較して低い FID と高い IS スコアをもたらした。

意義と主張

本論文は、距離認識型教師信号が、離散自己回帰モデルに対するワンホット教師信号のシンプルで一般的な代替手段となり得ると主張している。その意義は以下の点にある：

内在的構造の活用: 座標、数値、埋め込みなど、標準的な交差エントロピーでは無視されてきた多くの非テキストタスクに内在する計量関係を活用する。
データ効率の向上: 帰納的バイアスを損失関数に直接エンコードすることで、より少ない訓練サンプルで優れた性能を達成する。
訓練の安定化: 報酬アライメントに対する強化学習の閉形式かつ安定した代替手段を提供し、方策勾配に伴うサンプリングや不安定性の問題を回避する。

著者らは、本手法がトークンが意味のある計量（数値、座標、量子化埋め込みなど）を持つ場合に最も効果的であると強調している。内在的な幾何学を持たないドメインでは、本手法は自然に標準的なワンホット教師信号に帰着する。この研究は、広範なマルチモーダルおよび推論タスクにおいて、計量距離の組み込みが、離散基盤モデルの訓練における重要かつこれまで過小評価されていた要素であることを示唆している。