🤖 machine learning

LLM REgression with a Latent Iterative State Head

この論文は、凍結された大規模言語モデルの表現から学習された潜在状態を反復的に洗練させることで数値を直接予測する軽量かつパラメータ効率の高いアーキテクチャ「RELISH」を提案し、既存の手法を凌ぐ精度を達成したことを報告しています。

原著者： Yiheng Su, Matthew Lease

公開日 2026-04-02

📖 1 分で読めます☕ さくっと読める

原著者： Yiheng Su, Matthew Lease

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

RELISH: 巨大な AI の「直感」を数値にする新しい方法

この論文は、**「RELISH（リッシュ）」**という新しい技術を紹介しています。名前の由来は「Relish（お好みのソースや添え物）」ですが、ここでは「AI の隠れた能力を引き出す調味料」という意味合いで使われています。

一言で言うと、**「巨大な言語モデル（LLM）の頭脳を凍結したまま、その『直感』を素早く正確な『数値』に変えるための、軽量で賢い仕組み」**です。

以下に、専門用語を排し、日常の例えを使って分かりやすく解説します。

1. 問題：AI は「文章」は得意だが、「数値」は苦手？

現代の巨大な AI（LLM）は、文章の続きを書いたり、翻訳したりするのが非常に得意です。これは、AI が「次の単語は何だろう？」というゲームで訓練されているからです。

しかし、**「この文章の類似度は 0 から 5 の間で何点か？」や「この翻訳の品質は 100 点満点で何点か？」**といった「数値」を予測するタスク（回帰分析）になると、AI は少し困ってしまいます。

従来の方法（自動生成）：
AI に「答えを文章で書いて」と頼むと、AI は「3.5」という文字列を生成しようとします。
- 問題点： AI は「3.5」と「3.4」の違いを、文字の並びとしてしか見ていません。「3.5」は「3.4」より「3.6」に近い、という数値的な近さを理解していません。また、正しい答えを出すために、無駄な文章を生成する必要があるため、計算コストがかかります。
従来の方法（単純な読み取り）：
AI の頭の中（隠れ層）から直接数値を読み取ろうとすると、以前は「平均をとる」という単純な方法しかありませんでした。
- 問題点： これは、料理の味を「全体の平均」だけで判断するようなもので、重要な「スパイス（特定の単語のニュアンス）」が見逃されてしまいます。

2. 解決策：RELISH の仕組み

RELISH は、AI が文章を生成するのをやめ、**「AI の頭の中にある情報を、直接数値に変換する」**という新しいアプローチをとります。

料理に例えると…

AI（LLM）： 世界中のあらゆる味を知っている「天才シェフ」。
入力データ： 料理のレシピや食材のリスト。
目標： 「この料理の美味しさ」を0〜100 点で評価すること。

従来の方法の失敗

自動生成： シェフに「美味しさを言葉で説明して」と頼む。シェフは「とても美味しい、少し塩辛い…」と長い文章を喋り、最後に「85 点」と言おうとします。しかし、シェフは「85 点」と「86 点」の違いを言葉で表現するのが難しく、間違った数字を言ってしまうことがあります。
単純な読み取り： シェフの「全体的な雰囲気」を平均して点数をつける。しかし、重要な「隠し味」が見逃され、正確な点数が出ません。

RELISH の方法：「熟練のソムリエ」の登場

RELISH は、シェフ（AI）の口を塞ぎ、代わりに**「熟練のソムリエ（RELISH）」**を席につかせます。

凍結されたシェフ： 天才シェフはそのまま（訓練はしない）で、レシピを見て頭の中で「味」をシミュレーションします。
ソムリエの「探偵」： RELISH（ソムリエ）は、シェフの頭の中で浮かんでいる「味のイメージ（トークンごとの情報）」を、**「探偵のように」**何度も何度もチェックします。
- 「あ、この部分（単語）が重要だ！」
- 「いや、ここは少し違うな、もう一度見直そう」
- この**「何度も見直す（反復）」**プロセスが、RELISH の最大の特徴です。
最終判断： ソムリエが情報を整理し尽くした結果、**「85.3 点」**という正確な数値を、瞬時に（1 回で）出し切ります。

3. RELISH がすごい 3 つの理由

① 驚くほど軽量（パラメータ効率）

他の方法（LoRA など）： 巨大な AI を調整するには、AI の体重（パラメータ数）の 0.26%〜0.42% 分もの新しい部品を追加する必要があります。AI が大きくなれば、部品も巨大になります。
RELISH： 必要な部品はわずか0.01%〜0.04%。AI が 10 倍になっても、RELISH の部品サイズはほとんど変わりません。
- 例え： 巨大な船（AI）を動かすために、他の方法は「新しいエンジン」を何トンも積む必要がありますが、RELISH は「小さな舵（ステアリング）」を少し調整するだけで済みます。

② 圧倒的な精度

5 つの異なるテスト（文章の類似度や翻訳の品質評価など）で、RELISH はこれまでの最高記録をすべて更新しました。

なぜ？ 単純な「平均」ではなく、**「反復的な探偵作業」**によって、AI の頭の中の微細なニュアンス（「少しの違和感」や「重要なキーワード」）を逃さず、数値に落とし込めるからです。

③ 高速（1 回で終わる）

従来の「確率的な推測」方法は、答えを出すために何回も同じ質問を AI に投げかけ、その結果を平均する必要がありました（時間がかかる）。
RELISH は、**「1 回見るだけで」**最適な答えを出せます。

4. まとめ：なぜこれが重要なのか？

この技術は、AI を「文章を書く機械」から**「正確に数値を評価する機械」**へと変えるための鍵です。

応用例：
- 翻訳の品質を自動で点数化する。
- 商品のレビューから「満足度」を数値化する。
- AI 同士の対決で、どちらが優れているかをジャッジする（LLM-as-a-Judge）。

RELISH は、巨大な AI の持つ「直感」を、無駄な文章生成や重たい計算なしに、**「素早く、正確に、軽量に」**数値として引き出す、究極の「調味料（ソース）」なのです。

要約：
RELISH は、巨大な AI の頭脳をそのまま使いながら、その中にある「数値的な直感」を、**「何度も見直す探偵」**のような仕組みで素早く正確に引き出す技術です。重たい計算や巨大な追加部品なしに、最高の精度を実現します。

RELISH: 大規模言語モデルを用いたテキスト回帰のための潜在反復状態ヘッド

本論文は、大規模言語モデル（LLM）を用いた自然言語回帰タスク（テキスト入力から連続値を予測するタスク）のための新しい軽量アーキテクチャRELISH（REgression with a Latent Iterative State Head）を提案するものです。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義と背景

LLM の主流パラダイムは「テキストからテキスト」への生成ですが、分類や回帰のような予測タスクには必ずしも適していません。特に回帰タスクでは、以下の課題が存在します。

テキスト生成の非効率性: 従来の「自動回帰的デコーディング（Autoregressive Decoding）」は、数値を文字列として生成し、その後パースします。しかし、言語モデルの学習目的（次のトークンの予測）は数値的な近接性（例：1.0 と 0.9 の差）を考慮せず、トークンの一致を重視するため、回帰タスクには最適ではありません。
既存手法の限界:
- 回帰意識推論（Regression-Aware Inference）: ベイズ最適決定則を用いて数値誤差を最小化しますが、事後分布の近似に多数のサンプリングや候補列挙が必要であり、推論コストが高くなります。
- 予測ヘッド（Predictive Heads）: LLM の内部表現から直接数値を予測しますが、既存手法は単純な平均プーリング（Mean Pooling）に依存しており、トークンレベルの微細な情報を十分に抽出できない「要約のボトルネック」を抱えています。

2. 提案手法：RELISH

RELISH は、LLM のバックボーンを凍結したまま、学習可能な軽量な「予測ヘッド」を追加するアプローチです。その核心は、静的なプーリングではなく、反復的な潜在状態の更新メカニズムにあります。

アーキテクチャの概要

入力: 凍結された LLM から得られたトークンレベルの隠れ状態 $H(x)$ を入力とします。
潜在状態の初期化: 学習可能な潜在タスク状態 $r^{(0)}$ を用意します。
反復的更新（Refinement）: トークン表現 $H(x)$ $H (x)$ に対して、クロスアテンション（Cross-Attention）を用いて潜在状態を $L$ $L$ 回反復的に更新します。
- 各ステップで、潜在状態をクエリ（Query）、トークン表現をキー（Key）とバリュー（Value）としてアテンションを計算し、MLP（FFN）とレイヤーノーマライゼーションを経て状態を洗練させます。
- これにより、回帰タスクに特化した情報をトークンレベルから効率的に抽出・集約します。
予測: 最終的な状態 $r^{(L)}$ を線形回帰層（ $w^T r^{(L)} + b$ ）に渡してスカラー値を出力します。

特徴

単一パス推論: 複数の生成やサンプリングを必要とせず、一度のフォワードパスで予測を完了します。
パラメータ効率: 学習可能なパラメータはヘッド部分のみであり、LLM のサイズに依存せず、非常に少ない数（約 340 万〜370 万パラメータ）で済みます。

3. 主要な貢献

新しい予測ヘッドアーキテクチャの提案: トークンレベル表現を静的に集約するのではなく、学習可能な潜在クエリを用いた反復的な要約メカニズムを導入し、回帰タスクに特化した情報抽出を実現しました。
包括的な比較評価: 5 つのデータセット、4 つの LLM バックボーン（8B〜32B）、および「凍結」「LoRA 微調整」の 2 つの学習 regimes において、自動回帰デコーディング、回帰意識推論、既存の予測ヘッド手法との包括的な比較を行いました。
高性能かつ軽量: 既存の最良の手法（RAFT など）を上回る精度を達成しながら、LoRA ベースの手法に比べて学習パラメータ数が桁違いに少ないことを実証しました。

4. 実験結果

5 つのデータセット（STS-B, SICK-R, WMT 品質推定タスクなど）と 4 つの LLM（Llama 3.1, Qwen3, Gemma 3）を用いた評価において、RELISH は以下の結果を示しました。

予測精度の向上:
- 2 位だった RAFT（Lukasik et al., 2025）と比較して、ピアソン相関係数が6.7%、スピアマン相関係数が7.2%、範囲正規化 RMSE（NRMSE）が**19.9%**改善されました。
- 全データセットと全モデルにおいて、ゼロショットや他のベースラインを一貫して上回りました。
パラメータ効率:
- 凍結された LLM バックボーンに対して、RELISH が追加する学習パラメータは約340 万〜370 万（モデル全体の 0.01%〜0.04%）のみです。
- 一方、LoRA ベースの手法はモデルサイズに比例して増加し、8B モデルで約 2100 万（0.26%）、32B モデルでは約 1.34 億（0.41%）ものパラメータが必要でした。
- RELISH はモデルサイズが大きくなってもパラメータ数がほぼ一定に保たれるため、大規模モデルへのスケーリングにおいて極めて有利です。

5. 意義と結論

RELISH は、LLM を回帰タスクに適用する際の「テキスト生成の非効率性」と「単純な要約の限界」という 2 つの課題を同時に解決しました。

技術的意義: 生成モデルの内部表現から数値を直接読み出すための、より堅牢で効率的なメカニズム（反復的潜在状態更新）を提供しました。これは、LLM がすでに数値的な信号を内部に持っているという仮説を裏付け、それを効果的に抽出するアーキテクチャの重要性を示しています。
実用的意義: 高精度でありながら、計算コストとメモリ使用量が極めて低い（単一パス、少量パラメータ）ため、リソース制約のある環境や大規模モデルを扱うアプリケーション（LLM-as-a-Judge、報酬モデリング、信頼性推定など）への実装が容易になります。

本論文は、LLM ベースの回帰タスクにおいて、複雑なサンプリングや大規模な微調整なしに、軽量なアーキテクチャ変更だけで SOTA 性能を達成できることを示し、今後の研究と応用への道筋を開くものです。