🤖 machine learning

Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification

この論文は、推論タスクにおける探索失敗の主な原因がプロンプト内の干渉トークンにあるという洞察に基づき、干渉トークンを除去して生成された成功例を用いてポリシーを最適化する「LENS」というフレームワークを提案し、数学的・科学的推論において既存の手法を大幅に上回る性能と収束速度を実現したことを示しています。

原著者： Yiju Guo, Tianyi Hu, Zexu Sun, Yankai Lin

公開日 2026-04-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yiju Guo, Tianyi Hu, Zexu Sun, Yankai Lin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「ノイズを減らして、本音を聞こう」

～AI の「考える力」を劇的に高める新技術「LENS」の解説～

こんにちは！今日は、人工知能（AI）が難しい問題を解くとき、なぜつまずいてしまうのか、そしてそれをどう解決したかという、とても面白い研究についてお話しします。

この研究は、**「LENS（レンズ）」**という新しい仕組みを開発したものです。名前の通り、これは AI の思考を「くっきりと見せるレンズ」のような役割を果たします。

🎭 物語：天才少年と「邪魔な落書き」

想像してみてください。ある天才的な少年（これが AI）が、難解な数学の問題を解こうとしています。彼は非常に賢いですが、問題用紙に**「邪魔な落書き」**が少しだけ書かれているとします。

問題文： 「三角形の面積を求めなさい」
落書き： 「……でも、実はこの三角形は宇宙の秘密を知っているんだよ（意味不明な言葉）」

この少年は、問題の本質（面積を求める）を理解しているのに、その「意味不明な落書き」に気を取られて、頭が混乱してしまいます。結果として、正解が出せません。

これまでの AI の勉強法（GRPO という方法）は、**「もっとたくさん問題をやれ！間違えたら、もっとたくさん試せ！」**というものでした。でも、問題用紙に「落書き」がある限り、何回やっても同じように混乱して、正解にたどり着けません。

🔍 発見：失敗の原因は「問題の難しさ」じゃない！

研究者たちは、AI が失敗する原因を詳しく調べました。すると、驚くべき事実がわかりました。

これまでの常識： 「この問題は難しすぎるから、AI には解けないんだ」
本当の理由： 「いやいや、問題自体は簡単だよ！ただ、問題文のたった数文字（5% 未満）が『邪魔なノイズ』になっていて、AI を混乱させているだけなんだ！」

この「邪魔なノイズ」を**「干渉トークン（Interference Tokens）」**と呼びます。これは、AI が正解を見つける道を塞いでいる、小さな落書きのようなものです。

🧹 解決策：LENS（レンズ）の 2 つのステップ

そこで登場するのが、この研究で提案された**「LENS（Less Noise Sampling Framework）」**です。これは、AI に「ノイズを取り除く力」と「ノイズを無視する力」を教える 2 段階のトレーニングを行います。

ステップ 1：ノイズの掃除（ purification）

まず、AI に「この問題文のどこが邪魔な落書きか？」を教えます。
AI は、問題文の各単語が「参考書（過去の正しい知識）」と比べて、どれだけ「変な動き」をしているかをチェックします。変な動きをしている単語（ノイズ）を見つけると、一時的にその単語を消してしまいます。

掃除前： 「三角形の面積を求めなさい……（落書き）」→ 混乱して失敗
掃除後： 「三角形の面積を求めなさい」→ すぐに正解！

これで、AI は「あ、実はこの問題は簡単だったんだ！」と気づくことができます。

ステップ 2：ノイズを無視する練習（Calibration）

ここが最も素晴らしい部分です。LENS は、「ノイズを消した状態」で成功した答えを、AI の先生（指導者）として使います。

先生： 「ねえ、ノイズを消したら正解できたでしょう？じゃあ、元のノイズだらけの問題文を見ても、その『正解の感覚』を思い出して、ノイズを無視して答えなさい！」

これにより、AI は「ノイズがあるからといって動揺せず、本質的な部分だけを見て正解する」という**「ノイズに強い思考力」**を身につけます。

🚀 結果：驚くべき効果

この「LENS」を使って AI を訓練したところ、以下のような素晴らしい結果が出ました。

より速く、より賢く： 従来の方法（GRPO）よりも1.6 倍速く学習が進み、正解率も大幅に上がりました。
無駄な努力がゼロに： 「もっと問題を解け！」と無理やり数を増やす必要がなくなりました。少ない試行回数で、高品質な答えを出せるようになったのです。
応用が効く： 数学だけでなく、科学や一般的な論理問題でも、同じように効果が出ました。

💡 まとめ

この研究が教えてくれたことは、**「AI ができないのは、能力不足ではなく、邪魔なノイズに邪魔されているから」**ということです。

LENS は、AI に「ノイズを掃除する道具」を与え、さらに「ノイズがあっても動じない強さ」を教えました。これにより、AI はより効率的に、より深く、そしてより賢く考えることができるようになったのです。

まるで、曇ったメガネを磨いて、世界をくっきりと見られるようになったようなものです。これからの AI の進化が、さらに楽しみですね！

論文「Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification」の技術的サマリー

この論文は、大規模言語モデル（LLM）の推論能力を向上させるための強化学習手法、特に検証可能報酬を用いた強化学習（RLVR）における効率性の課題を解決する新しいフレームワーク「LENS（Less Noise Sampling Framework）」を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義：探索の非効率性と「干渉トークン」

従来の RLVR（例：GRPO）は、正解のロールアウト（生成結果）をサンプリングして学習信号を得ることに依存しています。しかし、複雑な推論タスクでは以下の問題が発生します。

報酬の希薄性: 長い意思決定プロセスと遅延する二値報酬により、正しいロールアウトが得られる確率が極めて低い。
非効率的な探索: 限られたロールアウト予算内で正解を得られず、トレーニングが不安定化したり、収束が遅れたりする。
既存手法の限界:
- 探索のスケールアップ（ロールアウト数の増加）：計算コストが大幅に増大し、効率性は向上しない。
- ゼロ分散プロンプトのフィルタリング: 挑戦的なサンプルを捨てるため、モデルの能力拡張が制限される。

重要な発見:
著者らは、微細なトークンレベルの分析を通じて、多くの失敗は問題の難易度そのものではなく、プロンプトに含まれるごく少数のトークン（「干渉トークン」）による干渉に起因することを発見しました。

これらの干渉トークンを除去するだけで、失敗していたサンプルのロールアウト成功率が 20% 以上向上することが確認されました。
干渉トークンは、参考モデル（Reference Model）との確率分布の乖離（KL 発散）が大きいトークンとして定義されます。

2. 手法：LENS (Less Noise Sampling Framework)

LENS は、低成功率のプロンプトから高品質な学習信号を抽出し、元のノイズのあるプロンプトでの方策最適化を補正する、2段階のオンライン選択的ロールアウトフレームワークです。

ステージ 1: 干渉トークンの識別と浄化 (Interference Token Identification and Purification)

干渉スコアの算出: 現在の方策 $\pi_\theta$ と参考モデル $\pi_{ref}$ の間のトークンレベルの対数確率の差を「干渉スコア」として定義します。
$S_I(s, a) \triangleq |\log \pi_\theta(a | s) - \log \pi_{ref}(a | s)|$
トークンの除去: 干渉スコアが高いトークンを特定し、プロンプトから除去（プルーニング）します。これにより、元の意味を損なわずにノイズを低減した「ノイズ除去プロンプト（Denoised Prompt）」を生成します。

ステージ 2: 較正されたロールアウト方策最適化 (CRPO: Calibrated Rollout Policy Optimization)

単にノイズを除去するだけでは不十分であるため、学習信号を転移させる機構を導入します。

条件付きロールアウト置換: 元のプロンプトでの成功率が閾値 $\tau$ 未満の場合、ノイズ除去プロンプトからサンプリングしたロールアウトを評価します。
成功ロールアウトの転移: ノイズ除去プロンプトで成功したロールアウトを、元の失敗したロールアウトの一部と置換します。
重み付けと目的関数:
- 元の成功サンプルと、ノイズ除去から転送された成功サンプルを混合した新しいグループ $G_i$ を作成します。
- サンプリング成功率に基づいて重み付けを行い、分布のミスマッチを補正するインポータンス重み $\rho$ を計算します。
- 最終的な目的関数（PPO 風のクリップされた代理目的関数）を用いて、元のノイズのあるプロンプトに対する方策を最適化します。これにより、モデルは「ノイズを無視して推論する」能力を学習します。

3. 主要な貢献

干渉トークンの発見: RLVR の失敗の多くが、問題の難易度ではなく、プロンプト内の少数の「干渉トークン」によるものであるという新たな知見を提供しました。
LENS フレームワークの提案: 干渉トークンを特定・除去し、その過程で得られた成功信号を元のノイズのある設定に転移させることで、モデルにノイズ耐性を持たせる新しいアプローチを提案しました。
既存手法との比較優位性:
- ロールアウト数を増やすアプローチや、プロンプトをフィルタリングするアプローチよりも、少ない計算資源で高い性能と収束速度を実現しました。
- 数学推論だけでなく、科学推論や一般推論タスクへの汎化能力も向上しました。

4. 実験結果

複数のモデル（Llama-3.2, Qwen-2.5, Qwen-3）とベンチマーク（MATH500, AIME, OlympiadBench など）で評価されました。

性能向上:
- 数学推論タスクにおいて、ベースラインの GRPO と比較して平均 3.88% の精度向上を達成。
- 科学および一般推論タスクでも1.83% の向上を確認。
- 最も難しい OlympiadBench などのタスクでも、GRPO が不安定になる中、LENS は安定して性能を向上させました。
効率性:
- 最大性能に到達するための勾配ステップ数が、GRPO に比べて1.6 倍以上高速に収束しました（MATH-500 で 1.67 倍、OlympiadBench で 1.64 倍の加速）。
計算コスト:
- ロールアウト数やトレーニングエポックを増やすことなく、既存の計算予算内で上記の成果を達成しました。
一般化能力:
- 数学データのみでトレーニングしたモデルが、科学推論（SuperGPQA, GPQA-Diamond）や一般複雑推論（BBEH, MMLU-Pro）でも性能を向上させ、過学習ではなく汎用的な推論能力の向上を示しました。

5. 意義と結論

この研究は、RLVR におけるサンプリング効率の向上において、「プロンプト内のノイズ（干渉トークン）を剪定すること」が極めて重要であるという新たな視点を提供しています。

技術的意義: 単に「より多くの試行」や「難しいサンプルの排除」に頼るのではなく、学習信号の質を高めるための「プロンプトの浄化」と「信号転移」のメカニズムを確立しました。
将来的な展望: 大規模モデル（32B/70B 以上）や、多次元スコアリングを持つ複雑な環境への適用、他の GRPO 変種との統合など、今後の研究の方向性を示唆しています。

LENS は、LLM の推論能力を限界まで引き出すための、効率的かつ堅牢な強化学習の新しいパラダイムとして位置づけられます。