💬 NLP

\textsc{DiARC}: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models

本論文では、視覚的変換、ルールの反転、およびタスク固有の編集を通じて、情報量の多い負のサンプルを含む選好ペアを構築することにより、大規模言語モデルのARC的な推論能力を強化し、モデルが正解と不正解の解をより効果的に区別できるようにする手法である\textsc{DiARC}を提案する。

原著者： Yuxuan Yang, Feiyang Li, Yile Wang

公開日 2026-06-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuxuan Yang, Feiyang Li, Yile Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

DIARCの解説：シンプルかつクリエイティブな比喩を用いて

大きな問題：AIにパズルを教えること

あなたが学生に視覚的なパズルを解く方法を教えようとしている場面を想像してください。あなたはいくつかの例を見せます。「これは赤い正方形が青い円に変わる様子です。これは緑の三角形が黄色の星に変わる様子です。」次に、新しい図形を見せてこう尋ねます。「これは何に変わりますか？」

これが ARC (Abstraction and Reasoning Corpus) チャレンジです。これは純粋な論理とパターン認識のテストです。大規模なAIモデル（LLM）は、詩を書いたり数学の問題を解いたりすることには長けていますが、こうした視覚的なパズルには苦戦します。彼らはしばしば、ランダムに推測したり、変化の背後にある「深いルール」を学習できていないために行き詰まったりします。

古いやり方：正解だけを見せる

これまで、研究者たちはAIに正解のみを見せることでこれを解決しようとしてきました。

比喩: 教師が生徒に数学の問題を見せ、「答えは5です」とだけ言う場面を想像してください。生徒はその特定の数学の問題に対する答えが「5」であることを暗記しますが、なぜ「5」になるのかという理由は理解していません。もし問題が少しでも変われば、生徒は失敗します。
論文による批判: 著者らは、単に「正しい」答えを見せるだけでは不十分であると主張しています。AIには、「何をすべきではないか」も学ぶ必要があるのです。

新しいアイデア：「惜しいミス」から学ぶ

著者らは、DIARC と呼ばれる新しい手法を提案しています。彼らの核心となるアイデアはシンプルです。**「正しいルールを学ぶためには、間違ったルールを見抜く方法も学ばなければならない」**ということです。

比喩: マスターシェフが弟子に教えている場面を考えてみましょう。
- 古いやり方: シェフが「このスープは完璧な味だ。この味を覚えておきなさい」と言います。
- DIARCのやり方: シェフが「このスープは完璧な味だ。しかし、これら他の3つのボウルを見てごらん。一つは塩辛すぎ、一つはハーブが足りず、もう一つは焦げている。これらもスープではあるが、間違いだ。違いがわかるかな？」と言います。

AIに「惜しいけれど間違いである」答えを見せることで、AIは真のパターンと偽のパターンを区別することを学びます。

「間違い」をどう作るのか（3つのトリック）

論文では、元のパズルを変更せずに、これらの「間違い」の回答（ネガティブサンプル）を作成する3つの巧妙な方法が説明されています。

視覚的な微調整 (Output-Level):
- やっていること: 正解を取り出し、それを少しだけ台無しにします。例えば、画像全体を少し左にずらしたり、エッジをぼかしたりします。
- メタファー: 完璧な写真を取り、カメラを少し傾けたり、わずかなノイズを加えたりするようなものです。写真は依然としてそのシーンのように見えますが、正確には「正しく」ありません。
ルールの反転 (DSL-Level):
- やっていること: AIがパズルを解くために使用する「コード」や論理を確認します。もしルールが「すべてを上に動かす」であれば、それを「すべてを下に動かす」へと反転させます。
- メタファー: ゲームのルールが「赤いライトを見たらジャンプする」だとしたら、「緑のライトを見たらジャンプする」という偽のルールを作ります。それは論理的に聞こえますが、真実とは逆なのです。
スマートな編集 (Task-Specific):
- やっていること: 超高性能なAI（GPT-5.4のような）を使用して、特定のパズルのルールを「意味上の反対」へと書き換えます。
- メタファー: もしパズルが「バケツを満たす」ことに関するものなら、AIはそのルールを「バケツを空にする」ことに編集します。これは非常に具体的で、巧妙な間違いであり、正解であるかのように見えますが、実際には違います。

結果：より賢い学生

研究者たちは、6つの異なるパズルベンチマークでこの手法をテストしました。彼らは3つのオープンソースAIモデルを使用し、正解のみから学習したモデルと比較しました。

結果: DIARC（「間違いを見つける」手法）で訓練されたモデルは、大幅に高いスコアを獲得しました。
ハイライト: Qwen3 というモデルを使用した場合、最も難しいパズルにおいて96%以上の精度を達成しました。これは、多くの高価なクローズドソースモデルや、これらのタスク専用に設計されたAIをも上回る結果でした。

まとめ

この論文は、AIを抽象的な推論においてより良くするためには、単に正しい答えを流し込むのではなく、**「間違ったものを拒絶すること」**を教える必要があると主張しています。「惜しいミス」を作り出し、魅力的な間違いのルートよりも正しいルートを選択するように訓練することで、AIはパズルの背後にある真の論理を、より速く、より効果的に学習することができるのです。

DIARCの技術要約：正例と負例の区別が大規模言語モデルのARC様推論能力の向上に寄与する

問題提起

Abstraction and Reasoning Corpus (ARC) は、少数の入力・出力グリッドの例から潜在的な変換ルールを推論し、それを新しいテスト入力に適用することをモデルに要求する。大規模言語モデル（LLM）は自然言語や数学的推論において進歩を見せているものの、ARCのような抽象的な記号タスクには苦戦している。ARCの性能を向上させるための現在の多くのアプローチは、データ拡張を用いてより多くの訓練例を作成する**教師あり微調整（SFT）**に依存している。しかし、これらの手法はオープンソースモデルでは満足のいく結果が得られず、クローズドソースモデルにおいてはコストが高くなる傾向がある。

著者らは、現在のSFTベースのアプローチにおける3つの主要な限界を特定している：

生成の困難性： ARCの出力シーケンスはしばしば長いため、ステップバイステップのトークン予測が困難である。
局所的 vs 全域的： SFTは局所的なトークン情報に焦点を当てるが、ARCタスクはグリッドの全域的な特性の理解を必要とする。
負のガイダンスの欠如： 既存の手法は正例（正しい入力・出力ペア）のみに依存しており、誤った出力からのガイダンスが欠けている。著者らは、ARCを解くには正しいパターンを学習するだけでなく、正しいルールと、もっともらしいが誤った「惜しい（near-miss）」代替案を区別する能力が必要であると主張している。

手法：DIARC

これらの限界に対処するため、著者らは、正しい出力と拒絶されるべき負のサンプルとの区別を最適化するようにLLMを訓練する、選好アライメント・フレームワークであるDIARCを提案する。この手法は、以下の3つの主要コンポーネントで構成される：

1. 負のサンプルの構築
正しいターゲットのみに頼るのではなく、DIARCは、正しい出力 $y^+$ と、同じタスクから派生した負のサンプル $y^-$ からなる選好ペア $(x, y^+, y^-)$ を構築する。負のサンプルは、これらが情報量の多い「惜しい」事例となるよう、3つの異なるレベルで構築される：

出力レベルの視覚的変換 ( $NG_{Vis}$ ): 4つのファミリーにわたる28の原子操作を用いて、出力グリッドを直接修正する：
- グリッド・ブロック・オペレータ： （例：プーリング、モード・センタリング、小さなコンポーネントの除去など）粗いレイアウトは維持するが、きめ細かな構造を損なう。
- 剛体シフト： グリッドの内容を8方向に、大きさ10%または30%でシフトさせる。
- 形態学的/幾何学的オペレータ： （例：侵食、膨張、スケルトン化など）空間的なレイアウトは維持しつつ、オブジェクトの形状を変化させる。
- 局所的摂動： ノイズの注入や境界ピクセルの入れ替え。
DSLレベルのルール反転 ( $NG_{DSL}$ ): プログラムレベルで動作する。著者らは、ドメイン固有言語（DSL）で記述されたタスク固有の変換プログラムを分析する。彼らは繰り返される局所的なルールパターンを特定し、それらのパターンに対して意味的な反転（inversion）を適用することで、元のロジックに近い状態を保ちつつ、ルールとして不適切な出力を生成するプログラムを作成する。
タスク固有のルール編集 ( $NG_{Edit}$ ): 特定のタスクに対する変換ルールを編集するためにLLM（GPT-5.4）を使用して支援を行う。目的は、元のルールと意味的に反対であるか、あるいは異なる変換挙動を導く近いバリアントとなる代替ルールを生成することであり、これにより、構造的には類似しているが論理的には異なる負のサンプルを確保する。

2. 選好最適化パイプライン
選好ペアが構築された後、モデルは**直接選好最適化（DPO）**を用いて訓練される。明示的な報酬モデルを必要とするRLHF（人間からのフィードバックによる強化学習）とは異なり、DPOは参照モデル $\pi_{ref}$ に対する、選択された出力 ( $y^+$ ) と拒絶された出力 ( $y^-$ ) の尤度の比を最適化するようにポリシーモデル $\pi_\theta$ を直接最適化する。損失関数は以下の通りである：
$L_{DPO} = -E \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y^+|x)}{\pi_{ref}(y^+|x)} - \beta \log \frac{\pi_\theta(y^-|x)}{\pi_{ref}(y^-|x)} \right) \right]$
ポリシーモデルはSFTモデルから初期化され、参照モデルは、そのSFTモデルの凍結コピーである。

主な貢献

監督パラダイムの転換： 本論文は、ARCの推論能力の向上には、純粋な正例の監督を超えて、負のサンプルの識別を含める必要があると主張しており、これは学習にはエラーの特定と修正が含まれるという認知科学の原理に基づいている。
3層の負の構築： 視覚的変換、DSLルール反転、およびタスク固有のルール編集を通じて、情報量の多い負のサンプルを体系的に生成する手法の提案。
ARCのための選好アライメント： 正しいルールと、もっともらしい誤った代替案との区別を最適化することが、ARCの推論能力を高めることを実証するために、ARCタスクにDPOを適用したこと。

実験結果

著者らは、3つのオープンソースLLMバックボーン（Llama-3.2-3B、Mistral-NeMo-Minitrint-8B、Qwen3-4B）を用い、6つのベンチマーク（ARC-AGI-1、ARC-AGI-2、MiniARC、ConceptARC、1D-ARC、ARCcommunity）でDIARCを評価した。

一貫した向上： DIARCは、すべてのデータセットおよびモデルサイズにおいて、ベースラインのSFTのみのモデルを一貫して上回った。
最先端の性能： Qwen3モデルを使用した場合、DIARCはARC-AGI-1で97.00%、ARC-AGI-2で**33.06%の精度を達成した。MiniARCおよびConceptARCにおいては、それぞれ97.32%および97.29%**を達成した。
比較： これらの結果は、様々なARC特化型モデル（例：HRM、GRAM、VARC）や強力なクローズドソースLLM（例：GPT-4、o1-mini、Kimi K2.5）を凌駕している。
アブレーション： 実験により、3つの負の構築戦略すべてが性能向上に寄与していることが示された。「Random Perturb」や「Rigid Shift」は、特定のベンチマークにおいて顕著な改善をもたらすことが多い。

意義と主張

本論文は、正しいルールと、もっともらしい「惜しい」代替案を区別する能力は、標準的なSFTでは見落とされがちな、ARC推論における極めて重要なスキルであると主張している。選好アライメントを活用することで、DIARCはモデルに対し、単に「答えが何か」だけでなく、「なぜ特定の妥当な代替案が誤っているのか」を学習させることを可能にする。著者らは、このアプローチが、フロントランナーモデルに関連する膨大な推論コストを必要とせずに、オープンソースモデルを抽象的推論タスクにおいて高価なクローズドソースシステムと同等、あるいはそれを上回るレベルに引き上げるための、コスト効率の高い方法を提供すると述べている。本研究は、ARC推論の将来的な向上は、単にデータやモデルの規模を拡大することよりも、負のサンプルの構築の質と選好最適化に依存する可能性があることを示唆している。