Test-Time Matching: Unlocking Compositional Reasoning in Multimodal Models

非常に難解な論理パズルテストを受験している状況を想像してください。このテストは、1 つの問題ずつ解くことを求めません。代わりに、2 枚の画像と 2 つの説明からなる小さな「グループ」が提示されます。説明は全く同じ言葉を使用していますが、順序が異なります。あなたの仕事は、正しい画像を正しい説明にマッチさせることです。

長らく、AI モデル（このテストを受ける「生徒」）はこの特定のパズルタイプで失敗し続けてきました。彼らは他のタスクでは驚くほど優秀であるにもかかわらず、得点があまりにも低く、まるでランダムに推測しているかのような結果を示すことが多かったのです。

この論文は、問題にあるのは「生徒」ではなく「テスト自体が仕組まれている」ことを主張しています。著者らは、これらの AI モデルが真の知能を発揮できるよう支援する、新しい採点方法と新しい学習技法を導入しました。

以下に、彼らの発見と解決策の概要を示します。

1. 欠陥のある採点システム（「全か無か」の罠）

マッチングテストを採点する教師を想像してください。従来のルール（GroupScoreと呼ばれます）は驚くほど厳格でした。

• 1 つのペアで両方のマッチを正解した場合のみ、1 点が与えられます。
• 1 つでも間違えれば、そのペア全体に対してゼロ点が与えられます。

著者らは、このルールが不公平であると気づきました。それは、「数学の問題の 99% を正しく解いたが、たった一つの符号ミスをした場合、ゼロ点になる」と言っているようなものです。このルールがあまりにも厳格であるため、賢明なモデルさえも失敗しているように見えてしまいます。

解決策：新しい採点ルール（GroupMatch）
著者らは、GroupMatchと呼ばれる新しいルールを提案しました。これは各ペアを個別に評価するのではなく、グループ全体の合計点を見るというものです。

• 比喩: 2 つの果物かごを持っていると想像してください。従来のルールは、「かご A に間違ったリンゴを入れたら不合格」と言っていました。新しいルールは、「全体として、かごに最善のリンゴを入れたか？」と問います。
• 結果: このより公平なルールを用いて AI モデルを再採点したところ、得点は劇的に上昇しました。突然、ランダムに推測しているように見えたモデルは、実は答えのほとんどを正解していたことがわかりました。彼らが必要としていたのは、それを証明するより良い方法だったのです。

2. 「SimpleMatch」トリック（迅速な解決策）

著者らはモデルが実際には答えを知っていることに気づくと、その「隠れた知識」を、古く厳格な採点システムに戻して翻訳する簡単な方法を見つけました。

• まず、モデルに新しい公平なルールを用いて、最善の全体的なマッチングを選ばせます。
• 次に、モデルにその選択を維持することを強制します。
• 結果: この単純なステップにより、トップクラスの AI（GPT-4.1）が、最も難しいパズルテストにおいて推定される人間の平均を上回る得点を記録しました。これは、AI が推論が苦手だったのではなく、単に技術的な細部で採点されていたことを証明しました。

3. 「テスト時マッチング（TTM）」学習セッション

著者らはそこで手を止めませんでした。彼らは、教師の助けを必要とせずに、テストを受験している最中にモデルをさらに賢くしたいと考えました。そこで、Test-Time Matching (TTM) と呼ばれる手法を開発しました。

TTM を、最終試験の直前に行われる自己改善型の学習セッションだと考えてください。

1. 最初の推測: モデルはテスト問題を見て、マッチングの最善の推測を行います。
2. 自信の確認: モデルは自分自身に、「この推測についてどれくらい確信があるか？」と問いかけます。
   • 非常に確信がある場合、その推測を「事実」（疑似ラベル）として扱い、それを学習します。
   • 確信がない場合、その推測は一旦無視します。
3. 学習: モデルは、今学んだ「事実」に基づいて、素早く脳（微調整）を調整します。
4. ルールの緩和: モデルが賢くなるにつれて、著者らは「自信の基準」を下げます。すると、モデルは以前は確信が持てなかった、少し難しい問題の学習も始めます。
5. ループ: このサイクルを繰り返し、テスト問題の多くから徐々に学び、最終的にセット全体をマスターするまで続けます。

比喩: 学生が模擬試験を受けている状況を想像してください。単に答えをマークするのではなく、「この 5 問は 100% 確信があるので、その背後にある論理を暗記しよう」と言います。次に、「さて、次の 5 問は 90% 確信があるから、これも勉強しよう」と言います。終了時には、テスト自体を見るだけで内容を習得していることになります。

結果

この手法を用いることで、著者らはいくつかの印象的な成果を上げました。

• 新記録: いくつかの困難なベンチマークにおいて、新しい「最先端（State of the Art）」の記録を樹立しました。
• 巨人を打ち破る: 特定の推論タスクにおいて、小規模で専門的なモデル（SigLIP-B16）が、この学習技法を使用した後に、大規模な汎用 AI（GPT-4.1）を打ち破ることができました。
• どこでも機能する: このトリックは、厄介な「グループ」パズルだけでなく、グループが全くないテストでも機能しました。物語を書くようなテキストを生成するモデルや、画像を比較するだけのモデルでも機能しました。

重要な教訓

この論文は、AI モデルは私たちが考えていたよりもはるかに「構成的推論（新しい状況を理解するためにピースを組み立てる能力）」に優れていると結論付けています。私たちは単に、彼らを正しく測定できていなかったのです。採点システムを修正し、モデルに自らのテストの答えから学ぶ方法を与えることで、新しいデータや人間の教師を必要とすることなく、彼らの真の可能性を解き放つことができます。