🤖 machine learning

Consistency-Driven Co-Evolution for Self-Supervised Cross-Representation Learning

本論文は、チャート、テーブル、およびコード間における明示的な一対一の対応関係を定義し、学習と推論の両過程において共進化プロセスを通じて一貫性を最適化することにより、高コストなアノテーションを不要にしながら複数のベンチマークにおける性能を向上させる自己教師あり学習フレームワークであるCoCoEvolveを導入するものである。

原著者： Xuehang Guo, Pengyuan Li, Tom Hope, Tirthankar Ghosal, Manling Li, Qingyun Wang

公開日 2026-08-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xuehang Guo, Pengyuan Li, Tom Hope, Tirthankar Ghosal, Manling Li, Qingyun Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはロボットに世界を理解させる方法を教えようとしていると想像してください。しかし、あなたは同じものを説明するために、グラフの画像、数値の入ったスプレッドシート、そしてそのグラフを描くために使われたコンピュータコードという、3つの異なる言語しか与えていません。これが「クロス表現学習（cross-representation learning）」の課題です。現実の世界では、データは単一の存在ではありません。それは目に見えるチャートであり、読み取る表であり、コンピュータがそれらを作成するための指示でもあります。問題は、これら3つが必ずしも完璧に一致するわけではないということです。一つの画像が多くの異なるスプレッドシートから描かれることもあれば、一つのスプレッドシートが多くの異なるコードに変換されることもあります。それはまるで、詩を歌や絵画に翻訳しようとしているのに、辞書がなく、翻訳者が推測を繰り返しているようなものです。

長い間、科学者たちは、あらゆる事例に対して「完璧な」翻訳を書き留めるために人間を雇うことで、この問題を解決しようとしてきました。しかし、これはコストがかかり、時間がかかり、多くの場合、唯一の正解が存在しないため不可能です。大きな疑問は、「人間という教師をすべてのステップに必要とせずに、コンピュータにこれらのつながりを学習させることはできるのか？」ということでした。「画像、数値、コードのすべてが同じ物語を語っているかどうかを確認することで、コンピュータ自身に自分の仕事をチェックさせることはできるのだろうか？」

ここで、CoCoEleoveと呼ばれる新しいアイデアが登場します。これは、3人の友人が同じ秘密の物体を説明しようとして遊んでいる「伝言ゲーム」だと考えてください。このゲームでは、一人が物体を描き、もう一人がその測定値を書き留め、三人目がそれを組み立てるための指示を書きます。通常、もし誰かが間違いを犯せば、物語は崩壊してしまいます。しかし、CoCoEvolveはこのルールを変えます。教師が「よくできました」や「やり直し」と言うのを待つのではなく、3人の友人は常に互いにチェックし合います。もし描かれた図が測定値と一致しなかったり、指示が正しい図を描けなかったりすれば、彼らは何かがおかしいと気づきます。彼らは、人間が答えを教えなくても、この「不一致」を改善のための信号として利用するのです。

この論文では、2つのAIモデルがこれらの「友人」として機能するシステムを紹介しています。一方のモデルは、チャートの画像から表とコードへと変換しようとし、もう一方のモデルは、その表から再びコードへと変換しようとします。彼らはサイクルの中で、絶えず共に進化していきます。もし生成されたコードが実際に実行可能で、元の画像に似たチャートを描くことができれば、彼らは「報酬」を得ます。もしコードが失敗したり、チャートの見栄えがおかしかったりすれば、彼らはその失敗から学びます。研究者たちは、画像、数値、コードを完璧に一致させるようにAIに強制することで、モデルがデータの理解において大幅に向上することを発見しました。

チームは4つのベンチマーク（テスト問題のセット）を用いてテストを行い、CoCoEvolveがAIのパフォーマンスを大幅に向上させたことを明らかにしました。ケースによっては、未知のデータに対してチャートからコードへの翻訳性能が最大**37.91%向上し、他の複雑なシナリオでは最大46.88%**向上しました。さらに印象的なことに、このシステムは学習のために追加の人間によるラベルを一切必要としませんでした。AIは、異なる形式のデータ間の整合性を、自分自身の教師として利用したのです。

また、この論文は、すべてのチャートには正確に一つの完璧な表と一つの完璧なコードが存在するという、従来のやり方に異を唱えています。研究者たちは、この「一対一」の仮定が実は罠であることを示しました。なぜなら、一つのチャートは多くの有効な方法で記述できるため、AIにたった一つの「正しい」答えを選ばせようと強制すると、かえって混乱させ、性能を低下させてしまうからです。CoCoEvolveは、「記述する方法は多く存在するが、すべての有効な方法は互いに一致していなければならない」という考えを受け入れることで、これらの罠を回避しています。

要約すると、この論文は、すべての宿題に採点を行うための軍隊のような教師を雇う代わりに、AIが持つ異なる「言語」（画像、表、コード）が整合性のある物語を紡いでいることを確認させることで、AI自身に教師にならせることができると示唆しています。その結果は、この手法が、AIにデータの複雑で多面的な世界を理解させるための、より強力で安価、かつ柔軟な方法であることを示しています。

技術要約: CoCoEvolve

問題提起

本論文は、チャート画像（ $V$ ）、表データ（ $T$ ）、および可視化コード（ $C$ ）という3つのモダリティにおける、クロス表現理解の根本的な課題に取り組んでいる。現在のAIシステムは、以下の3つのボトルネックにより、このタスクに苦戦している：

固有の一対多の曖昧性: 単一のチャート画像は、複数の有効な表表現および複数の有効なレンダリングプログラムに対応し得る。既存のベンチマークは、多くの場合、定義が不明確で、これらのマッピングに存在する自然な冗長性と曖昧さを捉えきれていない、制約のない一対一の正解（グランドトゥルース）を想定している。
教師あり学習の曖昧性とコスト: 潜在的な対応関係の広大な空間を正確にラベル付けすることは極めて困難であり、高品質で原理に基づいたアノテーションの不足を招いている。
原理的な最適化信号の欠如: 既存の手法は、固定されたタスク固有の目的関数（例：チャートから表、またはチャートからコード）に依存している。これらの局所的な目的関数は、グローバルな意味的正確性を強制できず、逆方向（例：表からチャート）や未知の表現の組み合わせ（例：表からコード）への汎用性を持たない。

手法: CoCoEvolve

著者らは、表現間の相互合意を活用することで、追加のアノテーションなしにモデルを最適化するように設計された、一貫性駆動型の共進化フレームワークであるCoCoEvolveを導入する。

1. 原理に基づいた制約の定義

一対多の曖昧性を解決するために、本フレームワークは、補助的な記述的制約（ $s \in S$ ）を用いてマッピング関数を拡張することで、一対多のマッピングを精密な一対一の対応関係へと接地（グラウンディング）させる。これにより、チャート画像 $v$ 、表 $t$ 、およびコードスニペット $c$ が、特定の制約条件下において、同一の基礎的な意味論の複数の表現として扱われるようになる。

2. 共進化フレームワーク

本フレームワークは、 $M_\theta$ （ $V \to T$ および $V \to C$ を扱う）と $M_\psi$ （ $T \to C$ を扱う）という2つのモデルを採用し、表現サイクル（ $V \to T \to C \to V$ ）を通じて共進化する。

CoCoEvolve@Train (学習時): モデルは、アノテーションされていないチャート画像に対して共同で学習される。正解ラベルに頼る代わりに、学習信号はクロス表現間の一貫性から導出される。
- 階層的報酬: システムは以下の要素に基づく共有報酬を計算する：
  - コードの一貫性 ( $F_c$ ): 両方のモデルによって生成されたコード間の意味的一致を、実行成功率と埋め込み類似性によって測定する。
  - 視覚的一貫性 ( $F_v$ ): 4つの指標（CLIPの意味的類似性、SSIM構造的類似性、OCRテキスト精度、DINOv2知覚的類似性）を用いて、レンダリングされたチャート間の視覚的一致を測定する。
  - フォーマット報酬 ( $F_f$ ): 適切に構成された構造化出力であることを保証する。
- 結合された最適化: モデルはサンプリングと報酬を通じて結合される。 $M_\psi$ は $M_\theta$ の出力を条件とし、各モデルのアドバンテージは、他方のモデルの出力に依存する報酬関数から導出される。これは、元のチャートに対する個別の接地報酬を組み込むことで、モデル同士が共謀して「互いに一貫しているが意味的には誤った出力」を生成してしまうような退化的な解を防ぐ。
CoCoEvolve@Test (テスト時): 推論時には、同じ一貫性目的関数を適用してモデルを共同最適化する。入力に対し、両方のモデルから複数のロールアウトを生成し、一貫性報酬に基づいて最良の出力を選択することで、モデルの重みを更新することなく、推論時に予測を精緻化する。
教師あり拡張: 高品質なアノテーションが利用可能な場合、本フレームワークはティーチャーモジュール（ $M$ ）をシームレスに統合できる。これにより、システムが教師ガイド付きの共学習から完全な自己教師あり共進化へと移行する、線形アニーリング戦略が可能になる。

3. 評価スイート (CoCoEvolve@Eval)

著者らは、複雑な評価を単一のスコアに集約することによる信頼性の低さを回避するため、統一された評価スイートを提案する。評価を、解釈可能な多次元的な指標へと分解する：

Rule-as-Judge: チャートにおける構造的、意味的、知覚的、およびテキスト的な正確性、コードにおける実行可能性とコードの質、および表におけるスキーマ/値の正確性を判定する決定論的な指標。
LLM-as-Judge & MLLM-as-Judge: 単一の広範なスコアではなく、データの正確性、チャートの種類、構造的忠実度、視覚的スタイルといった次元にわたる詳細なスコアリング（0-5スケール）。

主な貢献

原理に基づいた制約の定義: 既存のベンチマークが見落としていた、固有の一対多のマッピングを精密な一対一の対応関係へと接地するための形式的な定義を導入した。
CoCoEvolve フレームワーク: クロス表現間の一貫性を、原理に基づいたアノテーションフリーの自己教師あり信号へと変換する、新しい共進化フレームワーク。これは、タスクの方向や表現の組み合わせに関わらず、学習時およびテスト時の両方で最適化を可能にする。
統一された評価スイート: サイクル内の全6つのクロス表現タスクを網羅し、現在のLLM/MLLMベースの判定手法の限界を克服するために、多次元的な評価を用いる体系的な評価スイート。
実証的検証: 複数のベンチマークおよびモデルアーキテクチャにおいて、大幅な性能向上を実証する広範な実験。

結果

実験は、様々なMLLMおよびLLM（例：Qwen3-VL, InternVL3.5, DeepSeek-Coder）を用い、4つのベンチマーク（ChartCoder, ChartNet, ChartMimic, Chart2Code）に対して行われた。

性能向上: CoCoEvolveは、学習時およびテスト時の設定の両方において、一貫して性能を向上させている。
- 非重複のテストセットにおいて、最大 37.91% の利得を得た。
- ドメイン外の設定では、向上率は最大 46.88% に達した。
- コードの実行成功率は大幅に改善し、一部の構成ではサンドボックス実行成功率 100.00% を達成した。
汎用性: 本手法は、異なる複雑性やドメイン（物理学、金融、生物学など）を持つドメイン外のタスク、および異なる強化学習アルゴリズム（GRPO, DAPO, GSPO）に対して、堅牢な汎用性を示す。
アブレーション研究: 学習時とテスト時の両方でティーチャーモジュールを導入することが最もバランスの取れた性能をもたらすが、テスト時の最適化単独でも、全6タスクにおいて一貫して結果を向上させる。

意義と主張

本論文は、CoCoEvolveが、構造化された推論タスクにおけるアノテーション集約型のパイプラインに代わる、スケーラブルな選択肢を提供すると主張している。クロスモーダルな一貫性を信頼できる教師信号として扱うことで、本フレームワークはモデルが「共生的に共進化」することを可能にし、一方のモデルの改善が他方のモデルに対するより強力な教師となる。著者らは、このアプローチが教師あり学習の曖昧さと、方向適応的な最適化信号の欠如を効果的に解決し、タスク、方向、およびドメインを超えて汎用するクロス表現理解能力を強化すると断言している。この研究は、固定された正解ラベルに依存せずに、一貫性を通じてグローバルな意味的正確性を強制することが、マルチモーダルな推論に向けた実行可能な道筋であることを示唆している。