Toward AI VIS Co-Scientists: A General and End-to-End Agent Harness for Solving Complex Data Visualization Tasks

技術的概要：AI VIS 共同科学者へ向けて

問題定義
科学的探究は、複雑なデータを検査、解釈、伝達する能力にますます依存しており、このプロセスは伝統的にデータ管理、分析、可視化設計における専門的な知識を大幅に要求する。「AI 共同科学者」という広範なビジョンは、自律的に長期的な科学タスクを実行することを目指しているが、現在の AI コーディングアシスタント（例：Codex、Claude Code）は、主に明確に定義された孤立したサブタスクに限定されている。これらは、「大西洋の経向循環を理解する」といった高レベルの科学的問いと、展開可能で双対的な可視化分析アプリケーション（VIS アプリ）との間のギャップを埋めることに苦戦している。可視化は、一般的なコード生成とは区別される独自の課題を提示する。それは、知覚原理に関する推論、協調リンク付きビューの設計、多様なデータモダリティ（ストリーミング、体積データ）の処理、そして結果としてのインターフェースが実際にドメイン固有の問いに答えていることを検証することを要求する。既存の取り組みは仮説生成と計算研究に大きく焦点を当てており、自律的な可視化設計と実装を可能にするシステムの分野には空白が存在する。

手法：VIS 共同科学者ハーネス
著者らは、データセットと高レベルのタスク記述のみに基づいて、カスタム VIS アプリを自律的に設計するためのエンドツーエンドのエージェント型ハーネスを提案する。このシステムは、明示的なアーティファクト（レポート、計画、指示、スコアカード）を介して専門的なサブエージェントとツールを調整する、主要な LLM コードエージェント（OpenAI Codex を使用して実装）を中心としたマルチエージェント調整環境として構成されている。

ワークフローは以下の段階を経て進行する：

1. 探索的データ分析（EDA）： データセットのプロファイリングを行い、スキーマ、スケール、欠損値、タスクに関連する変数を特定し、設計の経験的基盤となる EDA レポートを生成する。
2. 環境ビルダー： データアクセス、可視化、ブラウザ検証に必要なコーディング環境と依存関係を設定する。
3. 主要 VIS 設計ループ： 3 つの役割を含む反復サイクル：
   • プランナー： タスクと EDA レポートを、視覚的エンコーディング、協調パネル、インタラクション状態に関する具体的な仕様へ翻訳する。
   • VIS デザイナー： 複雑なビュー（例：3D ボリュームレンダリング、プログレッシブ・ストリーミング、カスタム・ブラッシング）を実装または修復する。
   • 評価者： Playwright ベースの検査を用いて、ライブアプリケーションをタスク目標に対してテストし、リンク付きビューの同期、コンソールエラー、インタラクションロジックを確認する。これによりフィードバックと修正レポートを生成する。
4. オーケストレーター： サブエージェントからのアーティファクトを統合し、 Routine な修正を実行し、ブロックする問題が解決されるまでループを管理する。
5. メモリ維持者： 実行後、このコンポーネントはスケッチブックやアーティファクトからの洞察を、学習した教訓を捉えるための階層的で人間が読めるウィキ（LLM Wiki に着想を得た）に要約するが、現在の結果はこのメモリからの検索に依存していない。

このシステムは、エージェントの能力を単純なコード生成を超えて拡張するために、カスタムスキル（例：SciVis 設計慣習、フロントエンドライブラリの選択）とモデルコンテキストプロトコル（MCP）コネクタ（特にブラウザ検査とインタラクションテスト用の Playwright-MCP）を利用する。

主な貢献

1. VIS 共同科学者の概念化： 本論文は、VIS 共同科学者を、広範な AI 共同科学者のビジョンの不可欠な構成要素として定義する。これは、ドメイン理解の獲得、探索的データ分析の実施、インタラクティブツールの設計・実装、分析品質の評価を独立して行う能力を持つ。また、創造的な視覚デザインと知覚最適化における現在のギャップを特定する。
2. 新規エージェントハーネス： メインエージェントが、データ探索と計画から実装、ブラウザ検証、評価に至るまで、可視化設計の全ライフサイクルを調整することを可能にする、再利用可能なツールと足場（スキャフォールディング）のスイート。これには、推論が透明かつ追跡可能であることを保証する、構造化されたアーティファクトベースの通信プロトコルが含まれる。
3. 経験的検証： システムは、気候科学、材料発見、ソナー画像、神経科学、マントル対流にまたがる IEEE SciVis コンテスト（2021–2026 年）で評価された。これらのコンテストは、曖昧な要件とタスク駆動型の検証により、厳格なストレステストとして機能する。

結果
システムは、2025 年の SciVis コンテスト（材料発見）および 2021、2023、2024、2026 年のコンテストでテストされた。

• 2025 年ケーススタディ： 高レベルの指示のみを与えられた場合、システムは自律的に、候補ランドスケープ、PCA 埋め込み、関係行列、経路パネルを特徴とする機能的なシングルページ VIS アプリを生成した。このアプリは、アルミニウム合金における強度と導電性のトレードオフといったドメインに関連する発見を特定し、（組成 - 相 - 物性の経路などの）主要な関係を回復することに成功した。
• 専門家監査： 5 名の可視化研究者による構造化された監査では、タスク完了、EDA の精度、協調ビューの整合性においてシステムは高く評価された（平均スコア 4.0–5.0）。しかし、視覚的エンコーディングの新規性、インターフェースの洗練度（例：凡例、色意味論）、レスポンシブ性については、スコアが低いか、ばらつきが大きかった。専門家は、システムは有用なプロトタイプを生成するものの、人間によるコンテスト受賞者特有の独創的な視覚的貢献や、微妙な事前知識を欠いていると指摘した。
• 一般化可能性： ハーネスは、多様な科学ドメインとファイル形式にわたって、機械的に有効な VIS アプリを正常に生成した。
• 限界： システムは、特に 3D ビューにおいて、複雑で動的な多段階の視覚的推論に苦戦する。空白のレンダリングや壊れたリンクを検出することはできるが、時間的な視覚的挙動（例：カメラ移動のシーケンス）を確実に批判したり、インタラクションのシーケンスが科学的推論を支援するかどうかを評価したりすることはまだできない。それは、新しい視覚的エンコーディングを生成するのではなく、確立されたパターンに依存している。

意義と主張
本論文は、この作業を一般的な AI VIS 共同科学者への「第一歩」として位置づける。構造化されたマルチエージェントハーネスを通じて、自律的にエンドツーエンドの VIS アプリを設計する技術的実現可能性を実証すると主張する。著者らは、これらのシステムが改善されるにつれて、可視化研究者の役割は、科学的意味付けのための抽象化の定義、評価基準の形式化、そして知覚知識をエージェントワークフローへのエンコーディングへとシフトすると論じる。

本論文は、現在のシステムが確立されたパターンを超えた創造的な視覚デザインや、高度な多段階視覚知覚をまだ示していないことを謙虚に認めている。研究の最前線は、単一のアーティファクトを設計することから、ドメイン科学者と共にそのようなアーティファクトを創造し、批判し、検証する堅牢なプロセスを設計することへとシフトしつつあると提唱する。究極の目標は、自動化が終了し人間の創造性が始まる境界を再定義し、自律的な科学が単なる計算だけでなく、解釈可能な視覚的証拠を生み出すことを保証することである。