技術的サマリー：InteractScience

問題定義

本論文は、インタラクティブな科学デモンストレーションコード生成に関する大規模言語モデル（LLM）の評価において、決定的な欠落が存在することを指摘しています。現在のベンチマークは、静的なコード生成（例：ブログウェブページの作成）や知識に基づく推論（例：ニュートンの法則の解説）においては優れていますが、インタラクティブな科学アプリケーションに必要な、深いドメイン知識と精密かつ反応的なコーディングの統合を評価するには不十分です。

既存の評価手法は、通常以下のように二分されるため、不十分です：

1. 静的コード生成：科学的ロジックを検証することなく、レイアウトや機能的な UI 要素に焦点を当てます。
2. 知識質問応答：インタラクティブな動作をテストすることなく、テキストによる説明を評価します。
3. 視覚のみの判定：参照スナップショットやチェックリストなしにビジョン・ランゲージモデル（VLM）に依存し、科学的な不正確さを見逃す可能性のある主観的な判断に至ります。

核心的な課題は、モデルが機能的にインタラクティブなコード（ボタンがクリックされ、スライダーが動く）を生成しても、科学的に誤っている（物理法則が違反されている、視覚化が基本原理と一致していない）場合があることです。現在のベンチマークには、ユーザーの操作が意図した科学的動作を正しく引き起こすかどうかを検証するメカニズムが欠けています。

手法

これらの限界に対処するため、著者はインタラクティブな科学アプリケーションの包括的な作成に特化した最初のベンチマークであるInteractScienceを導入します。この手法は、2 つの相補的なコンポーネントを組み合わせたハイブリッド評価フレームワークに基づいています：

1. プログラム的機能テスト（PFT）

PFT は、実装計画で定義されたインタラクションロジックの決定論的検証を提供します。

• メカニズム：Playwright を使用して、シミュレートされたユーザー操作のシーケンス（例：ボタンのクリック、スライダーのドラッグ）を実行し、特定の DOM 状態をアサートします。
• 目的：生成されたコードが実装計画で指定された通りに動作すること、イベント処理、状態更新、コンポーネントの存在を検証することです。
• 出力：バイナリの合格/不合格指標（全体合格率、平均合格率、完全合格率）。

2. 視覚的根拠に基づく質的テスト（VQT）

VQT は、視覚化の正確性と科学的原理との整合性を評価します。

• メカニズム：参照スナップショット（Wolfram Demonstrations Project からの真実）と、科学的原理に由来するチェックリストを活用します。
• プロセス：フレームワークは特定の状態を再現するために操作を実行し、スクリーンショットを撮影して参照スナップショットと比較します。
• スコアリング：
  • 知覚的類似性：生成されたスナップショットと参照スナップショット間の CLIP スコアで測定されます。
  • 意味的正確性：VLM-as-Judge（Gemini-2.5-Pro）が、参照スナップショットと特定の検査ポイントのチェックリスト（数値の正確性、グラフィカル要素の整合性、ラベルの正確性など）に基づいて、生成されたスナップショットを評価します。
• 目的：DOM アサーションを通過する可能性はあるが、誤った現象を描画する科学的誤り（例：誤った周波数で振動するバネ質量系）を検出することです。

ベンチマーク構築

• ソースデータ：数学、物理学、化学、地球科学、コンピュータサイエンスの 5 つの分野にわたる、Wolfram Demonstrations Projectからの 150 のインタラクティブなデモンストレーション。
• 合成：Gemini-2.5-Pro を使用して、著者は実装計画、PFT テストケース/スクリプト、VQT テストケース/スクリプト、および評価チェックリストを合成しました。
• 検証：大学院生による手動検証実験により、合成されたスイートの忠実性と正確性が確認されました（平均スコア > 4.0/5.0）。
• 規模：このベンチマークには 150 の問題、779 の PFT ユニットテスト、590 の VQT ユニットテストが含まれており、合計 1,300 以上の個別テストとなります。

主要な貢献

1. ハイブリッド評価フレームワーク：インタラクションロジック（PFT 経由）と視覚的根拠に基づく科学的忠実性（VQT 経由）を共同で検証する統一プロトコルの設計。静的または純粋にテキストベースの評価を超えたもの。
2. InteractScience ベンチマーク：150 の多様な科学問題に対するユニットテストスクリプト、参照スナップショット、チェックリストに基づく判定を備えた、厳格な評価スイートの公開。
3. 大規模実証分析：オープンソースおよびクローズドソースの両方の 30 の最先端 LLM の体系的な評価により、科学的推論とインタラクティブなコード生成の統合における特定の限界を明らかにしました。

実験結果

30 のモデル（GPT-5、Claude-Sonnet-4、DeepSeek-R1、Qwen3 シリーズを含む）の評価は、以下の洞察をもたらしました：

• 全体的なパフォーマンス：このベンチマークは非常に困難です。PFT の**完全合格率（PPR）**は 16% をほとんど超えず、複雑な実装計画を完璧に追従できるモデルはほとんどないことを示しています。
• 「表面的な能力」のギャップ：
  • **アクション成功率（ASR）**は一貫して高く（>85%）、モデルはエラーなく実行される機能的な UI コンポーネント（ボタン、スライダー）を生成できることを示しています。
  • **意味的正確性（VLM-Judge）**は著しく低く（しばしば <60）、インターフェースは機能しているものの、基礎となる科学的ロジックが頻繁に誤っていることを明らかにしています。
• モデル比較：
  • クローズドソースモデル（例：Claude-Sonnet-4、GPT-5）は、特に機能的な正確性において、オープンソースモデルよりも一般的に優れています。
  • モデル規模：大規模モデル（例：DeepSeek-R1-0528、Qwen3-235B）は中 tier のプロプライエタリモデルと同等のパフォーマンスを発揮しますが、小規模モデル（<14B）は著しく苦労しています。
• 指標の相補性：PFT と VQT の指標間のスピアマン相関は低く（<0.32）、機能的な正確性と視覚的/科学的忠実性は異なる能力であることを確認しました。モデルは機能テストに合格しても科学的視覚化に失敗する可能性があり、その逆もまた然りです。
• 参照スナップショットの影響：マルチモーダルモデルへの入力として参照スナップショットを提供することは、視覚的スタイルやレイアウトにおいてわずかな改善をもたらしますが、描かれた状態を正しい科学的意味論に根ざすというボトルネックを完全に解決するものではありません。

意義と主張

本論文は、InteractScienceが科学および教育における信頼性の高い AI 駆動型ツールの開発に不可欠な基盤を確立すると主張しています。その意義は以下の点にあります：

1. 標準化：既存のベンチマークでは以前に評価されていなかった、科学的推論とインタラクティブなコーディングの組み合わせ能力を評価するための最初の統一プロトコルを提供します。
2. 診断能力：「表面的な能力」（機能する UI）と「科学的忠実性」（正しいロジック）の間のギャップを露呈させることで、現在のモデルにおける特定の失敗モード（例：論理エラー、数値パラメータエラー）を特定するのに役立ちます。
3. 監査ツール：著者は、AI 生成の資料が視覚的に妥当に見えるが科学的に誤った説明を含んでいるリスクを特定するための監査ツールとして InteractScience を位置づけています。専門家のレビューなしにベンチマークスコアを科学的正確性の認定として解釈すべきではないことを強調しています。

この研究は、LLM がソフトウェア作成の自動化において有望であることを示しつつも、深いドメイン知識を機能的でインタラクティブな科学デモンストレーションに統合する能力には依然として大きなギャップが残っていると結論付けています。今後の課題として、ベンチマークの拡張、より広範な専門家検証の組み込み、エージェント駆動型テストの探求が提案されています。