MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants

LLM による静的テキストから動的 HTML アプリケーション（MiniApp）への生成シフトを評価するため、実世界データに基づくベンチマーク「MiniAppBench」と、ブラウザ自動化を用いたエージェント評価フレームワーク「MiniAppEval」を提案し、現在の LLM が高品質な MiniApp 生成において依然として課題を抱えていることを明らかにした論文です。

要約

この論文は、**「AI 助手の未来は、ただの『おしゃべり』から『動くアプリ』を作ることに変わる」**という非常にエキサイティングな提案と、その評価方法の発表です。

わかりやすくするために、いくつかの比喩を使って説明しますね。

1. 従来の AI と「MINIAPP」の違い：レシピ本 vs. 料理人

これまでの AI 助手（チャットボット）は、**「完璧なレシピ本」**のようなものでした。

• ユーザー: 「ニュートンの法則って何？」と聞きます。
• AI: 「ニュートンの法則は〜という物理法則です」という**テキスト（文字）**で答えます。
• 結果: 知識は得られますが、実際に「重力がどう働くか」を体験したり、自分でパラメータを変えて実験したりすることはできません。

これに対して、この論文が提案する新しい形**「MINIAPP（ミニアプリ）」は、「即席の料理人」**です。

• ユーザー: 「ニュートンの法則を視覚的に教えて！」と言います。
• AI: 文字を返すのではなく、**「りんごが木から落ちて地面にぶつかる、インタラクティブな小さな Web アプリ」**をその場で作って渡します。
• 結果: ユーザーは「りんごを落としてみる」「重さを変えてみる」といった操作を通じて、法則を直感的に理解できます。

この論文は、AI が「文字を書くこと」から「動くアプリを作る（建築家になる）」ことへ進化していることを指摘し、その新しい能力をどう測るかを提案しています。

2. 問題点：「正解」がないテストの難しさ

これまでの AI のテスト（ベンチマーク）は、**「正解が一つに決まっている数学の問題」**のようなものでした。

• 「このコードは正しいか？」→「はい/いいえ」で判定できます。

しかし、「動くアプリを作る」タスクは、**「料理の味付け」**に似ています。

• ユーザーが「美味しいカレーを作って」と頼んだとき、正解は一つではありません。スパイスを効かせたカレーでも、野菜多めのカレーでも、どちらも「美味しいカレー」になり得ます。
• さらに、**「現実世界のルール（物理法則や常識）」**を守っているかが重要です。
  • ❌ 失敗例: 「1 週間は 7 日」という常識を無視して、シミュレーションが 5 日で終わってしまうアプリ。
  • ❌ 失敗例: 「重力があるはずの落下実験」で、りんごが空高く舞い上がってしまうアプリ。

既存のテストは、コードが「文法的に正しいか」だけを見ていて、「物理法則を守っているか」や「ユーザーの意図を本当に満たしているか」まではチェックできていませんでした。

3. 解決策：「MINIAPPBENCH」と「MINIAPPEVAL」

そこで、著者たちは 2 つの新しいツールを作りました。

① MINIAPPBENCH（テスト問題集）

• どんなもの？ 現実のユーザーが実際に「作ってほしい」と言った 500 個の課題を集めたテスト問題集です。
• 特徴: 「ゲーム」「科学実験」「生活ツール」など 6 つの分野にまたがり、「物理法則」や「常識」を正しくアプリに反映させられるかを問う問題ばかりです。
  • 例：「1 週間の選択シミュレーターを作って」と言われたら、アプリが 7 日間で正しくループすることを確認します。

② MINIAPPEVAL（自動採点システム）

• どんなもの？ 人間が一つずつチェックするのは大変なので、**「AI 審査員（エージェント）」**が自動でアプリを動かしてチェックするシステムです。
• 仕組み:
  1. 人間のように操作する: ブラウザ上で実際にクリックしたり、ドラッグしたりして、アプリがちゃんと動くか確認します。
  2. 3 つの視点で採点:
     • 意図（Intention）: ユーザーの要望（例：「重力を表現して」）を満たしているか？
     • 静的（Static）: 画面のデザインやコードの構造は整っているか？
     • 動的（Dynamic）: 実際に動かして、物理法則や論理が破綻していないか？（例：りんごが地面に落ちるか？）
• すごい点: 従来の「正解コードとの比較」ではなく、**「アプリが現実のルールに従って動いているか」**を、人間が操作するのと同じようにチェックして採点します。

4. 実験結果：AI はまだ修行中

このテストで最新の AI モデルを評価したところ、**「まだ完璧ではない」**という結果が出ました。

• 最高性能のモデルでも、500 問中 45% 程度しか正解できませんでした。
• 特に「物理法則」や「複雑な論理」をアプリに組み込むのは、AI にとってまだ難しいようです。

しかし、この新しい採点システム（MINIAPPEVAL）は、人間の専門家の判断と非常に高い一致率を示しました。つまり、「AI が作ったアプリが本当に使えるか」を、人間がチェックしなくても、このシステムが正確に判定できることが証明されました。

まとめ

この論文は、以下のようなことを伝えています。

「これからの AI 助手は、ただ『話す』だけでなく、『動くアプリ』を建築する存在になります。でも、その能力を測るには、新しいテスト（MINIAPPBENCH）と、人間のようにアプリを操作してチェックする審査員（MINIAPPEVAL）が必要です。今の AI はまだ未完成ですが、この新しい基準を使えば、より良い AI 助手を育てていくことができます。」

まるで、**「AI に料理をさせるなら、味見をする審査員が必要だ」**と言っているような、非常に実用的で面白い研究です。

技術概要

MINIAPPBENCH: LLM 搭載アシスタントにおけるテキストからインタラクティブ HTML 応答への移行の評価

本論文は、大規模言語モデル（LLM）のコード生成能力の進展に伴い、人間と AI の対話形態が「静的なテキスト応答」から「動的でインタラクティブな HTML ベースのアプリケーション（MINIAPPS）」へと進化している現状を指摘し、この新しいパラダイムを評価するための包括的なベンチマークMINIAPPBENCHと、それを評価するためのエージェント型フレームワークMINIAPPEVALを提案したものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

従来の LLM 評価ベンチマーク（HumanEval や MBPP など）は、アルゴリズム的な正解性や静的なレイアウトの再現性に焦点を当てており、以下の点で新しい「インタラクティブな HTML 応答」の需要を捉えきれていませんでした。

• 現実世界の原理の欠如: 既存のベンチマークは、コードが構文として正しいか、テストケースをパスするかに焦点を当てていますが、ユーザーの意図（例：「自由落下の物体はニュートンの法則に従う」「1 週間は 7 日である」）に暗黙的に含まれる**現実世界の原理（Real-world Principles）**をコードに実装できているかを評価していません。
• 静的な評価の限界: 従来の Web 生成ベンチマークは、視覚的な忠実度や静的なレイアウトの再構築を重視しており、動的なロジックや状態遷移、ユーザーによるカスタマイズされたインタラクションの質を評価できていません。
• 正解の不在: MINIAPPS はユーザーの意図を満たすために多様な実装が可能であり、単一の「正解（Ground Truth）」が存在しないため、従来の固定されたテストケースや参照コードとの比較による評価手法が機能しません。

2. 提案手法 (Methodology)

2.1 MINIAPPBENCH (ベンチマーク)

現実世界のユーザー要求に基づき、原理に基づいたインタラクティブなアプリケーション生成を評価するためのデータセットです。

• データソース: 大規模な生産プラットフォームから収集された 1,000 万件以上のリアルユーザークエリから選別されました。
• 規模と構成: 最終的に500 タスクが選定され、6 つのドメイン（科学、ゲーム、ツール、人文科学、ライフスタイル、可視化）に分類されています。
• タスクの性質:
  • 現実世界の原理への忠実性: ユーザーのクエリに含まれる暗黙の物理法則や常識、ドメイン知識をコードに反映させる必要があります。
  • カスタマイズされたインタラクション: 固定されたテンプレートではなく、ユーザーの意図に合わせて動的に合成されたインタラクションロジックが必要です。
• 評価基準: 各タスクには、意図（Intention）、静的（Static）、**動的（Dynamic）**の 3 つの次元で検証可能な評価参照（Eval-Ref）が用意されています。

2.2 MINIAPPEVAL (エージェント評価フレームワーク)

単一の正解が存在しないオープンエンドな生成タスクを評価するための新しいエージェント型評価手法です。

• ブラウザ自動化: Playwright を使用し、人間のようにブラウザ上でクリック、ドラッグ、入力などの操作を行い、アプリケーションの動作を探索的にテストします。
• 3 つの評価次元:
  1. Intention (意図): ユーザーの高层次なゴールが達成されているか（例：振り子の運動シミュレーションでエネルギー保存則が表現されているか）。
  2. Static (静的): コードの構文、構造、アクセシビリティ、必要な要素の存在などを実行なしで検証。
  3. Dynamic (動的): 実行時の振る舞い。複雑なアクションチェーン（例：タスク追加→完了→削除）や、境界値・例外処理（エッジケース）に対する堅牢性を検証。
• 特徴: 固定されたスクリプトや参照コードとの比較に依存せず、生成されたアプリケーションがユーザーの意図を機能的に満たしているかを、コード解析と動的な実行探索を組み合わせることで総合的に判断します。

3. 主要な貢献 (Key Contributions)

1. 新しい対話パラダイムの提案: 人間と LLM の対話が「テキスト」から「レンダリングされた HTML（MINIAPPS）」へ移行しており、これが新しいインタラクション形態であることを論理的に示しました。
2. 初の包括的ベンチマーク (MINIAPPBENCH): 現実世界のユーザー需要から派生し、500 の厳密なタスクを含む、原理駆動型のインタラクティブなアプリケーション生成を評価する初のベンチマークを構築しました。
3. エージェント型評価フレームワーク (MINIAPPEVAL): 静的な検査と人間のような動的な探索を統合し、意図・静的・動的の 3 つの次元からアプリケーションの忠実度を包括的に評価する手法を提案しました。
4. 現状の LLM の限界と評価手法の有効性: 実験により、現在の LLM は高品質な MINIAPPS の生成に依然として課題を抱えていることを示しつつ、MINIAPPEVAL が人間の判断と高い一致度（Kappa 係数 0.81〜0.89）を示すことを実証しました。

4. 実験結果 (Results)

• モデルのパフォーマンス: 複数のオープンソースおよびクローズドソースの LLM（GPT-5.2, Claude Opus, Gemini 3 Pro など）を評価しました。
  • 最上位モデル（GPT-5.2）でも平均パス率は**45.46%にとどまり、全体平均は17.05%**でした。これは、現在のモデルが複雑なインタラクティブなアプリケーションを生成する際に大きな課題を抱えていることを示しています。
  • 閉源モデルがオープンソースモデルよりも一貫して高いパフォーマンスを示しましたが、タスクの難易度（Easy/Mid/Hard）やドメイン（科学、ゲームなど）によって性能差が顕著でした。
• 難易度とドメイン: 難易度が高くなるにつれて全モデルの精度は低下しました。また、可視化やライフスタイル（常識が必要）のタスクでは比較的高い成績を収める一方、科学的原理や複雑なエンジニアリング要件を含むタスクでは性能が低下しました。
• 評価手法の検証:
  • アブレーション研究: Eval-Ref（評価参照）、コード解析、エージェント（ブラウザ操作）の各コンポーネントを除去した実験により、これらすべてが高精度な評価に不可欠であることが示されました（特に Eval-Ref を外すと Recall が大幅に低下）。
  • 人間との一致: 4 人の専門家によるアノテーションと比較したところ、MINIAPPEVAL は高い一致度（Cohen's Kappa 0.81〜0.89）を示し、信頼性の高い評価基準として機能することが確認されました。
  • ダブルブラインド評価: 視覚的なタスクにおける確認バイアスを軽減するため、クエリを見ずにページを記述してから評価するダブルブラインド手法を導入したところ、精度が向上し、特にネガティブサンプルの検出能力が向上しました。

5. 意義 (Significance)

• 評価基準の転換: 従来の「コードが動くか」だけでなく、「現実世界の原理を正しく反映し、ユーザーと自然に相互作用できるか」という、より高度な基準を LLM 評価に導入しました。
• 実用性の向上: 将来的な AI アシスタントが、単なるチャットボットを超えて、ユーザーの複雑な要求（例：科学シミュレーション、カスタムツール作成）を即座に実行可能なアプリケーションとして実現するための基盤を提供します。
• 研究の指針: 現在の LLM がインタラクティブな生成において直面している課題（原理の理解不足、動的ロジックの欠如など）を明確にし、今後のモデル開発や評価手法の改善に向けた具体的な方向性を示しました。

本論文は、LLM が「コード生成」から「実行可能な世界モデルの構築」へと進化していく過程において、その能力を適切に測定・改善するための重要なマイルストーンとなっています。