UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation
本論文は、静的なUIスクリーンショットのみから実行可能なインタラクション動作を推論する能力を評価するために設計された初のベンチマークであるUI2Appを紹介しており、現在のモデルの視覚的再構成能力と、複雑で状態の一貫したウェブアプリケーションを生成する能力との間にある顕著な隔たりを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ビッグアイデア：「見た目」から「動作」へ
あなたは熟練のシェフだと想像してください。目の前のテーブルには、美しく複雑なケーキの写真が置いてあります。
- 従来の方法（テキスト駆動型）： あなたはシェフにこう頼みます。「この写真のようなケーキを作ってください。層は3つで、味はチョコレート、そして中にボタンを押すとスプリンクルが出てくる秘密の仕掛けを入れてください」。シェフは、あなたからあらゆる詳細を言葉で説明してもらう必要があります。もしあなたが秘密のボタンについて言い忘れたら、シェフはそれを作ってくれません。
- 新しい方法（画像駆動型）： あなたはただ、シェフにその写真を渡すだけです。シェフはその写真を見て、ケーキを焼こうと試みます。
長い間、AIモデル（この物語における「シェフ」）は、写真を見て、その写真と見た目が全く同じケーキを作ることは非常に得意になってきました。色、アイシングの渦巻き、形などを完璧に一致させることができます。
しかし、ここに問題があります： ケーキの見た目が本物に見えるからといって、それがちゃんと機能するとは限らないのです。
- 秘密のボタンを押したとき、本当にスプリンクルが出てくるでしょうか？
- スライスしたとき、中身はチョコレート味でしょうか、それともただの空洞の殻でしょうか？
- 一つの層を動かしたとき、他の層はつながったままですか？
論文UI2Appはこう言っています。「私たちは、ケーキが単に見た目が正しいかどうかをチェックするのをやめる必要があります。ケーキが実際に機能するかどうかをチェックする必要があるのです」。
新しいベンチマーク：UI2App
研究者たちは、UI2Appと呼ばれる新しいテストを作成しました。AIに長い文章による指示を与える代わりに、彼らはAIにウェブサイトのスクリーンショット（写真）の束を渡し、こう命じました。
「これらの写真と全く同じ挙動をする、クリック可能な動作するウェブサイトを、ボタンがどのように機能するかを教えずに構築してください」。
AIは、写真を見るだけで「隠された魔法」を理解しなければなりません。例えば、ある写真にはカートに商品が1個入っており、次の写真では2個になっている場合、AIは「ああ、私が追加したものを記憶しておくための隠されたシステムがあるに違いない！」と気づかなければなりません。
4つの評価項目（レポートカード）
AIの成果を採点するために、研究者たちは最終的な製品だけを見たのではありません。彼らは4つのチェックリストを使用しました。
- そもそも実行可能か？（実行可能性 / Executability）： コードは実際に動作しますか？ それともすぐにクラッシュしますか？ これは、ケーキを味わう前にオーブンのプラグがコンセントに刺さっているか確認することに似ています。
- 移動できるか？（ナビゲーション到達性 / Navigation Reachability）： 写真の中に「お問い合わせ」ページがある場合、リンクをクリックしてそこに辿り着けますか？ それともリンクが壊れていますか？
- 見た目は正しいか？（視覚的忠実度 / Visual Fidelity）： ウェブサイトは写真と同じ見た目ですか？（これは従来のテスト方法であり、ほとんどのAIが得意とする部分です）。
- 動作は正しいか？（相互作用推論スコア / Interaction Inference Score - IIS）： これが最も重要な新しい部分です。 「カートに追加」をクリックしたとき、数は増えますか？ ログインしたとき、ページはユーザーを記憶していますか？ これは、AIが外見だけでなく、振る舞いを理解しているかをテストします。
衝撃的な結果
研究者たちは、利用可能な最もスマートな6つのAIモデルをテストしました。その結果は以下の通りです。
- 「見た目重視」の罠： ウェブサイトを完璧に見た目（視覚的忠実度）で作るのが最も優れたAIモデルは、実は、実際に動作させる（相互作用）ことにおいては4番目の成績でした。
- 比喩： あるモデルが粘土で偽物の車を作ったと想像してください。見た目は完璧なフェラーリ（光沢があり、完璧な形）ですが、エンジンをかけようとしても何も起きません。それは「凍りついたファサード（外観）」でした。
- 「実行者」の勝利： ウェブサイトを（カートへの追加、パスワードの記憶、ページの切り替えなど）正しく動作させることが最も優れたモデルは、全く別のモデルでした。
- 「記憶」の問題： すべてのAIにとって最も困難だったのは、**クロスルート・ステート（経路をまたいだ状態保持）**でした。
- 比喩： あなたがビデオゲームの中にいると想像してください。あなたは「森」レベルで剣を拾いました。次に「城」レベルへ移動します。賢いAIなら、まだ剣を持っていることを覚えています。しかし、今回のテストのAIたちは、しばしば忘れてしまいました。彼らは、剣を拾える「森」は作りましたが、「城」に移動すると、剣は消え、まるで最初から何も拾っていないかのようにゲームが動作してしまったのです。
- 結果： 半数のモデルが、この特定のスキルにおいてゼロのスコアを記録しました。彼らは、異なるページ間を移動する際に情報を保持することができませんでした。
なぜこれが重要なのか
論文は次のように結論づけています。**「視覚的忠実度は、知能とイコールではない」**ということです。
AIがボタンの完璧な絵を描けるからといって、そのボタンをクリックしたときに何が起こるかを知っているとは限りません。現在の世代のAIは、アーティスト（見た目を模倣すること）には優れていますが、エンジニア（ロジックを構築すること）になるためには、まだ苦戦しています。
UI2Appベンチマークは、AIに単なる「ふり」をやめさせ、実際に「実行」させるための新しいツールです。これは、現在のAIにおける最大のギャップは、見た目を美しくすることではなく、ウェブサイトに生命を感じさせる「目に見えないルール」を理解することにあるという事実を浮き彫りにしています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。