ガラスと光でできた、絶えず変化し続ける巨大な都市を築いているところを想像してみてください。毎日、建築家が新しい塔を建て、画家が窓の色を変え、エンジニアがドアを交換します。この都市はモバイルアプリであり、そこに住む人々は何百万ものユーザーです。この都市が崩壊しないようにするためには、すべての通りを歩き、すべてのドアを開け、すべての窓がまだ機能するかどうかを確認する必要があります。これは「テスト」と呼ばれます。しかし、問題があります。都市の変化があまりに速いため、一つの通りをチェックし終える頃には、建築家たちはすでにそこを再構築してしまっているのです。もし、あらゆるドアに対して厳格でロボットのようなチェックリストを書こうとしたら、画家がドアノブの色を変えた瞬間にそのチェックリストは壊れてしまい、最初から書き直さなければならなくなります。これが従来のアプリテストの悪夢です。それは遅く、脆く、壊れたチェックリストを修正するために軍隊のような大人数の人員を常に必要とします。

そこで、「AI探偵」というアイデアが登場します。ドアノブがどこにあるべきかを正確に知っているロボットではなく、ドアノブが「何のためのものか」を理解している探偵を想像してください。もしドアノブが移動しても、探偵はパニックになりません。ただ、ドアを開けるためのものを探し続け、歩き続けます。Uberのエンジニアによって書かれたこの論文は、DragonCrawlと呼ばれる新しいシステムを紹介しています。これは、スーパースマートな人工知能（大規模言語モデル）を使用して、その探偵として機能します。固定された地図を暗記するのではなく、DragonCrawlは人間と同じようにアプリを読み取ります。画面を見て、ゴール（例えば「配車を予約する」）を理解し、自力で次のステップを判断します。この論文は、このアプローチがはるかに速く、安価であり、アプリが変更されても壊れにくいことを示しており、会社がアプリを更新するたびに、何千もの異なるシナリオを自動的にテストすることを可能にしています。

旧来の方法 vs 新しい方法

DragonCらの前には、UberはDragonCrawl V1と呼ばれる手法を試していました。これは、迷路の経路を一枚の写真で暗記しようとする学生のようなものです。もし迷路が写真と全く同じであれば、学生は進むことができます。しかし、壁が少しでも動いたり、あるいは学生が迷路の異なる場所で同じ廊下を見つけたりすると、混乱して円を描いて歩き回ってしまいます。このシステムは単純なタスクには機能しましたが、複雑なタスクになると無残に失敗しました。それは、静止した一枚の地図だけを見て都市をナビゲートしようとするようなものであり、都市が成長した途端に、その地図は役に立たなくなりました。

新しいバージョンであるDragonCrawl V2は、完全なゲームチェンジャーです。静的な地図の代わりに、それは「生成的な」脳を使用します。あなたの街に行ったことがないけれど、街の仕組みを知っているツアーガイドを想像してください。あなたがガイドに「空港に行きたい」と言うと、ガイドは現在の通り、交通標識、そして周囲の人々を見て、「よし、ここで左に曲がろう」と判断します。もし通り標識が変わっても、ガイドは立ち止まりません。新しい標識を見て、そのまま進み続けます。これがDragonCrawl V2の仕組みです。単に画像を照合するのではなく、ゴールと今見ているものに基づいて、次に何をすべきかを推論します。

その仕組み

このシステムは、ほとんど人間に近い感覚を与えるいくつかの巧妙なトリックで構築されています。

1. 意図に基づいた脳（Intent-Based Brain）: 「ボタンAをクリックし、次にボタンBをクリックする」というスクリプトの代わりに、エンジニアは「ダウンタウンから空港まで配車を予約する」という単純な一文を書きます。AIはこのゴールを読み取り、それから画面を見ます。そして自問します。「マップと『目的地を入力』ボックスが見える。私のゴールに到達するためには、このボックスをタップすべきだ」。AIはこれをステップ・バイ・ステップで行い、これまでに行ったすべてのことを記憶しているため、ループに陥って迷うことはありません。
2. 視覚的探偵（Visual Detective）: AIがタスクを完了したと判断するとき、特定の単語が表示されたかどうかをコード上のチェックボックスで確認するわけではありません。代わりに、画面の「スクリーンショット」を撮り、超スマートなAI（GPT-4o）に「この画像は、配車の予約に成功しているように見えますか？」と尋ねます。AIは画像を観察し、レシートや確認メッセージを見て、「はい、到着しました！」と答えます。これは、ボタンが移動したり、テキストが「確定」から「OK」に変わったりしても影響を受けないため、非常に壊れにくい仕組みです。
3. タイムトラベラー（ツール呼び出し/Tool Calling）: 時には、機能をテストするために、偽の状況を設定する必要があります。例えば、ドライバーが承認されるかどうかをテストするには、ドライバーが身分証をアップロードした直後の状態を模倣する必要があります。昔は、これは悪夢でした。DragonCrawlは、アプリの「バックステージ」と直接対話することができます。「おい、このドライバーがたった今承認されたと仮定してくれ」と言うことができ、システムは即座に状態を変化させ、テストを継続できるようにします。これは、監督が「カット！」と叫んで、俳優たちのシーンを瞬時に切り替えるようなものです。

結果：より速く、より賢く、より安く

論文内の数字は非常に印象的です。この新しいシステムが登場する前、エンジニアが単一の機能に対してテストを作成するには、96時間から120時間（つまり数週間の作業！）かかっていました。DragonCrawl V2を使えば、4時間未満でテストをセットアップできます。これは劇的なスピードアップです。

セットアップが非常に速くなったため、チームはテストの数をわずか48個から1,013個へと拡大することができました。彼らはコードが変更されるたびに、これらのテストを自動的に実行しています。システムは驚くほど信頼性が高く、iPhoneでは91.6%、Androidでは**92.2%**の成功率を誇ります。これは、単純なテストで約80%しか成功せず、複雑なテストでは完全に失敗していた旧システムからの大きな飛躍です。

また、この論文は驚くべき副次的効果についても強調しています。それはコストです。超スマートなAIを使用することは、質問に答えるたびに費用がかかるものの、このシステムは実際には会社に莫大な節約をもたらしています。かつて人間が数週間かけて行っていた作業を自動化することで、エンジニアの労力を27年分節約できると推定しています。これは、AIに重労働を任せることで、実質的に27人のスタッフが丸一年間追加で働いているのと同じことです。

なぜこれが重要なのか

「なぜアプリをより良くテストすることが、私に関係あるのか？」と思うかもしれません。では、アプリが何度もクラッシュしたり、購入ができなかったりした時のことを思い出してください。それは通常、アプリが変更された際に、テストがそのミスを検知できなかったために起こります。DragonCrawlはそれを防ぐ助けとなります。あなたがアプリを開いたとき、ボタンが機能し、支払いが通り、目的地までの配車ができることを、あなたがどの言語を話し、どの都市にいても保証してくれるのです。

論文はまた、人々が行う仕事の変化についても述べています。テスターは、単にスクリプトに従うだけの「クリッカー（クリックする人）」ではなく、AIに考え方を教える「コンダクター（指揮者）」へと変化しています。彼らは壊れたテストを修正することに時間を費やすのではなく、新しい機能を構築することに時間を割けるようになります。これにより、テストは退屈で反復的な雑務から、創造的で戦略的な仕事へと変わります。

限界と未来

もちろん、論文はDragonCrawlがまだできないことについても正直に述べています。システムは外部のAIサービスに依存しているため、そのサービスのルールが変わったり、サービスが停止したりすると、テストも停止します。また、実行にはコストがかかるため、現在では小規模な企業には手が届かない可能性があります。また、経路を辿ることには長けていますが完璧ではなく、時には意図したルートとは少し異なるルートを通ることがありますが、システムはそのようなミスを検知するように設計されています。

しかし、主要な教訓は明確です。硬直した、脆いスクリプトを書くという従来のアプリテストの手法は、限界に達しています。アプリはあまりにも複雑で、変化のスピードも速すぎます。DragonCrawlは、ピクセル（画素）ではなく「意図」を理解するためにAIを使用することで、アプリをより徹底的に、より迅速に、そしてより少ない頭痛と共にテストできる未来を築けることを示しています。これは単なる優れたツールではなく、私たちのデジタル世界が正しく機能することをどのように保証するかについての、新しい考え方なのです。