Building a cross-platform WebXR heritage application from a drone survey using a language model

過去を守ることは、常に時間と腐朽との戦いでした。何世紀もの間、歴史家や建築家は、建物が崩壊したり変化したりする前の姿を捉えるために、図面、写真、そして記録文書に頼ってきました。今日、テクノロジーはこの取り組みに強力な新しいツールをもたらしました。それが高解像度スキャンです。ドローンによる数千枚の重なり合う写真や、地上からのレーザーを用いることで、専門家は今や、古代遺跡の極めて詳細な3次元モデルを構築することができます。これらの「デジタルツイン」は、日干しレンガの壁の質感や石造りのアーチの曲線さえも示すほど正確です。しかし、これらの静的なモデルを作成することと、それを一般の人々が探索できるような、生きたインタラクティブな体験へと変えることの間には、依然として大きな隔たりがあります。従来、その溝を埋めるには、複雑なコードを書くソフトウェアエンジニアのチームが必要でしたが、多くの遺産保護団体はそうしたスキルセットを持っていませんでした。その結果、捉えられた多くの遺跡は、本来守られるべき人々に見られることなく、単なるデータファイルとして眠ったままになっています。

新しいアプローチは、この参入障壁がこれまで考えられていたよりも低い可能性があることを示唆しています。一行ずつコードを書く代わりに、専門家は自分がアプリケーションに何をさせたいかを自然な言葉で記述し、人工知能にソフトウェアを構築させるのです。この手法は、しばしば「バイブ・コーディング（vibe coding）」と呼ばれ、技術的な構文から、望ましい成果物へと焦点を移すものです。問いは、プログラミングの背景を持たない人物が、このツールを使用して、現実世界の遺産サイトのための信頼できるクロスプラットフォーム・アプリケーションを作成できるのか、そして、そのソフトウェアが実際のデバイスでテストされたときに何が起こるのか、という点にあります。

最近の研究において、研究者たちは、ゲームプログラミングの経験がない遺産専門家が、サウジアラビアのサドゥス遺産村のための完全なインタラクティブ・アプリケーションを作成した過程を記録しました。リヤドから北西に約70キロメートルに位置するこの村は、ナジュド建築として知られる伝統的な様式である、日干しレンガで作られた城壁に囲まれた集落です。この遺跡には二つの状態が存在します。屋根と壁が修復された西側セクションと、屋根のない廃墟となった東側セクションです。研究者はまず、村の上空をドローンで飛行し、10,213枚の画像をキャプチャして、エリアの精密な3Dマップを作成しました。このデジタルモデルは0.160平方キロメートルをカバーし、1ピクセルが地上で1センチメートル未満というレベルの詳細度を備えています。

3Dモデルの準備が整うと、研究者は言語モデル（自然言語でコンピュータコードを生成できる一種の人工知能）へと移行しました。研究者はコードを一行も書いていません。代わりに、ディレクターのように振る舞い、アプリケーションに期待する挙動を自然言語で記述しました。研究者は、ユーザーに何が見えるべきか、どのように村の中を移動すべきか、どのようなインタラクションが発生すべきかをAIに伝えました。例えば、プレイヤーが廃墟となった建物をスキャンすると、ホログラフィックな再構築がトリガーされ、建物が修復された状態の姿を示すというゲームプレイの仕組みを記述しました。この設計上の選択は単なる視覚的なトリックではありませんでした。プレイヤーが現在の廃墟の状態と、仮説に基づいた修復状態を切り替えられるようにすることで、事実と解釈の違いを可視化したのです。AIは、これらの口頭での指示に基づき、キャラクターの移動ロジック、階段を登るための物理演算、そして伝統的なコーヒーの儀式に関するダイアログを含む、アプリケーション全体を生成しました。

最終的な成果物は、サイズが約34メガバイトの単一のファイルであり、デスクトップコンピュータ、Androidスマートフォン、iPhone、およびVRヘッドセット上で、インストールやサーバー設定なしで動作することができました。アプリケーションは、プレイヤーを村の門への到着、屋根の上を歩くこと、構造物の記録、そしてコーヒーの焙煎と提供を伴う文化的儀式への参加といった一連のタスクへと導きます。特にコーヒーのシークエンスは注目に値します。なぜなら、それはプレイヤーに、右手で注ぐ、カップを4分の1程度までしか満たさないといった特定の社会的ルールに従うことを要求し、テキストではなく行動を通じて習慣を教えるものだからです。

しかし、このプロセスは重大な課題なしには進みませんでした。AIはコードを生成することはできましたが、そのコードが異なる物理デバイス上でどのように振る舞うかを常に予測できたわけではありません。研究者たちは、開発およびテスト段階で発生した27の明確な問題を記録しました。そのうち10の問題は、アプリケーションがモバイル電話やVRヘッドセットなどの物理デバイス上で実行されたときに初めて明らかになったもので、AIが作業していたコンピュータ環境では検出できませんでした。例えば、VRヘッドセットでは、AIがデバイスが標準的なコンピュータブラウザのように動作することを前提としていたため、アプリケーションがコントローラーの入力に反応しないことがありました。同様に、他の5つのエラーは純粋に文化的なものでした。AIは、コーヒーを出す際の不適切な方法や不適切なキャラクターの動きなど、その地域の実際の伝統と一致しない挙動をプログラミングしていました。これらの文化的な間違いは、地域の遺産に関する深い知識を持つ人間の専門家がアプリケーションをレビューしたときに初めて発見されました。

この研究は、ソフトウェアを作成することと、それを検証することの間の決定的な違いを浮き彫りにしています。AIはコードの作成には成功しましたが、自分自身の仕事を完全にテストすることはできませんでした。AIが書いた自動テストはすべてのチェックを通過しましたが、アプリケーションには特定のデバイスで体験を損なうバグが含まれていました。これは、人工知能がコードを書くという重労働をこなすことはできても、検証の責任は依然として明確に人間に残っていることを示唆しています。遺産専門家は、アプリケーションを注意深く観察し、あらゆる種類のデバイスで実行し、文化的および歴史的な詳細が正確かどうかを判断するスキルを依然として備えていなければなりません。

研究者たちは、この新しい開発手法が可能であることを発見しましたが、それは専門知識を不要にするのではなく、仕事の性質を変えるものであると結論付けました。専門家はプログラミングを学ぶ必要はありませんでしたが、AIが修正できるように、何が間違っているのかを正確に記述できる厳格な観察者になる必要がありました。また、研究はこのようなアプリケーションの長期的な保存についても懸念を提起しました。コードはAIによって生成されており、人間の作成者には理解されていないため、将来のアップデートや修理は、同様の人工知能システムへのアクセスに依存することになります。さらに、アプリケーションは「建物がどのように修復されたか」といった過去に関する解釈的な主張を行うため、研究は、歴史的な誠実さを維持するために、これらの主張を物理的な証拠と明確に区別しなければならないことを強調しています。

結局のところ、このプロジェクトは、遺産の専門家がソフトウェアエンジニアのチームなしで、洗練されたインタラクティブな体験を構築できることを証明しています。アプリケーションは複数のプラットフォーム上で正常に動作し、ユーザーがサドゥス村を探索し、その歴史に触れる新しい方法を提供しました。しかし、この結果に至る道は、慎重な人間の監視によって築かれました。AIは道具を提供しましたが、人間は、最終製品が機能的であり、かつ表現している歴史に対して真実であることを保証するために必要な、判断力、文化的文脈、そして批判的な眼を提供したのです。このアプローチは、人間の役割がコードを書くことから、ソフトウェアが語る物語を厳格にテストし検証することへとシフトする限りにおいて、遺産を保存し共有するための有望な道を示しています。