Roomify: Spatially-Grounded Style Transformation for Immersive Virtual Environments

この論文は、物理的な空間の構造と機能性を維持しつつ、AI 駆動のスタイル変換と MR 編集ツールを通じて没入感と空間認識を両立させる仮想環境生成システム「Roomify」を提案し、その有効性をユーザー調査で実証したものである。

要約

Roomify（ルームファイ）：あなたの部屋を魔法の世界に変える「空間の魔法使い」

この論文は、「Roomify（ルームファイ）」という新しいシステムを紹介しています。これは、あなたの実際の部屋を、VR（仮想現実）のゴーグルを装着したまま、好きなテーマ（例えば「ハリー・ポッター」や「パイレーツ・オブ・カリビアン」）の世界に一瞬で変身させる技術です。

でも、ただ部屋を消し去って仮想空間を作るだけではありません。ここが最大の特徴です。

🏠 従来の問題：2 つの極端な選択肢

これまでの VR には、2 つの大きな「ジレンマ（板挟み）」がありました。

1. 完全な没入（イマージョン）型
   • イメージ: 部屋全体がバーチャルな宇宙船や城に変わります。
   • メリット: すごくワクワクする！
   • デメリット: 「あれ？ソファはどこだ？」「壁にぶつかった！」と、現実の家具が見えなくなるので、転んだり怪我をしたりする危険があります。
2. パストラース（透過）型
   • イメージ: ゴーグルのカメラで外の景色をそのまま見せます。
   • メリット: 家具の位置がはっきり見えるので安全。
   • デメリット: 「あ、またゴーグル着けてるな」と現実感が戻ってしまい、魔法の世界にいるようなワクワク感が消えてしまいます。

✨ Roomify の解決策：「空間の魔法」

Roomify は、この 2 つの欠点をなくすために、**「現実の部屋を『空間の容器』として活かす」**というアイデアを使います。

🎭 創造的なアナロジー：「衣装替えの魔法」

Roomify の仕組みを、**「お芝居の衣装替え」**に例えてみましょう。

• 従来の VR（完全仮想）: 舞台（あなたの部屋）ごと消して、全く新しいセット（宇宙船）を建て直します。役者（あなた）はセットの位置がわからず、転びやすくなります。
• 従来の VR（パストラース）: 舞台はそのままですが、役者が「私は宇宙船にいる」と言っているだけです。背景は現実の部屋そのままだから、没入感が薄れます。
• Roomify（この論文の提案）:
  • 舞台（家具）はそのまま: ソファ、テーブル、ドアの**「形」と「場所」**はそのまま残します。
  • 衣装（見た目）だけ変える: ソファは「宇宙船のシート」に見え、テーブルは「魔法の祭壇」に見えます。
  • 結果: あなたは「宇宙船にいる」という感覚（没入感）を味わいつつ、ソファの位置がどこにあるかは身体感覚で理解できるので、安全に動けます。

つまり、**「家具の機能（座れる、置ける）と位置は守りつつ、見た目だけを劇的に変える」**のです。

🛠️ 仕組み：どうやって実現しているの？

このシステムは、4 つのステップで動きます。

1. 部屋のスキャン（写真撮影）:
   Quest 3 という VR ゴーグルで部屋を 30 秒ほど撮影します。AI が「ここは壁、ここはソファ、ここはドア」という地図を作ります。
2. AI による「意味」の理解:
   AI が「このソファは『座る』ためのもの」「この冷蔵庫は『冷やす』ためのもの」という役割を理解します。
3. スタイルの指定:
   ユーザーが「ハリー・ポッター風にして」と言ったり、画像を見せたりします。
4. 魔法の変身（生成）:
   AI が、ソファを「魔法の絨毯の椅子」に、壁を「魔法の書斎」に変えます。
   • 重要: ソファが「椅子」であるという役割は変えず、形も大きく崩さずに、見た目だけをファンタジーにします。

🎮 実際に試してみた結果

研究者は、18 人の一般ユーザーと 8 人のデザイナーにこのシステムを試してもらいました。

• 没入感（ワクワク度）:
  • 従来の「完全仮想」よりも26%、カメラで見る「パストラース」よりも**63%**も高くなりました！
  • 「まるで本当にハリー・ポッターの世界にいるみたい！」と好評でした。
• 空間認識（安全度）:
  • 完全に仮想の部屋に比べ、「どこにソファがあるか」がわかりやすく、転ぶリスクが大幅に減りました。
• クリエイターからの評価:
  • デザイナーたちは「アイデア出しに最高だ」と評価しました。実際の部屋で、どんなデザインになるかすぐに試せるからです。

🌟 何がすごいのか？（まとめ）

Roomify は、「現実の制約（家具の位置）」と「空想の自由（好きな世界観）」を両立させました。

• 安全: 家具にぶつからない。
• 楽しい: 部屋がファンタジーの世界に変わる。
• 簡単: 自分で 3D モデルを作る必要はなく、AI がやってくれる。

これは、VR が「現実から逃げる場所」ではなく、**「現実をより楽しく、安全に彩る場所」**になる可能性を示しています。未来のゲームや映画鑑賞、インテリアのアイデア出しが、この「魔法の部屋」で実現するかもしれません。

技術概要

Roomify: 没入型仮想環境のための空間的基盤を持つスタイル変換システム

技術的サマリー（日本語）

本論文は、物理的な部屋を基盤としつつ、ユーザーの物理空間の構造と機能的意味を維持しながら、テーマに合わせた仮想環境を生成するシステム「Roomify」を提案しています。VR（仮想現実）における「没入感」と「空間認識（安全性）」のトレードオフを解決し、物理空間を単なる制約ではなく、創造的な変換のキャンバスとして活用することを目的としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳述します。

1. 背景と課題 (Problem)

現在の VR 技術には、以下の根本的なジレンマが存在します。

• 完全な没入感: 物理空間を完全に隠蔽する従来の VR は、没入感が高いですが、ユーザーは物理的な家具や壁の位置を失い、転倒や衝突のリスク（空間認識の欠如）が生じます。
• パススルー（透過）: 物理空間をカメラ映像で表示する MR（複合現実）モードは安全性を確保しますが、常時「ヘッドセットを着用している」という意識が働き、没入感を損ないます。
• 既存の解決策の限界: 物理的なオブジェクトを仮想オブジェクトに単純に置換する手法は、柔軟性や個人化が不足しており、あるいは表面のスタイル変更のみで幾何学的な自由度が制限されています。

Roomify の課題解決: 物理空間を「空間的コンテナ（Spatial Containers）」として扱い、家具の機能（座る、収納する、温度調節するなど）と幾何学的な大まかな形状（体積、フットプリント、接触面）を維持しつつ、 Radical なスタイル変換（例：ソファをキャンバスロープソファに変える、エアコンを中世の暖炉に変える）を実現することで、両立を目指します。

2. 手法とシステムアーキテクチャ (Methodology)

Roomify は、物理環境からテーマに沿った仮想環境への変換を行うエンドツーエンドのパイプラインと、MR/VR を組み合わせたクロスリアリティ作成ツールで構成されています。

A. 空間的基盤を持つシーン生成パイプライン (4段階)

1. シーン理解 (Spatial Scene Understanding):
   • Meta Quest 3 のモノクロ RGB 動画を入力として、SLAM3R を用いて高密度の点群とカメラ姿勢を復元します。
   • U-ARE-ME によりマンハッタン軸と重力方向を推定し、構造化された室内モデルと整合させます。
   • SpatialLM を用いて、壁、ドア、家具などの建築要素とオブジェクトを識別し、向き付きバウンディングボックス（OBB）とセマンティック情報を含む構造化 JSON を生成します。これが「空間的足場（Spatial Scaffold）」となります。
2. スタイル抽出とマッピング (Style Extraction and Mapping):
   • ユーザーのテキスト/画像入力を LLM（o4-mini）で処理し、スタイルキーワード（カテゴリ、色、素材、雰囲気）を抽出します。
   • マッピングエージェントが、各オブジェクトに対して「機能的一貫性（Functional Consistency）」、「スタイルの整合性」、「環境的一貫性」、「相互作用の安全性」の 4 つの基準に基づき、変換仕様テーブルを生成します。
3. マルチモーダルコンテンツ生成 (Multi-Modal Content Generation):
   • オブジェクト生成: 最適ビューフレームを選択し、GPT Image でスタイル化された 2D 画像を生成後、Tripo AI で軽量な 3D モデルに変換します（2D-to-3D アプローチ）。
   • 境界要素生成: 壁や床には PBR 素材を生成し、シームレスなタイル化を可能にします。
   • 環境背景生成: 天井の幾何学形状を維持せず、Skybox AI と Kling-v2-1 を用いて動的な空と環境音を含む背景を生成し、空間の開放感を高めます。
4. シーン構成 (Scene Composition):
   • 生成されたアセットを、物理空間の足場に対して精密に位置合わせ（Registration）して統合します。衝突リスクを回避するためのオフセット処理や、スケール調整を行います。

B. クロスリアリティ作成ツール (Cross-Reality Authoring Tool)

• MR モード: 物理空間上でワイヤーフレームの足場を可視化し、ユーザーが直接オブジェクトの位置、回転、スケールを調整したり、スタイルを指定したりできます。生成中のステータス（青：生成中、緑：完了、赤：注意）をリアルタイムで監視できます。
• VR モード: 調整された環境を没入型で体験・プレビューします。
• この双方向ワークフローにより、ユーザーは物理的な制約を維持しつつ、創造的なビジョンを微調整できます。

3. 主要な貢献 (Key Contributions)

1. 空間的基盤を持つ生成パイプライン: 幾何学的保存と機能的整合性を保ちながら、スタイルの多様性を可能にする新しいアプローチ。AI 駆動の空間理解とスタイル認識型 3D 生成を統合。
2. クロスリアリティ作成ツール: MR の空間的基盤性と VR の没入型プレビューを組み合わせ、反復的な部屋規模の変換ワークフローを直感的に制御可能にするツール。
3. 包括的な実証評価: 18 名の一般 VR ユーザーと 8 名のデザイン専門家による 2 つのユーザー調査を通じて、没入感、空間認識、創造的表現力を検証。

4. 評価結果 (Results)

研究 1: 一般ユーザーによる没入感と空間認識の評価 (N=18)

• 比較対象: パススルー（Baseline 1）、完全仮想（Baseline 2）、Roomify（実験条件）。
• 没入感（Presence）: Roomify はパススルーに対して63%、完全仮想に対して**26%**の改善を示しました（Roomify: 5.94/7）。
• 空間認識: パススルーに次いで高く、完全仮想よりも有意に優れていました。ユーザーは「ソファがどこにあるか（現在はアンティークソファとして）」を理解できていました。
• ナビゲーション: 財宝探しタスクにおいて、完全仮想よりも早く完了する傾向があり、衝突事故も完全仮想より少なかったです。
• 結論: 物理空間を仮想体験に統合することで、安全性を損なわずに没入感を最大化できることが示されました。

研究 2: デザイン専門家によるプロトタイピング評価 (N=8)

• 比較対象: AI リテクスチャリング、テキスト-to-3D 生成、Roomify。
• シーン品質: Roomify は5.95/7（AI リテクスチャリング: 3.41、テキスト-to-3D: 4.50）と最高評価。
• 創造的支援: 6.08/7と高く、専門家からは「機能性を維持したまま劇的なスタイル変換が可能」と評価されました。
• 機能的整合性: エアコンが暖炉に、冷蔵庫が樽に変わるなど、オブジェクトの「役割（座る、収納する、温度調節する）」を維持しつつ、テーマに合わせた変換が成功していることが確認されました。

5. 意義と将来展望 (Significance & Future Work)

• 没入感と安全性の両立: Roomify は、物理空間を「避けるべき障害物」ではなく「物語の一部」として再定義し、VR 体験の質を飛躍的に向上させます。
• 応用分野: 家庭用エンターテインメント（ゲーム、映画鑑賞）だけでなく、インテリアデザインのプロトタイピング、クライアントへのプレゼンテーション、メディア制作（ストーリーボード）など、幅広い専門分野での活用が期待されます。
• 限界と課題: 現在の生成 AI の限界により、幾何学的なハルシネーション（形状の歪み、アスペクト比の変化など）が発生することがあります。しかし、MR による手動調整機能でこれを補完しており、基盤モデルの進化（例：Gemini 3 Pro Image のような新モデル）とともに改善が見込まれます。
• 動的環境への対応: 現在のシステムは静的な環境を前提としており、動的な要素（人、ペット）への対応や、力覚フィードバックの完全なモデル化は今後の課題です。

総括:
Roomify は、生成 AI と空間認識技術を融合させることで、物理空間と仮想空間の境界を曖昧にしつつ、両者の長所（安全性と没入感）を最大化する新たなパラダイムを提示しました。これは、将来的なメタバースや XR 体験の設計において重要な指針となる研究です。