Autonomous robotic photography as a creative urban service

技術要約：創造的な都市サービスとしての自律型ロボット写真撮影

問題提起
自律型サービスロボットは、物流や点検といった実用的なタスクへの導入が進んでいる一方で、文化的・レクリエーション的な活動における役割については未だ十分に探索されていない。自律型ロボット写真撮影は、独自の課題を提示している。それは、美的な判断（主観的かつ創造的なプロセス）と、動的な公共空間における安全で適応的な物理的操作を同時に統合する必要があることである。既存のロボット写真撮影システムは、通常、美的な評価と物理的な制御を分離しているか、あるいは定義済みの幾何学的な経路に依存しており、参加者の動き、ポーズの変化、背景のダイナミクスに対してロボットが継続的に適応しなければならない「能動的センシング」としての写真撮影の性質に対処する能力には限界がある。さらに、現在のシステムは、同意、安全性、および（オンサイトでの印刷などの）形のあるサービスの提供といった、参加者向けの完全なワークフローを欠いていることが多い。

手法：LEAPシステム
著者らは、学習された美的なルールと安全なナビゲーションの間の溝を埋めるために設計された、教師ありロボット写真撮影システムであるLEAP (Learning Embodied Aesthetics for Photography) を提案する。本システムは、階層的なクローズドループ・アーキテクチャを採用している：

1. データ収集と表現：

   • 著者らは、モーションキャプチャ装置を用いて専門のフォトグラファーと共に収集された、50種類の異なる被写体ポーズにわたる864の高精度なビデオ・アクション・シーケンスからなる、新しい実世界軌跡データセットをキュレートした。
   • 視覚的表現： 生のRGB画像のみに頼るのではなく、LEAPは、骨格キーポイント（身体構成用）、前景セグメンテーションマスク（被写体の境界用）、および非線形正規化された相対深度マップからなる複合的な表現を抽出する。この抽象化により、照明、衣服、テクスチャの変化に対する感度が軽減され、未学習の環境への転移が容易になる。

2. 学習フレームワーク（条件付きフロー・マッチング）：

   • 写真撮影のマルチモーダルな性質（複数のカメラの動きが等しく妥当な構図を生み出し得る性質）を扱うため、LEAPは条件付きフロー・マッチング (Conditional Flow Matching: CFM) を使用する。
   • モデルは、視覚的な観察を条件として、初期のガウスノイズサンプルから専門家の軌跡デモンストレーションへとマッピングするベクトル場を学習する。これにより、システムは単一の決定論的なアクションに平均化されるのではなく、多様で妥当なカメラパスを生成することが可能になる。
   • ポリシーは、現在のフレームに対する4自由度（平面上の $x, y$、ヨー、ピッチ）の$H$ステップのウェイポイント・シーケンスを予測する。

3. 階層的実行：

   • 高レベル（美学）： CFMモデルは、将来のウェイポイントの軌跡を予測する。
   • 低レベル（ナビゲーション）： 高速な幾何学的プランナー（FAST-LIO2を用いたオドメトリと、動的障害物との衝突回避を保証するDynamic Window Approachを使用）が、次のウェイポイントを実行する。
   • クローズドループ制御： システムは「知覚・計画・実行」のサイクルで動作する。部分的な軌跡を実行した後、ロボットはシーンを再観測する。参加者が移動したり、障害物回避によって経路が変更されたりした場合、モデルはロボットの新しい実際の位置からターゲットを修正する。ループは、予測された動きがゼロに収束したときに終了し、シャッターを切る。

4. サービス・ワークフロー：

   • システムは、セッションの開始、同意、自律的な視点調整、画像キャプチャ、オンサイトでの印刷（携帯型Canonプリンター経由）、およびデリバリーを含む完全なサービス・ワークフローに組み込まれている。人間のスタッフが安全性を監督し、インタラクションを処理するが、カメラ制御とナビゲーションは自律的である。

主な貢献

• 初のリアルワールド写真データセット： 参加者向けの写真を対象とした、専門家による修正動作や代替ルートを捉えた、視覚と行動のペアとなるデータセットの導入。
• クローズドループ的美的制御： 学習された美的ポリシーとリアルタイムの衝突回避を統合したシステムであり、参加者の動きや環境の変化に応じて継続的な再構成を可能にする。
• 堅牢な視覚的表現： 骨格キーポイント、相対深度、および前景マスクを組み合わせることが、未学習の屋内および屋外の設定において、生のRGBや部分的な特徴量よりも大幅に優れていることを実証した。
• エンドツーエンドの都市サービス： 開始から印刷によるデリバリーまでの全ワークフローをカバーする、3つの異なる都市コンテキスト（公園、高齢者施設、キャンパス）に展開された、完全自律型のロボット写真撮影サービスの初のデモンストレーション。

結果
システムは、3つの監督された都市展開と30の制御された写真タスクを通じて評価された：

• 運用の実現可能性： 3つの都市展開（深圳人材公園、高齢者センターのイベント、およびキャンパス・オリエンテーション）において、LEAPは衝突やフレーミング不全を起こすことなく、**71セッション（計14時間）の100%**を完了した。45人のユニークな参加者にサービスを提供した。
• 写真の品質： 2つのベースライン――BTS（二足歩行トーリック空間、半自律的な幾何学的手法）およびVS-RoT（三分割法を用いたビジュアルサーボイング、ルールベース）との比較制御実験において、LEAPは以下を達成した：
  • 計算的な美的スコア（VENおよびCLIPベースの指標）において9.7～19.8%高い数値を記録。
  • ブラインドテストによる人間による美的評価において、ベースラインと比較して8.1～24._5%高い数値を記録。
  • VS-RoTは（明示的な最適化を行っているため予想通り）三分割法（RoT）の遵守率で最高値を記録したが、LEAPは「視線の抜け（gaze room）」のような微細なパターンを含む、制約のあるプロのフォトグラファーの参照モデルに近い構図を生成した。
• 転移と適応： LEAPは、未学習の屋内および屋外の場所に正常に汎化し、様々な参加者のポーズ（立位、座位、しゃがみ、臥位）に適応した。また、劣化した視点から回復し、同じ初期条件から多様なフレーミング・タイプを生成する能力を示し、従来の手法に見られた「単一の固定フレーミング」の限界を回避した。

意義と主張
著者らは、LEAPが**「アクセシブルでインタラクティブ、かつ文化的に意味のある都市サービス」としての自律型ロボット写真撮影の実現可能性**を実証していると主張している。

• 実用主義を超えて： 本研究は、ロボットが輸送や点検を超えて、創造的かつ体験的なサービスをサポートできることを主張しており、人々がカメラ操作に気を取られることなく、都市生活を記録し共有することを支援する。
• サービスレベルの統合： 技術的なパフォーマンス（美的スコア）だけでは不十分であり、参加者の入場、安全性、同意、および形のある出力（印刷）を扱う堅牢なサービス・ワークフローが必要であることを強調している。
• クローズドループの必要性： 美的な判断と物理的な制御を分離すると、動的な環境下での性能が制限されるという結果は、堅牢な運用のために、繰り返し構図を観察し修正するクローズドループ・システムが不可лоであることを支持している。
• 限定的な範囲： 著者らは、現在のシステムが安全性と開始のために人間の監督に依存していること、照明や表情について明示的に推論していないこと、および限られた数のサイトでテストされていることを挙げ、限界を認めている。これらは、完全に成熟した商業製品というよりも、創造的な都市サービスの新しいモダリティとしての概念実証として本研究を位置づけている。