From Vocal Instructions to Household Tasks: The Inria TIAGo++ in the euROBIN Service Robots Coopetition

以下は、提示された論文「From Vocal Instructions to Household Tasks: The Inria TIAGo++ in the euROBIN Service Robots Coopetition」に基づく詳細な技術的サマリーです。

1. 問題定義 (Problem)

本論文は、2024 年 11 月にフランス・ナンシーで開催された「1st euROBIN コペティション（協力型競技）」における、インリア（Inria）チームのサービスロボットシステム開発を報告するものです。

• 課題: 家庭環境（特にキッチン）において、音声コマンドを理解し、複雑な家事タスク（物の移動、人物への手渡しなど）を自律的に実行するサービスロボットの構築。
• 技術的ハードル:
  • 実験室とは異なる実環境での堅牢なナビゲーション、物体把持、および人間とのインタラクション。
  • 曖昧な自然言語指示を、ロボットの動作プランに変換する信頼性と速度の両立。
  • 自律動作の失敗時の対応と、新しい状況への適応。
  • 限られた計算リソースとリアルタイム性を要求されるシステム統合。

2. 手法とシステム構成 (Methodology)

Inria チームは、改修された TIAGo++ ロボット（全方向移動ベース搭載）を用い、ハードウェアとソフトウェアを統合したシステムを開発しました。主要な構成要素は以下の通りです。

A. 運動制御 (Whole-Body Control, WBC)

• 基盤: CartesI/O フレームワークと OpenSoT ライブラリに基づく最適化ベースの全身制御スタックを使用。
• 機能: 両腕、胴体、全方向移動ベースを協調制御。関節の位置・速度制限や自己衝突回避を考慮しつつ、ユーザーレベルの直交座標参照を関節空間コマンドに変換。
• 実装: 250Hz で動作する ROS ノードとして実装され、QP（二次計画）問題を 1-2ms で解くことでリアルタイム性を確保。

B. 遠隔操作 (Teleoperation)

• 目的: 自律動作失敗時のフォールバック、および熟練者のデモンストレーション記録。
• ハードウェア: Aloha プロジェクトに着想を得た低コストのマスターアーム（Dynamixel アクチュエータをエンコーダとして使用）と、ゲームパッド、Stream Deck XL。
• 特徴: 7 自由度のマスターアームにより、ロボットの 6 自由度の姿勢とグリッパ操作をマッピング。3 つのカメラ（手首 2 台、胴体 1 台）からの映像を UDP/GStreamer パイプライン経由で低遅延（30-40ms）でストリーミング。

C. 知覚と物体操作 (Perception & Manipulation)

• 物体姿勢推定: AprilTag マーカーと RGB-D カメラ（Orbbec Femto Bolt）を使用。深度情報を用いて 3D 位置・姿勢を計算し、ロボットのベース座標系に変換。
• 物体中心の操作スキル: 遠隔操作で記録したエンドエフェクタの軌跡とグリッパ動作を、対象物体の AprilTag 座標系に変換して保存。実行時には検出された物体の姿勢に基づき軌跡を変換・再生することで、物体の配置変動に頑健なタスク実行を実現。
• 人間追跡: YOLOv3 と ViTPose を用いた人間検出・姿勢推定、6DRepNet を用いた頭部姿勢推定により、ロボットを見ている（注視している）人物を特定し、手渡しタスクのターゲットとして選択。

D. ナビゲーション

• 環境地図の構築を避け、AprilTag や追跡された人間を参照フレームとした MoveBaseAction によるオフセット移動を採用。LiDAR と組み合わせた簡易な障害物検知とターゲット探索（その場で回転してマーカーを検出）を行う。

E. LLM による計画生成 (LLM-based Plan Generation)

• パイプライン: 音声認識（Faster-Whisper）→ 自然言語理解・計画生成（Llama-3.1-8B-Instruct）→ 構造化出力（JSON）。
• 特徴:
  • システムプロンプトと数回学習（few-shot）を用いて、曖昧な指示から構造化されたタスクプランを生成。
  • 「思考の連鎖（Chain-of-Thought）」フィールドを含め、計画の論理的整合性を確保するとともに、ユーザーへの説明（TTS）に活用。
  • llama-cpp を使用して文法ベースのトークンサンプリングを行い、JSON 出力の構文エラーやハルシネーションを防止（100% 構文準拠）。
  • 生成された JSON プランは、FSM（有限状態機械）を動的に構成するために使用される。

F. システム統合

• ミドルウェア: ROS Noetic を使用。
• 実行環境: Docker コンテナで各モジュール（WBC、知覚、ナビゲーション、LLM 推論など）を分離・実行。LLM 推論は外部の GPU 搭載マシンにオフロード。
• オーケストレーション: smach ライブラリを用いて FSM を構成。LLM から得られたプランに基づき、pick、place、go_to、handover などのサブ FSM を連結して実行。

3. 主要な貢献 (Key Contributions)

1. オープンソース化された統合システム: 音声指示から家事タスク実行までの完全なパイプライン（WBC、遠隔操作、LLM プランナー、知覚モジュール）をオープンソースとして提供。
2. カスタム遠隔操作デバイスの設計: 低コストかつ高精度な双腕遠隔操作インターフェースの設計と実装。
3. LLM とロボティクスの堅牢な統合: 自然言語を構造化された実行可能プラン（JSON）に変換し、FSM を動的に生成するアプローチの実証。
4. 実環境でのデプロイ: 実験室環境ではなく、実際の競技会（コペティション）という不確実な環境でのシステム統合と動作の検証。

4. 結果 (Results)

euROBIN コペティション（サービスロボットリーグ）での実績：

• 言語理解: 7 回の試行すべてで音声コマンドの解釈と計画生成に成功（7/7）。
• ナビゲーション: 構造化された環境（AprilTag あり）では 17/18 の成功率。
• 操作タスク: 全体で 12/15 の成功。
  • 遠隔操作介入時：10/13 成功。
  • 完全自律時：2/2 成功。
• 課題: 物体の姿勢推定（AprilTag 依存）は、物体の配置が不規則な場合や乱雑な環境では精度が低下（3 回中 1 回成功）。ナビゲーションは環境にマーカーを貼る必要があり、拡張性に課題が残る。

5. 意義と将来展望 (Significance & Future Work)

• 実用性の証明: 自然言語による指示で家庭内タスクを実行するサービスロボットの技術的実現可能性を示し、特に LLM を活用した柔軟な計画生成の有効性を実証した。
• 学習データの収集: 遠隔操作によるデモンストレーション記録パイプラインは、拡散モデル（Diffusion）やフローマッチング（Flow Matching）を用いたより汎用的な操作ポリシーの学習データセット構築の基盤となる。
• 今後の方向性:
  • 知覚・ナビゲーションモジュールの高度化（マーカー依存からの脱却、最先端の物体追跡技術の導入）。
  • 実行フィードバックを取り入れた適応的再計画（LLM プランナーの拡張）。
  • 遠隔操作インターフェースの C++ 実装によるパフォーマンス向上。
  • 異なる物体や環境への一般化能力の向上。

本論文は、AI（特に LLM）とロボティクス（制御、知覚、遠隔操作）を統合し、実世界での複雑なタスクを遂行するための包括的なフレームワークを提供した点で、家庭用サービスロボットの発展に重要な寄与を果たしています。