論文要約：Pepper ロボットにおける低遅延・LLM 駆動のマルチモーダル相互作用のためのフレームワーク

1. 概要

本論文は、社会性ロボット（特に Pepper）における大規模言語モデル（LLM）の統合における既存の課題を解決するための、オープンソースの Android フレームワークを提案しています。著者らは、従来のパイプライン構造が抱える「高遅延」と「パラリンギスティック情報（副言語情報）の欠落」、そして「LLM の能動的制御能力の未活用」という 2 つの主要な障壁を克服するため、エンドツーエンドの音声対話モデルと高度な関数呼び出し（Function Calling）機能を統合した新しいアーキテクチャを構築しました。

2. 背景と問題点

近年の LLM の発展により、社会性ロボットとの対話はスクリプト型から自然な文脈依存型へと進化しましたが、実装には以下の 2 つの重大な課題が残っていました。

1. 高遅延とパラリンギスティック情報の喪失:
   • 従来の実装は、音声認識（STT）→ LLM 応答生成 → 音声合成（TTS）という逐次的なパイプラインに依存しています。
   • この構造により、各処理段階で遅延が蓄積され、システム応答時間が 3.84〜8.96 秒に達することがあります（自然な会話には 1〜2 秒が望ましいとされます）。
   • また、音声をテキストに変換する過程で、イントネーション、感情、リズムなどのパラリンギスティックな情報が失われ、自然で共感的な相互作用が阻害されます。
2. マルチモーダル知覚と能動的制御の不足:
   • 多くの実装は、LLM を単なる対話生成器としてしか利用していません。
   • 具象化された AI（Embodied AI）を実現するには、LLM が抽象的な指示を具体的な動作（移動、視線制御、タブレット操作など）に変換し、視覚や触覚などのセンサーフィードバックを統合して自律的に行動を計画・実行する必要があります。

3. 提案手法とアーキテクチャ

本フレームワークは、Pepper ロボットのタブレット上でネイティブに動作する Android アプリケーションとして実装されており、以下の 2 つの主要な革新によって上記の課題を解決します。

3.1 エンドツーエンドの音声対話（Speech-to-Speech: S2S）モデルの統合

• 低遅延化: 従来の STT/LLM/TTS のカスケード構造を廃止し、OpenAI、Azure、x.ai、Google などのプロバイダーから提供されるエンドツーエンドの S2S モデルを直接統合しました。これにより、音声入力を直接処理し、応答を音声としてストリーミングするため、遅延が大幅に削減されます。
• パラリンギスティック情報の保持: S2S モデルは、ユーザーのイントネーションや感情を直接解析し、それに応じたトーン、テンポ、イントネーションを生成します。これにより、機械的な読み上げではなく、文脈に適した自然な発話が可能になります。
• デュプレックス通信の適応: Pepper のエコーキャンセレーション機能の欠如により、音声出力中はマイクをミュートしますが、ユーザーが画面のステータスキャプセルをタップすることで即座に割り込み（Barge-in）が可能であり、双方向の対話体験を維持しています。

3.2 LLM を「エージェントプランナー」として機能させる関数呼び出し（Function Calling）

• 自律的な行動オーケストレーション: LLM は単なる対話だけでなく、事前に定義されたツール（関数）を自律的に選択・実行するエージェントとして機能します。
• 多様なツールの統合:
  • ナビゲーション: 移動や床面マッピング。
  • マルチモーダル相互作用: 視線制御（look_at_position）、ビジョン分析（analyze_vision）。
  • 情報検索: ウェブ検索、天気、日時。
  • インタラクティブエンターテインメント: ゲーム、ジョーク、音楽再生など。
• 例: ユーザーが「天井に何が見えますか？」と質問すると、LLM はまず視線を上に動かすコマンドを実行し、次にカメラで画像を撮影して S2S バックエンドに送信し、画像を解析して回答を生成する多段階のシーケンスを自律的に実行します。

3.3 マルチモーダル知覚とコンテキスト統合

• 視覚: 連続ストリーミングではなく、イベント駆動型で必要な時に画像をキャプチャし、S2S モデルに直接渡して解析させます。
• 触覚: 頭部、手、バンパーのタッチセンサーからの入力をコンテキストとして LLM に送信し、物理的な接触に対する社会的に適切な反応を生成させます。
• 人間知覚: Pepper のヘッドコンピュータ上でローカルに動作する YuNet/SFace ベースの顔認識システムを統合し、人物の追跡や認識イベントに基づいて AI の反応をトリガーします。
• システム状態: 充電フラップの開閉や障害物による移動失敗などのシステム状態を LLM に通知し、失敗原因の推論などを可能にします。

3.4 実装の柔軟性と移植性

• Android ネイティブ実行: 外部コンピュータやブリッジソフトウェアを必要とせず、Pepper のオンボードタブレットまたは一般的な Android スマートフォン/タブレットで動作します。
• ビルドフレーバーシステム: pepper フレーバー（QiSDK を使用）と standalone フレーバー（標準 Android API を使用）の 2 つの構成により、ハードウェアに依存しないコアロジックと、デバイス固有の実装を分離しています。これにより、開発者は物理ロボットがなくてもプロトタイピングが可能です。

4. 結果と評価

• パフォーマンス: 従来のパイプラインに比べ、応答時間が大幅に短縮され、より滑らかなリアルタイム対話が実現されました。
• 機能性: 視覚分析や触覚フィードバックを統合した複雑なタスク（例：「天井を見て何かを説明する」）を LLM が自律的に計画・実行できることが実証されました。
• 可用性: MIT ライセンスの下でオープンソース化され（GitHub: studerus/pepper-android-realtime-chat）、包括的なドキュメントとセットアップ手順が提供されています。

5. 意義と貢献

1. HRI 研究の加速: Pepper ロボット向けの公式サポートが不透明な状況（Aldebaran の清算など）において、研究者が最新の LLM 機能を迅速に実装・実験できる実用的なプラットフォームを提供しました。
2. 低遅延・高品質な対話の実現: S2S モデルの導入により、パラリンギスティック情報を保持した自然な音声対話を実現し、人間とロボットの間の共感的な相互作用を可能にしました。
3. エージェント型ロボティクスへの道筋: LLM を単なるチャットボットではなく、センサーとアクチュエータを制御する「エージェントプランナー」として機能させるアーキテクチャを確立し、他のロボットプラットフォームへの応用可能性を示しました。
4. 開発の民主化: 高価なロボットハードウェアがなくても、Android スマートフォンで同様のロジックを開発・テストできる仕組みにより、HRI 研究の参入障壁を下げました。

6. 限界と今後の展望

• リップシンク: Pepper は可動する唇を持たないため、 Furhat などのロボットのようなリップシンク機能は実装されていません。
• クラウド依存: S2S モデルや検索機能はクラウド API に依存しており、ネットワーク状況による遅延やデータプライバシーの課題があります。
• 検証範囲: 現在の検証は Pepper プラットフォームに限定されていますが、アーキテクチャは他の Android ベースのヒューマノイドロボットへの移植が可能です。

本フレームワークは、社会性ロボットにおける LLM 駆動のマルチモーダル・エージェント型相互作用の実現に向けた重要な一歩であり、コミュニティによるさらなる拡張と応用を促す基盤となっています。