Directing the Robot: Scaffolding Creative Human-AI-Robot Interaction

本論文は、ロボットと人間の協働を単なる効率化や自律ではなく、人間が意図を定義し AI が仲介することで創造性を支える「足場（スキャフォールディング）」として再定義し、教育や芸術など開かれた環境における人間中心の対話的アプローチを提案しています。

要約

🎬 核心となるアイデア：ロボットは「俳優」、人間は「演出家」

これまでのロボット研究は、「いかにロボットを賢くして、人間の手を離れさせて効率よく仕事をするか」に焦点が当てられていました。まるで、ロボットが**「完璧な主演俳優」で、人間はただ「監督（あるいは観客）」**として見ているだけのような関係です。

しかし、この論文はこう言います。
「ロボットを『完璧な主演』にするのではなく、人間が『演出家（ディレクター）』になって、ロボットという『多才な俳優』を自由に使いこなす時代が来たのではないか？」

ここで登場するのが**「足場（Scaffolding）」**という概念です。
建設現場で、ビルを建てるために仮設の足場を組むように、AI は人間がロボットを自由に動かすための「足場」を提供します。

• 人間（演出家）： 「もっと感動的に！」「ここは急に止まって！」と意図や方向性を決めます。
• AI（足場/翻訳者）： 人間の曖昧な指示（「もっと躍動感を出して」など）を、ロボットが実際に動くための具体的な命令に翻訳し、調整します。
• ロボット（俳優）： 人間が決めた意図通りに、身体を動かして表現します。

🎭 4 つの具体的なシナリオ（図 1 の例え）

論文では、この「演出家と俳優」の関係がどう機能するか、4 つの例で示しています。

1. アイデアの補助（Scaffolding Inspiration）

   • 例え： あなたが「ロボットにダンスを踊らせてみたい」と思っても、具体的な動きが思い浮かばないとき。
   • 仕組み： 人間が少しだけ手を動かして見せると、AI がそれを補完して、滑らかで美しいダンスに仕上げます。人間は「こんな雰囲気」というアイデアを与え、AI が技術的な完成形を作ります。

2. 即興演奏のサポート（Scaffolding Adlibs）

   • 例え： ピアノを弾く人間と、ロボットが一緒にジャズを演奏する場面。
   • 仕組み： 人間が即興でメロディを変えると、AI がその変化を瞬時に察知して、ロボットもそれに合わせて即興で伴奏を加えます。人間が「リード」し、ロボットが「ついてくる」のではなく、人間が方向性を示し、AI がそれをリアルタイムで形にするという関係です。

3. チームワークの調整（Synchronizing Performance）

   • 例え： 空を飛ぶドローンと、地面を走るロボットの共同パフォーマンス。
   • 仕組み： 人間が「ここでドローンが飛び上がり、ロボットがそれを受け止める」という大まかなシナリオだけを与えます。細かいタイミングや衝突回避は AI が調整し、人間は「もっとドラマチックに！」と演出を指揮します。

4. 緊急時のサポート（Winging Support）

   • 例え： 災害現場などで、時間がない中でロボットを動かす場合。
   • 仕組み： 人間が「あそこを調べて！」と慌てて指示を出しても、AI がそれを安全に実行可能な形に変換します。人間は「マクガイバー（即興で道具を組み立てて問題を解決するヒーロー）」のように直感で指示を出し、AI がそれを安全に実行する足場になります。

🌟 この考え方が素晴らしい 3 つの理由

1. 「人間が主役」であること

   • AI が勝手に判断するのではなく、人間が「何を伝えたいか」「どう動かしたいか」という**意図（クリエイティブな魂）**を持ち続けます。ロボットは単なる道具ではなく、人間の表現を助けるパートナーになります。

2. 「完璧さ」より「流れ（Flow）」を重視する

   • 従来のロボットは「間違えないこと」が重視されていましたが、この新しい考え方では「人間とロボットがスムーズにやり取りできること」が重要です。指示が少し曖昧でも、AI が補って**創作の勢い（フロー）**を止めないことが大切だとされています。

3. 評価基準が変わる

   • 「作業がどれだけ速かったか」ではなく、「人間がロボットを操っている感覚（主体性）を持てたか」「一緒に何かを創っている楽しさ」を評価するようになります。

🔮 今後の課題と未来

もちろん、まだ解決すべき問題もあります。

• 複数のロボットを同時に指揮する時： 人間が「ドローンとロボット、両方動いて！」と指示したとき、AI がそれをどう分配するか。
• 緊急時： 人間が「とにかく動け！」と指示したとき、AI が安全と責任のバランスをどう取るか。

📝 まとめ

この論文は、**「AI に全て任せる（自動化）」という考え方から、「AI を使って人間がより自由に創造する（支援）」**という考え方へ、ロボット社会の方向転換を提案しています。

ロボットは、私たちが「何を作りたいか」を決める演出家のアイデアを形にするための、最高のアシスタントになるべきだ、というのがこの論文のメッセージです。

技術概要

論文要約：「ロボットを指揮する：創造的な人間・AI・ロボット相互作用のための足場（Scaffolding）」

論文タイトル: Directing the Robot: Scaffolding Creative Human–AI–Robot Interaction
著者: Jordan Aiko Deja, Isidro Butaslac III, Nicko Reginio Caluya, Maheshya Weerasinghe
掲載: The 3rd InterAI Workshop at CHI 2026

1. 背景と問題提起 (Problem)

ロボットは従来の産業環境から、教育、公共空間、創造的実践へと進出しており、人間との相互作用はより開かれた（open-ended）かつ即興的な（improvisational）ものへと変化しています。しかし、現在の人間・AI・ロボット相互作用の多くは、「効率性」や「自動化」を最優先する設計パラダイムに縛られています。

この現状には以下の問題点があります：

• 人間の役割の矮小化: 人間は単なる「監督者（supervisor）」や「最終ユーザー」として位置づけられ、意思決定権や解釈的な制御（interpretive control）がシステムに委譲されがちです。
• 創造性の制限: 効率や自律性を追求するあまり、人間の意図（intent）の豊かさや、表現的・教育的・即興的な文脈における能動的な関与が損なわれています。
• 既存の「足場」概念の限界: 従来の研究における「足場（Scaffolding）」は、単なる学習支援の技術的メカニズムや、システムの限界を補う一時的な戦略として扱われることが多く、相互作用の「中核的な原則」としては機能していません。

2. 提案手法と概念 (Methodology & Concept)

著者らは、人間・AI・ロボットの協働における「足場（Scaffolding）」を再定義し、新しい相互作用の枠組みを提案します。

• 足場（Scaffolding）の再定義:
  AI を単なる自動化ツールではなく、人間が時間経過とともにロボットの振る舞いを形成し、意味のある形で制御を維持することを可能にする「インフラストラクチャ」として捉えます。
• 人間の役割：「執行ディレクター（Executive Director）」:
  人間はロボットの動作を直接制御するのではなく、意図（intent）を定義し、解釈的な判断を行い、反復的な修正（steering revisions）を行う「ディレクター」として振る舞います。
• AI の役割：「仲介者（Mediator）」:
  人間の表現（言語、ジェスチャー、実演など）とロボットの物理的実行（運動、協調、身体動作）の間で AI が仲介します。AI は人間の意図を具体的なロボット動作に変換し、曖昧さや調整を管理しますが、最終的な作者性（authorship）と意思決定は人間に残ります。

この枠組みは、以下の 3 つの思考（Thought）に基づいています：

1. 解釈的制御の維持: AI は人間の意図を支援しつつ、作者性や行動の再誘導能力を奪ってはいけません。
2. 最適化よりレスポンス性: 固定された最適解への収束ではなく、変化する入力下での創造的なフロー（flow）を維持することが優先されます。
3. 主体性（Agency）の測定: 効率性だけでなく、ユーザーの作者性やフロー体験を第一級の成果指標として評価します。

3. 具体的なユースケースとシナリオ (Key Contributions & Scenarios)

論文では、創造的実践、学習（teaching-by-teaching）、身体性のある相互作用の 3 つの文脈から、4 つの具体的なシナリオ（図 1）を提示しています。

1. Scaffolding Inspiration（インスピレーションの足場）:
   • 内容: ロボットのジェスチャーがアイデア創出（ideation）を支援する。
   • 技術的側面: 人間の部分的な実演（few-shot demonstrations）を AI が解釈し、滑らかな遷移や実行可能な動作バリエーションを生成する。人間は「何を表現するか」を定義し、AI は「どのように実現するか」を処理します。
2. Scaffolding Adlibs（アドリブの足場）:
   • 内容: 音楽演奏におけるロボットの即興（improvisation）。
   • 技術的側面: 人間の演奏者と共に、AI がロボットの動作を即興的に調整し、創造的な対話を可能にします。
3. Synchronizing Performance（パフォーマンスの同期）:
   • 内容: 地上ロボットと空中ドローンのステージコラボレーション。
   • 技術的側面: 人間のジェスチャーや簡易な音声指示に基づき、AI が複数のロボット間の協調とタイミングを管理し、事前にスクリプト化された自律性ではなく、人間による方向付けに応じた集団行動を実現します。
4. Winging Support（時間的圧力下での支援）:
   • 内容: 時間的制約のある状況（災害対応など）でのロボット支援。
   • 技術的側面: 人間が直感的に「その場凌ぎ（winging it）」で対応する際、AI が迅速な解釈と実行を支援しつつ、人間の直観と責任感を損なわない透明性を保ちます。

4. 評価と設計への示唆 (Results & Implications)

従来の HRI（Human-Robot Interaction）評価指標（効率性、エラー率、完了時間など）は、探索や即興を重視する文脈には不適切です。著者らは以下の評価と設計の転換を提唱します。

• 評価指標の転換:
  • 「フロー（flow）」、「知覚された主体性（perceived agency）」、「持続的な関与」を測定する指標（例：Creativity Support Index）の採用。
  • ユーザーが「相互作用を指揮している」と感じられるか（介入し、結果を再解釈できるか）を問う評価。
• 設計原則:
  • 「正しさ」より「レスポンス性」: 入力が不完全、曖昧、あるいは変化する状況でも、相互作用を継続させるシステム設計。
  • 既存の表現形式の活用: 言語、ジェスチャー、身体実演など、人間が既に意図を伝えるのに慣れている形式を利用し、認知的負荷を低減する。
  • AI の役割: 自律的な意思決定者ではなく、人間の表現とロボットの演技の間の「翻訳者」として機能させる。

5. 課題と意義 (Significance & Open Challenges)

主要な課題:

• 社会的相互作用と境界の曖昧さ: ジェスチャーや触覚による自然な指示において、制御と同意の境界が不明確になるリスク。
• スケーラビリティ: 単一ロボットから群（swarm）へスケールする際、人間の意図が希薄化せず、解釈的制御が維持されるか。
• 創造的実践と非剛体システム: 変形可能なロボットやダンス・音楽など、相互作用が継続的な交渉として行われる領域での、早期の安定化を避けた足場の設計。
• ミッションクリティカルな文脈: 災害対応など、安全性と人間の直感的な即興（winging it）のバランスをどう取るか。

学術的・社会的意義:
本論文は、人間とロボットの関係性を「自律性の最大化」から「人間の創造性を支える持続的な支援（scaffolding）」へと転換させる概念的レンズを提供します。

• 人間の主体性の再確立: AI が人間を置き換えるのではなく、人間が「ディレクター」としての役割を維持し、責任と創造性を発揮できる環境を設計する道筋を示します。
• 新たな設計パラダイム: 効率性中心の自動化を超え、意図の進化、介入、説明責任（accountability）を重視する、より人間中心の AI・ロボットシステムの未来像を提示しています。

結論として、著者らはコミュニティに対し、自動化中心の物語を見直し、インタラクティブな AI を「人間の創造性、学習、そして責任ある行動のための永続的な足場」として機能させるための新たな探求を呼びかけています。