"When to Hand Off, When to Work Together": Expanding Human-Agent Co-Creative Collaboration through Concurrent Interaction

本論文は、AI エージェントが共有アーティファクト上のユーザーの同時行動を解釈し適応する「CLEO」システムを提案し、デザイナーとの共創的協働において、作業の委任、指示、同時作業のいずれを選択すべきかを決定するモデルと設計指針を導出したものである。

要約

この論文は、**「AI と人間が、まるで共演するミュージシャンのように、同時に作業しながらクリエイティブな仕事ができるか？」**という問いに答える研究です。

これまでの AI は、人間が「これやって」と指示を出すと、黙々と作業して「できました」と結果だけ渡す「注文と受け取り」の関係でした。しかし、この研究では、AI が作業している最中に人間が横から手を加えたり、アイデアを出し合ったりする**「同時進行（コンカレント）の協力」**を実現し、その仕組みを解明しました。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

---

1. 従来の AI と、新しい AI の違い

🍔 従来の AI：注文と受け取り

これまでの AI は、**「注文したハンバーガーを厨房で作って、完成品だけを渡す料理人」**のようなものでした。

• 人間： 「ハンバーガー作って！」と注文。
• AI： 厨房で黙々と調理（人間には中身が見えない）。
• 人間： 完成するまで待つ。
• 問題点： もし「ソースが多すぎるな」と思っても、完成するまで何も言えない。完成後に「作り直して」と言うと、最初からやり直しで時間がかかる。

🎨 新しい AI（Cleo）：共演するバンドメンバー

この研究で開発した新しい AI「Cleo（クレオ）」は、**「一緒にステージで演奏するバンドメンバー」**のような存在です。

• 人間： ギターを弾きながら、「ちょっとリズム変えて」と言ったり、自分でベースを弾き始めたりする。
• AI： 演奏中に人間の動きを見て、「あ、リズム変えたな！じゃあ、それに合わせてドラムも変えよう」と即座に反応する。
• 特徴： 人間が「作っている途中」の作品に手を加えても、AI はそれを「間違い」ではなく「共同作業のアイデア」として理解し、自分の作業を調整します。

---

2. 研究で見つけた「3 つの協力モード」

研究者は、デザイナー 10 人と AI が 2 日間一緒に作業する実験を行いました。その結果、人間は状況に応じて3 つの異なるモードを自在に使い分けていることがわかりました。

① 「任せるモード（Hands-off）」：70% の時間

• 状況： 「この辺りは任せるから、私は別のことをやるね」という状態。
• 例え： 料理人が鍋を煮込んでいる間、人間は横でサラダを作っている。
• ポイント： AI が作業している間、人間は完全に目を離して自分の仕事に集中できます。

② 「見守るモード（Observational）」：69% の時間

• 状況： 「どうやって作っているか見てるよ」という状態。
• 例え： 料理人が包丁を扱っている様子を、横からじっと見ている。「あ、あの切り方なら大丈夫そう」と安心したり、「あ、危ないな」と思ったり。
• ポイント： AI の作業過程が見えることで、「いつ介入すべきか」を判断できます。

③ 「一緒にやるモード（Concurrent）」：32% の時間

• 状況： 「今、ここを直して！」と横から手を加えたり、AI が作っている途中のものを自分のものとして使い始めたりする状態。
• 例え： 料理人がソースを塗っている最中に、人間が「もっと甘くして」とスプーンで味見しながら調整したり、AI が作った具材を「これ、私がサンドイッチにするね」と横取りして別の料理を始めたりする。
• 発見： これが最も重要で、AI が人間の意図（「これは修正」なのか「これは別の作業」なのか）を瞬時に理解できるかどうかで、協力がスムーズになるかが決まりました。

---

3. 人間が「介入する」6 つのきっかけ

なぜ人間は、AI が作業している最中に手を加えるのでしょうか？研究では6 つのきっかけが見つかりました。

1. 閃き（Idea Spark）： AI が途中まで作ったものを見て、「あ、これいいね！でももっとこうしたら素敵かも！」と新しいアイデアが浮かぶ。
2. 早く結果が見たい（Early Outcome）： 「完成するまで待てないから、途中の形を先に使いたい」と思う。
3. 細かい調整が必要（Fine-grained）： 「ここだけ、私の好きなように微調整したい」と思う。
4. AI の勘違い（Misaligned）： 「いや、私が言ったのはこっちの意味じゃない！」と方向性がズレていることに気づく。
5. AI の調子がおかしい（Quality Drop）： 「あれ？作業が遅いし、出来栄えもイマイチだな」と感じる。
6. 新しい仕事が見つかった（New Task）： 「あ、こっちの作業を AI にやらせよう！」と別の指示を出す。

---

4. 人間が「どう動くか」を決める 4 つの要素

きっかけがあっても、すぐに手を加えるとは限りません。人間は以下の 4 つを無意識に考えて判断しています。

1. AI の能力を知っているか（メンタルモデル）： 「この AI なら大丈夫そう」と信頼できると、あまり見ない。初めて使うときは、じっと監視する。
2. 自分の仕事の優先度： 「今、自分の仕事に集中しなきゃ！」なら AI は放置。「暇なら」AI の作業を覗き込む。
3. 伝え方の好み： 「言葉で言うのが楽」なら指示を出す。「直接手を動かすのが楽」なら、自分で直してしまう。
4. AI が理解してくれるかという期待： 「私が直せば、AI はそれを覚えて次もこうするはずだ」と思えば、自分で直そうとする。

---

5. この研究から学べる「未来の AI」の姿

この研究から、これからの AI には以下のような能力が求められていることがわかりました。

• 「今、人間が何をしているか」を感じる能力：
  人間が画面のどこを見ているか、マウスをどこに近づけているかで、「あ、今介入しようとしているな」と察知し、作業を一時停止して人間に任せるべきか判断する。
• 「介入」のレベルを読み取る能力：
  • 細かい修正＝「ここを直して、次もこうしてね」という学習のサイン。
  • 途中の作品を横取り＝「この方向性は OK だから、後は任せるね」という承認のサイン。
  • 作業を止める＝「もういい、私がやる」という交代のサイン。
    これらを瞬時に理解して、AI の振る舞いを変える必要があります。

まとめ

この論文は、**「AI と人間は、順番に交代するのではなく、同時に動きながら、お互いの動きを見て柔軟に役割を分担し合う」**という新しい協力の形を提案しています。

まるで、**「AI が料理のベースを作っている間に、人間がスパイスを調整し、その味見を見て AI がレシピを微調整する」**ような、生き生きとした共同作業の世界が実現しつつあるのです。

これからの AI は、単なる「指示されたことをやる道具」ではなく、**「人間の動きを察して、一緒に何かを作り上げるパートナー」**へと進化していくでしょう。

技術概要

この論文「When to Hand Off, When to Work Together: Expanding Human-Agent Co-Creative Collaboration through Concurrent Interaction（引き渡すとき、一緒に働くとき：並行インタラクションを通じた人間 - エージェント共同創造的協働の拡張）」は、クリエイティブな作業における人間と AI エージェントの協働関係において、従来の「指示と出力」のターン制（順番待ち）から、より動的で同時進行型の協働へ移行する可能性を探求した研究です。

以下に、問題提起、手法、主要な貢献、結果、および意義について詳細な技術的サマリーを記述します。

1. 問題提起 (Problem)

従来の AI エージェント（特にクリエイティブ分野）は、最終成果物のみを提示するか、読み取り専用の実行プロセス（計画や推論のテキスト表示）を公開するにとどまっていました。これにより、人間とエージェントは「指示を出して待つ」という非同期のターン制（Turn-taking）に限定され、共有された作業空間（アートファクト）上で人間がエージェントの進行中の作業に介入したり、同時に作業したりすることが困難でした。

人間同士の協働（Figma や Google スライドなど）では、相手の作業の可視性（プロセスの透明性）と作業空間の意識（誰が何をしているか）に基づき、並行作業やリアルタイムな介入が柔軟に行われます。しかし、現在の AI エージェントは、ユーザーが共有アートファクト上で同時に行う操作（フィードバックなのか、独立した作業なのか）を解釈し、実行をリアルタイムに適応させる「協働的文脈意識（Collaborative Context Awareness）」を持っていません。このギャップを埋め、クリエイティブな作業において人間とエージェントがどのように「引き渡す（Hand off）」か、「一緒に働く（Work together）」かを決定するかを解明することが本研究の目的です。

2. 手法 (Methodology)

本研究は、Figma プラグインを用いた 2 段階のデザインプローブ研究と、質的・量的分析から構成されています。

• Study 1: 初期技術プローブ（N=10 名）

  • システム: 音声入力、プロセスの可視化（エージェントがツール操作をステップバイステップで実行する様子）、および作業空間へのエージェントの存在（カーソルやキャラクター）を可視化するプローブシステムを開発。
  • 目的: プロセスの透明性が協働体験に与える影響と、デザイナーの期待を探る。
  • 結果: プロセス可視化はエージェントの意図理解を助けたが、エージェントがユーザーの介入（フィードバック）と独立した作業を区別できず、競合や混乱を引き起こすことが判明した。これにより、リアルタイムな並行作業に対する需要と、そのための文脈理解の必要性が浮き彫りになった。

• Study 2: 2 日間の技術プローブ研究（N=10 名）

  • システム（Cleo）: Study 1 の知見に基づき開発された「Cleo（Collaborative Linked Executive Operator）」。
    • 機能: ユーザーの同時操作をトラッキングし、それが「エージェントへのフィードバック」なのか「独立した作業」なのかを解釈する。
    • 技術的改良: 従来の要約モジュールに加え、「ユーザー変更検出モジュール」「帰属変更モジュール（エージェント操作とユーザー操作の区別）」「計画更新モジュール」を導入し、ユーザーの介入に基づいて実行計画をリアルタイムで更新する。
  • 手順: 2 日間にわたるタスク（クローズドエンド型とオープンエンド型の Web デザイン）実施。1 日目にインタラクションログと画面録画を収集。2 日目に、視覚化されたログを用いた「刺激想起インタビュー（Stimulated Recall Interviews）」を行い、ユーザーの行動パターン、トリガー、決定要因を分析。
  • データ: 214 回のターン（エージェントのタスク開始から完了までの区切り）を分析対象とした。

3. 主要な貢献 (Key Contributions)

1. 並行型人間 - エージェントインタラクションの特性化:
   エージェントの実行中にユーザーが取る 5 つの行動パターン（Hands-off, Observational, Terminating, Directive, Concurrent）と、その 10 個の詳細なコードを定義。特に、エージェントのワークフローを妨げずに直接介入する「並行（Concurrent）」行動の多様性を明らかにした。
2. 意思決定モデルの提案:
   ユーザーが「委任（Delegation）」「指示（Direction）」「並行作業（Concurrent Work）」の間をどのように動的に遷移するかを説明するモデルを構築。
   • 6 つのトリガー: 介入を促す要因（例：エージェントの作業からアイデアが湧く、タスク解釈の不一致、品質低下など）。
   • 4 つの促進要因: 具体的な行動を選択させる文脈的要因（例：エージェント能力に関するメンタルモデル、タスクの優先度、介入の好みのモダリティ、エージェントへの期待）。
   • 6 つのインタラクションループ: 上記の要素に基づき、ユーザーが状態間をどのように循環するかを記述。
3. 設計示唆（Design Implications）:
   • 実行マイルストーンによる時間的調整の支援。
   • 介入の粒度（微調整、中程度の奪取、粗粒度の流用）を異なる協働シグナルとして解釈する必要性。
   • ユーザーの視線やカーソル位置に基づき、介入が近いと予測して実行を一時停止する機能。
   • エージェントの存在（カーソルなど）を直接操作することで、明示的な意図（「ここで作業して」「他で独立して」）を伝える仕組み。
4. 公開データセット:
   214 のインタラクションターン、ログされた行動、トリガー、デザイナーの理由付けを含むアノテーション付きデータセットを公開。

4. 結果 (Results)

• 行動パターンの分布: 214 回のターンにおいて、完全な委任（Hands-off）が 70.1%、観察（Observational）が 68.7%、並行作業（Concurrent）が 31.8%、指示的介入（Directive）が 28.5%、終了（Terminating）が 8.9% 観察された。一つのターンで複数の行動パターンが重なることも多かった。
• 並行作業の重要性: 従来のエージェントでは不可能だった「並行作業」が、プロセス可視化と文脈意識によって実現可能となり、デザイナーはエージェントの作業を流用したり、同時に修正したりする柔軟な協働スタイルを採用した。
• 決定要因: ユーザーは、エージェントの能力に対する「メンタルモデル」の有無や、自身のタスクの優先度、介入のしやすさ（言語 vs 直接操作）に基づいて、どのループ（委任、観察、介入）に入るかを動的に判断していた。
• トリガーとループ: 「アイデアの閃き」や「タスク解釈の不一致」などのトリガーが観察から介入への遷移を促し、その際、ユーザーのメンタルモデルやタスク状況が具体的な介入方法（並行編集か、言語指示か、終了か）を決定していた。

5. 意義と将来展望 (Significance)

• 協働パラダイムの転換: 人間 - AI 協働を「指示 - 出力」の単純なサイクルから、人間同士の協働のように「並行・相互作用的」なプロセスへと進化させる道筋を示した。
• 文脈意識の実装: エージェントが単にタスクを実行するだけでなく、ユーザーの同時操作の意味（フィードバックか独立作業か）を解釈し、適応する「共創的エージェント」の設計指針を提供した。
• 低コストな修正: エージェントとの協働では、人間同士の協働に比べて「中断」や「上書き」の社会的コストが低いため、より実験的で反復的なクリエイティブ・プロセスが可能になることを示唆。
• 他ドメインへの拡張: デザイン分野で得られた知見（実行プロセスの可視化、リソースの交換、並行インタラクション）は、コーディング、ライティング、Web ナビゲーションなど他の分野へも応用可能であり、ドメイン固有の「操作可能なオブジェクト」の特定が重要であると提言している。

この研究は、AI エージェントが単なるツールやアシスタントを超え、人間のクリエイティブなワークフローにリアルタイムで適応し、共に創造するパートナーとして機能するための理論的・実践的基盤を築いた点で極めて重要です。