"When to Hand Off, When to Work Together": Expanding Human-Agent Co-Creative Collaboration through Concurrent Interaction

이 논문은 공유 작업물에서의 동시 상호작용을 실시간으로 해석하고 적응하는 새로운 에이전트 시스템 'CLEO'를 제안하고, 두 차례의 연구를 통해 인간과 에이전트가 언제 위임, 지시, 동시 작업을 선택하는지에 대한 결정 모델과 디자인 시사점을 제시합니다.

핵심

이 논문은 **"인간과 AI 가 함께 일할 때, 언제 AI 에게 맡기고 언제 직접 손에 잡아야 할까?"**라는 아주 실용적인 질문에서 시작합니다.

기존의 AI 는 우리가 "이거 만들어줘"라고 하면, AI 가 혼자서 열심히 일하다가 "네, 완성했습니다!"라고 결과물만 가져오는 수동적인 비서 역할을 했습니다. 하지만 이 연구는 AI 를 함께 일하는 파트너로 바꾸고 싶어 합니다.

이 내용을 쉽게 이해할 수 있도록 **요리사 (AI) 와 셰프 (사용자)**의 비유를 들어 설명해 드릴게요.

---

1. 문제: "눈이 가려진 요리사"

과거의 AI(요리사) 는 부엌 안의 커튼을 치고 혼자 요리를 했습니다. 우리는 "스테이크 구워줘"라고 말하고 기다리기만 했죠.

• 문제점: 요리사가 소금과 너무 많이 넣었나? 아니면 불을 너무 세게 했나? 우리는 알 수 없었습니다. 다 구워진 후에 "아, 너무 짜네!"라고 말하면 이미 늦은 거죠.
• 연구 1 의 발견: 연구진은 커튼을 치지 않고 요리사가 재료를 다듬고, 팬을 흔드는 모든 과정을 실시간으로 보여주는 시스템을 만들었습니다. 그랬더니 사람들은 "아, 지금 소금을 넣는구나. 내가 좀 더 넣어야겠다"라고 중간에 개입하고 싶어 했습니다. 하지만 기존 시스템은 사용자의 손을 막거나, 사용자의 행동을 무시하고 계속 일해서 혼란이 생겼습니다.

2. 해결책: "Cleo(클리오)" - 눈이 있고 귀가 있는 요리사

연구진은 Cleo라는 새로운 AI 에이전트를 개발했습니다. Cleo 는 요리사가 요리를 하는 동안, 사용자가 옆에서 재료를 고치거나 레시피를 수정해도 그걸 알아듣고 적응할 수 있습니다.

• 예시: 요리사가 "스테이크에 허브를 뿌리는 중"일 때, 사용자가 "아니야, 로즈마리 말고 바질을 써!"라고 직접 재료를 바꾸면, Cleo 는 "아, 사용자가 바질을 원했구나!"라고 바로 알아차리고 다음 단계부터 바질을 사용합니다.

3. 핵심 발견: "5 가지 협업 모드"

10 명의 전문 디자이너와 2 일간 실험을 한 결과, 사람들은 상황에 따라 5 가지 방식으로 AI 와 일하는 것을 발견했습니다.

1. 완전 위임 (Hands-off): "너가 알아서 다 해줘. 나는 다른 일 할게." (AI 가 일하는 동안 사용자는 완전히 딴짓)
2. 관찰 (Observational): "어떻게 하는지 보여줘. 내가 배울게." (AI 가 일하는 것을 구경하며 학습)
3. 지시 (Directive): "이건 좀 바꿔줘." (말만 하고 직접 건드리지는 않음)
4. 동시 작업 (Concurrent): "함께 해!" (AI 가 요리를 하는 동안, 사용자가 옆에서 그릇을 닦거나 소스를 준비함. 가장 중요한 발견)
5. 중단 (Terminating): "안 돼, 이거 다 지워!" (AI 가 잘못된 방향으로 가면 바로 멈춤)

흥미로운 점: 사람들은 30% 이상의 시간 동안 AI 가 일하는 동안 직접 손을 대며 함께 일했습니다. AI 가 요리를 하는 동안 사용자가 옆에서 재료를 다듬는 것처럼 말이죠.

4. 언제 무엇을 해야 할까? (의사결정 모델)

사람들은 언제 AI 에게 맡기고 언제 직접 할지 어떻게 정할까요? 연구진은 이를 결정하는 **6 가지 신호 (트리거)**와 4 가지 조건을 찾아냈습니다.

• 신호 (왜 개입했나?):
  • 아이디어 번뜩임: AI 가 만드는 걸 보다가 "와, 이거 좋은데! 나도 이걸로 해보자!"라고 생각함.
  • 오해 발견: "아, 내가 말한 게 저게 아니었어!"라고 realizing.
  • 새로운 작업: "이거 다 끝나면 저기 다른 거 해줘."
• 조건 (어떻게 개입할까?):
  • 내 작업의 중요도: 내가 지금 바쁘면 AI 에게 맡기고, 여유가 있으면 같이 함.
  • AI 에 대한 믿음: "이 AI 는 내 말 잘 알아듣겠지?"라고 생각하면 말로 지시하고, "아니, 내가 직접 손으로 고치는 게 낫겠다"라고 생각하면 직접 만듦.

5. 결론: "함께 춤추는 파트너"

이 연구는 AI 를 단순히 "명령을 실행하는 기계"가 아니라, 사용자의 행동을 보고 실시간으로 반응하는 파트너로 바꿔야 한다고 말합니다.

• 비유: 과거의 AI 는 "명령을 받고 혼자 춤추는 로봇"이었다면, Cleo 같은 새로운 AI 는 **"사용자가 리듬을 바꾸면 같이 리듬을 바꾸는 춤 파트너"**입니다.
• 미래의 디자인: 앞으로의 AI 는 사용자가 옆에서 손을 대면 멈추거나, 사용자의 시선이 어디에 집중되는지 보고 "아, 사용자가 지금 개입하고 싶어 하는구나"라고 미리 알아차려야 합니다.

한 줄 요약:

"AI 에게 일을 맡길지, 함께 할지, 아니면 멈출지는 상황과 신뢰에 따라 결정되는데, 가장 좋은 협업은 AI 가 일하는 동안 사용자가 옆에서 함께 손을 대며 실시간으로 방향을 잡는 것입니다."

이 연구는 우리가 AI 와 함께 창의적인 일을 할 때, 대화를 나누듯 실시간으로 소통하고 함께 작업하는 새로운 방식을 제시합니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 기존 협업의 한계: 인간 - 인간 협업 (예: Figma, Google Slides) 에서는 작업자의 행동 가시성 (Process Visibility) 과 작업 공간 인식 (Workspace Awareness) 을 통해 실시간으로 작업을 공유하고, 순차적 턴 테이킹 (Turn-taking) 을 넘어선 동시 작업 (Concurrent Work) 이 가능합니다.
• AI 에이전트의 현재 상태: 현재 생성형 AI 에이전트는 주로 최종 결과물만 제공하거나, 실행 과정 (계획, 추론) 을 텍스트로만 보여줄 뿐입니다. 사용자와 에이전트가 공유한 아티팩트 (작업물) 에 대해 사용자가 동시에 개입 (Direct Manipulation) 하더라도, 에이전트는 이를 '피드백'인지 '사용자의 독립적 작업'인지 구분하지 못해 충돌이 발생하거나 무시당합니다.
• 핵심 문제: 에이전트가 사용자의 동시 작업을 이해하고, 이를 컨텍스트로 인식하여 실시간으로 적응하는 협업적 컨텍스트 인식 (Collaborative Context Awareness) 부재. 이로 인해 인간 - 에이전트 간의 유연하고 중첩된 (Interleaved) 협업 패턴이 불가능합니다.

2. 방법론 (Methodology)

이 연구는 Figma 환경에서 두 단계의 기술 프로브 (Design Probe) 와 사용자 연구를 수행했습니다.

Study 1: 초기 기술 프로브 (N=10)

• 목표: 에이전트의 단계별 실행 과정 가시성 (Process Transparency) 이 협업에 미치는 영향 파악.
• 시스템: Figma 플러그인 기반 에이전트. 음성 명령, 시각적 도구 조작, 에이전트 커서 존재 (Presence Awareness) 를 통해 실시간 작업 과정을 공개.
• 결과:
  • 단계별 가시성은 에이전트의 의도를 이해하고 적시에 개입할 수 있게 함.
  • 발견: 사용자는 에이전트 실행 중에도 자신의 작업을 병행하거나 에이전트의 작업물을 수정하고 싶어 함. 하지만 기존 시스템은 사용자의 개입을 에이전트 작업과 구분하지 못해 충돌을 유발함.
  • 결론: 단순한 '가시성'을 넘어, 사용자의 동시 행동을 해석하고 적응하는 '맥락 인식' 에이전트 필요성 대두.

Study 2: Cleo 를 활용한 2 일 탐구 연구 (N=10)

• 시스템 (Cleo): Collaborative Linked Executive Operator. Study 1 의 결과를 바탕으로 개발된 에이전트.
  • 핵심 기능: 사용자의 동시 작업을 추적하고, 이를 '피드백 (적응 필요)', '독립적 작업 (유지)', '공동 편집 (통합)'으로 구분하여 실시간으로 실행 계획을 수정.
• 절차:
  1. 1 일차: 참가자가 Cleo 와 함께 웹 디자인 작업 (닫힌/열린 과제) 수행. 사용자 및 에이전트 상호작용 로그 및 화면 녹화 수집.
  2. 2 일차: 시각화된 상호작용 로그를 바탕으로 자극 회상 인터뷰 (Stimulated Recall Interviews) 수행. 왜 특정 행동을 취했는지, 언제 맡겼고 언제 함께 일했는지 심층 분석.
• 데이터 분석:
  • 총 214 개의 턴 (Turn-level) 데이터 수집.
  • 질적 코딩을 통해 사용자 행동 패턴, 개입 유발 요인 (Triggers), 결정 요인 (Enabling Factors) 도출.
  • 의사결정 모델 (Decision Model) 구축 및 검증.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 5 가지 사용자 행동 패턴 (User Action Patterns)

사용자가 에이전트 실행 중 취하는 5 가지 주요 행동과 10 가지 세부 코드를 정의했습니다.

1. Hands-off (전체 위임): 에이전트 작업에 관여하지 않고 다른 작업 수행.
2. Observational (관찰): 에이전트 실행을 모니터링하지만 개입하지 않음.
3. Terminating (종료): 에이전트 작업을 중단하고 사용자가 직접 수행.
4. Directive (지시): 음성 명령으로 에이전트 방향 수정 또는 새 작업 지시.
5. Concurrent (동시 작업): 핵심 발견. 에이전트 실행 중 사용자와 에이전트가 동일한 아티팩트에서 동시에 작업.
   • In-situ co-editing: 같은 하위 작업 동시 수행.
   • Opportunistic takeover: 에이전트가 다른 작업을 하는 동안 사용자는 대기 중인 하위 작업을 대신 수행.
   • Artifact takeover: 에이전트의 진행 중인 작업을 복사하여 독립적으로 편집.
   • Demonstration-based steering: 직접 수정하여 원하는 스타일을 보여줌.

B. 행동 분포 통계

214 턴 분석 결과:

• 전체 위임 (Hands-off): 70.1%
• 관찰 (Observational): 68.7% (대부분의 턴에서 관찰이 수반됨)
• 동시 작업 (Concurrent): 31.8%
• 지시 (Directive): 28.5%
• 종료 (Terminating): 8.9%

C. 6 가지 개입 유발 요인 (Triggers) 및 4 가지 결정 요인 (Enabling Factors)

사용자가 관찰에서 개입 (동시 작업, 지시, 종료) 으로 전환하는 이유를 규명했습니다.

• 6 가지 Trigger:
  1. 에이전트 작업에서 영감 받음 (Idea Spark)
  2. 초기 결과물 조망 필요 (Need for Early Outcome Visibility)
  3. 세부 작업 준비 완료 (Readiness for Fine-grained Detailing)
  4. 작업 해석 불일치 (Misaligned Task Interpretation)
  5. 실행 품질 저하 (Execution Quality Drop)
  6. 에이전트에게 새로운 작업 발생 (Emerging New Task)
• 4 가지 Enabling Factors (어떤 행동을 선택할지 결정):
  1. 멘탈 모델: 에이전트 능력에 대한 이해도.
  2. 작업 우선순위: 사용자의 현재 작업과 에이전트 작업의 중요도 비교.
  3. 개입 선호도: 언어적 설명 vs 직접 조작 중 어떤 것이 쉬운지.
  4. 기대 효과: 개입이 성공적인 결과로 이어질 것이라는 믿음.

D. 인간 - 에이전트 협업 의사결정 모델 (Decision Model)

위 요소들을 바탕으로 6 가지 상호작용 루프 (Interaction Loops) 를 포함한 의사결정 모델을 제시했습니다.

• Full Delegation Loop: 사용자가 자신의 작업에 집중하여 에이전트를 완전히 위임하는 상태.
• Continuous Observation Loop: 에이전트 능력을 학습하거나 적절한 개입 시점을 기다리며 관찰하는 상태.
• Intervention Loop: 트리거 발생 시, 결정 요인에 따라 동시 작업, 지시, 종료를 선택하는 상태.
• Task Redirection Loop: 에이전트에게 새로운 작업을 할당하는 상태.

4. 의의 및 시사점 (Significance & Implications)

• 동시 상호작용의 패러다임 전환: 인간 - 에이전트 협업이 단순한 "명령 - 실행 - 결과"의 순차적 과정을 넘어, 인간과 에이전트가 실시간으로 교차하며 작업하는 동시적 (Concurrent) 협업이 가능함을 증명했습니다.
• 디자인 함의 (Design Implications):
  • 실행 마일스톤 제공: 에이전트의 단계별 작업을 시각화하여 사용자가 개입할 최적의 타이밍 (Synchronization Points) 을 제공해야 함.
  • 다양한 개입粒度 (Granularity) 해석: 사용자의 미세한 수정 (Fine-grained) 은 즉각적인 학습 신호로, 대규모 작업 위임 (Coarse-grained) 은 방향성 검증 신호로 해석해야 함.
  • 예측적 일시 중단: 사용자의 뷰포트 집중도나 커서 위치를 분석하여 개입이 예상될 때 에이전트가 실행을 미리 멈추고 중간 상태를 보여줘야 함.
  • 공간적 신호 활용: 에이전트 커서를 사용자가 원하는 위치로 이동시키는 등 공간적 조작을 통해 의도를 명확히 전달하는 인터페이스 필요.
• 데이터셋 공개: 214 개의 인간 - 에이전트 상호작용 턴 데이터 (행동, 트리거, 설계자 논리 포함) 를 공개하여 향후 연구 지원.

5. 결론

이 연구는 Cleo를 통해 에이전트가 사용자의 동시 작업을 인식하고 적응할 수 있음을 보여주었습니다. 사용자는 상황에 따라 위임, 관찰, 동시 작업, 지시, 종료를 유연하게 전환하며 협업합니다. 이러한 역동적인 상호작용을 지원하기 위해서는 에이전트가 사용자의 행동을 단순한 간섭이 아닌 **협업 신호 (Collaboration Signal)**로 해석하고, 실시간으로 적응할 수 있는 맥락 인식 (Context-aware) 능력이 필수적입니다. 이는 생성형 AI 가 단순한 도구를 넘어 진정한 **공동 창작 파트너 (Co-creative Partner)**가 되기 위한 중요한 방향성을 제시합니다.