Modeling Distinct Human Interaction in Web Agents

이 논문은 4,200 개 이상의 인간 및 에이전트 상호작용이 포함된 'CowCorpus' 데이터셋을 구축하고 인간 개입 패턴을 분석하여 에이전트가 개입 시점을 예측하도록 학습시킴으로써, 웹 에이전트의 사용성 및 적응성을 크게 향상시켰습니다.

핵심

이 논문은 **"AI 웹 브라우징 도우미가 언제 멈추고 사용자의 도움을 받아야 할지 스스로 판단하는 법"**을 연구한 내용입니다.

기존의 AI 에이전트 (웹을 자동으로 돌아다니는 로봇) 는 "내가 다 해볼게!"라고 생각하다가 실수를 하거나, 반대로 "정말 괜찮아?"라고 매번 물어보며 사용자를 귀찮게 만들었습니다. 이 연구는 **"사용자가 언제 개입하고 싶어 하는지"**를 AI 가 미리 알아차리게 만들어, 더 자연스러운 '팀워크'를 이루게 하는 방법을 제시합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "너무 똑똑한 운전사" vs "너무 조심스러운 운전사"

상상해 보세요. 여러분이 **자율주행차 (AI 에이전트)**를 타고 여행을 가고 있습니다.

• 기존의 AI: 차가 너무 자신만만해서, "이 길은 내가 알아서 갈게!"라고 생각하다가, 갑자기 공사 구간이나 위험한 길로 들어갑니다. 여러분이 "야, 멈춰!"라고 외쳐야만 멈춥니다. (실수 발생)
• 또 다른 AI: 너무 조심스러워서, "이 신호등 빨간색이네요? 멈출까요?" "이 길로 갈까요?"라고 10 초마다 물어봅니다. 여러분은 "아니, 그냥 가!"라고 말해야 하지만, 계속 물어보느라 짜증이 납니다. (불필요한 방해)

이 논문은 **"사용자가 언제 핸들을 잡으려는지 (개입할지)"**를 AI 가 미리 예측해서, 필요할 때만 물어보고, 필요할 때는 묵묵히 달리는 완벽한 조수 (코파일럿) 를 만드는 방법을 연구했습니다.

2. 새로운 데이터: "400 명의 운전 기록" (COWCORPUS)

연구팀은 AI 가 어떻게 배우게 할지 고민하다가, 실제 사람 20 명과 AI 가 함께 웹서핑을 하는 400 개의 기록을 모았습니다. 이를 **'COWCORPUS(카우코퍼스)'**라고 이름 지었습니다. (소 (Cow) 가 농장 (Corpus) 에서 일하는 것처럼, 사람과 AI 가 함께 일하는 기록이라는 뜻입니다.)

이 기록을 분석하니, 사람들은 크게 4 가지 스타일로 AI 와 협력한다는 것을 발견했습니다.

1. 완전 위임형 (Hands-off): "너가 다 해. 내가 뭐 할 일 없어." (AI 가 다 하고 끝날 때까지 안 건드림)
2. 적극 감독형 (Hands-on): "이건 내가 할게, 저건 네가 해." (자주 핸들을 잡고 방향을 수정함)
3. 협업형 (Collaborative): "여기서 막히면 내가 도와줄게, 그다음엔 네가 해." (짧게 도와주고 다시 AI 에게 넘김)
4. 완전 탈환형 (Takeover): "이건 내가 다 할게." (처음엔 AI 가 하다가, 마지막에 와서 모든 것을 직접 처리함)

3. 해결책: "AI 의 직관력 키우기"

연구팀은 이 데이터를 바탕으로 AI 에게 **"사용자가 언제 개입할까?"**를 예측하는 능력을 가르쳤습니다.

• 기존 AI: "내가 할 수 있어!"라고 생각하다가 실수.
• 새로운 AI (이 논문): "아, 지금 이 단계는 사용자가 '잠깐 멈춰!'라고 할 확률이 높구나. 미리 물어보자." 또는 "아, 지금 단계는 사용자가 개입할 일이 없겠네. 그냥 계속 가자."

이렇게 훈련된 AI 는 사용자가 개입할 타이밍을 60% 이상 더 정확하게 예측하게 되었습니다.

4. 결과: "더 이상 귀찮지 않은 조수"

이 기술을 실제 웹 브라우징 도구 (PLOWPILOT) 에 적용해 보았더니 놀라운 결과가 나왔습니다.

• 사용자 만족도 26.5% 상승: "이 AI 는 내가 필요할 때만 도와주니까 정말 유용해."라는 평을 받았습니다.
• 불필요한 방해 감소: "너무 자주 물어보지 않아서 집중할 수 있었어."
• 통제감 유지: "내가 원할 때 핸들을 잡을 수 있어서 안심이야."

5. 핵심 메시지: "완전한 자율이 아니라, 완벽한 협력"

이 논문의 핵심은 **"AI 가 인간을 완전히 대체하는 것"이 아니라, "인간의 스타일에 맞춰 함께 일하는 것"**이 중요하다는 점입니다.

마치 **숙련된 운전 보조 (코파일럿)**처럼, AI 는 운전자가 언제 피곤해하고, 언제 방향을 틀고 싶어 하는지 눈치채서, 불필요한 말은 안 하고, 중요한 순간에만 "선생님, 이쪽이 어때요?"라고 물어보는 것이 진정한 지능입니다.

한 줄 요약:

"이제 AI 는 우리가 언제 개입하고 싶어 하는지 눈치채서, 너무 자주 물어보지도 않고, 실수할 때만 미리 도와주는 똑똑한 파트너가 되었습니다."

기술 요약

논문 요약: 모델링 Distinct Human Interaction in Web Agents

이 논문은 자율 웹 에이전트 (Autonomous Web Agents) 가 사용자와 협력하여 웹 태스크를 수행할 때, 언제 그리고 왜 사용자가 개입 (Intervention) 하는지를 예측하고 모델링하는 새로운 접근법을 제시합니다. 기존 에이전트 시스템은 사용자의 개입 시점을 이해하지 못해 불필요한 확인을 요청하거나, 중요한 결정 지점을 지나쳐 버리는 문제가 있었습니다. 저자들은 이를 해결하기 위해 사용자 개입 패턴을 구조화하여 모델링하는 프레임워크를 제안하고, 이를 통해 더 적응적이고 협력적인 에이전트를 구현했습니다.

1. 문제 정의 (Problem Definition)

• 현황: 대규모 언어 모델 (LLM) 기반 에이전트의 웹 탐색 능력이 향상되었지만, 여전히 인간의 개입은 필수적입니다. 사용자는 에이전트의 오해 수정, 선호도 재조정, 오류 수정 등을 위해 개입합니다.
• 한계: 현재 에이전트 시스템은 **사용자가 언제 개입할지 (When)**와 **왜 개입하는지 (Why)**에 대한 원칙적인 이해가 부족합니다.
  • 불필요한 시기에 사용자에게 확인을 요청하여 작업 흐름을 방해하거나 (Interrupt),
  • 중요한 실수가 발생했을 때 사용자의 개입 없이 자율적으로 진행하여 실패를 초래합니다.
• 목표: 사용자의 개입 가능성을 사전에 예측하여, 필요한 순간에만 사용자와 상호작용하고 불필요한 간섭을 줄이는 적응형 협력 에이전트를 구축하는 것.

2. 방법론 (Methodology)

2.1. 데이터 수집: COWCORPUS

• 데이터셋: 400 개의 실제 사용자 웹 탐색 궤적 (Trajectories) 을 포함하는 새로운 데이터셋 COWCORPUS를 구축했습니다.
• 구성:
  • 200 개의 표준 태스크 (Mind2Web 벤치마크 기반) 와 200 개의 자유형 태스크 (Free-form tasks).
  • 총 4,200 개 이상의 인간 및 에이전트 교차 행동 (Interleaved actions) 포함.
  • 에이전트 행동 단계 2,748 개, 인간 행동 단계 1,476 개.
  • 각 단계별 개입 시점 (Pause, Resume, Override) 에 대한 주석 포함.
• 통계: 표준 태스크 대비 자유형 태스크에서 인간 개입 강도는 낮았으나, 태스크 유형에 따라 개입 패턴이 상이함을 확인했습니다.

2.2. 인간 개입 패턴 분석 (Interaction Patterns)
사용자의 개입 행동을 분석하여 4 가지 distinct 한 협력 스타일로 분류했습니다:

1. Takeover (전면 인수): 태스크 후반부에 드물게 개입하지만, 한 번 개입하면 에이전트에게 통제권을 돌려주지 않고 직접 작업을 완료합니다.
2. Hands-on (적극적 감독): 빈번하고 강력한 개입을 하며, 에이전트와 통제권을 오가며 공동으로 작업을 수행합니다.
3. Hands-off (수동 감시): 거의 개입하지 않으며, 에이전트가 거의 모든 작업을 자율적으로 수행하도록 둡니다.
4. Collaborative (협력적): 선택적으로 개입하며, 개입 후 통제권을 에이전트에게 즉시 돌려줍니다. (가장 일반적인 협력 패턴)

2.3. 모델링 접근법

• 문제 공식화: 부분 관찰 마르코프 의사결정 과정 (POMDP) 으로 정의. 각 에이전트 행동 단계에서 사용자의 개입 여부 ($y_t \in \{0, 1\}$) 를 이진 분류 문제로 설정.
• 모델 학습:
  • 일반 개입 인식 모델 (General Intervention-aware Model): 모든 데이터를 사용하여 학습.
  • 스타일 조건부 모델 (Style-conditioned Models): 4 가지 협력 스타일 (Takeover, Hands-on, Collaborative) 에 맞춰 각각 세밀하게 파인튜닝.
• 입력: 과거 궤적, 현재 웹 스크린샷 및 접근성 트리 (Accessibility Tree), 에이전트의 제안 행동.
• 출력: <ask_user> (개입 요청) 또는 <agent_continue> (계속 진행).

2.4. 평가 지표

• Step Accuracy & F1 Score: 개입 여부의 정확도.
• Perfect Timing Score (PTS): 개입의 시기를 얼마나 정확하게 예측했는지를 평가.
  • 실제 개입 시점과 예측 시점 사이의 시간적 거리 ($L_2$ 거리) 에 따라 패널티를 부과하여, 단순히 맞았는지보다 언제 맞았는지를 중시합니다.

3. 주요 결과 (Key Results)

3.1. 개입 예측 성능

• 기반 모델 vs. 파인튜닝 모델: 일반 LLM (Claude, GPT-4o, Gemini 등) 은 개입 예측에서 낮은 성능을 보였습니다 (특히 개입 단계에서의 F1 점수 낮음). 반면, COWCORPUS 로 파인튜닝된 오픈 소스 모델 (Gemma 27B, LLaVA 8B) 은 61.4–63.4% 향상된 개입 예측 정확도를 기록했습니다.
• PTS 개선: 파인튜닝된 Gemma 27B 모델은 PTS 0.303 을 기록하여, 최상위 상용 모델 (Claude 4 Sonnet, 0.293) 보다 우수한 성능을 보였습니다. 이는 데이터 기반 학습이 에이전트의 타이밍 감각을 획기적으로 개선함을 의미합니다.

3.2. 사용자 스타일 맞춤화

• 특정 사용자 그룹 (Cluster) 에 맞춰 학습된 모델이 해당 그룹에서 가장 높은 성능을 보였습니다.
• 데이터 희소성 문제: 'Takeover' 그룹은 개입 데이터가 매우 적어 (11 개) 전용 모델 학습이 어려웠으나, 'Hands-on' 그룹의 모델이 이를 대체하여 좋은 성능을 보였습니다. 이는 데이터가 부족한 사용자에게는 빈번한 개입 패턴을 학습한 모델이 더 유용할 수 있음을 시사합니다.

3.3. 실제 배포 및 사용자 연구 (User Study)

• 플랫폼: Chrome 확장 프로그램 PLOWPILOT에 개입 인식 모델을 통합하여 배포.
• 실험: 기존 에이전트 (CowPilot) 와 개입 인식 에이전트 (PLOWPILOT) 를 비교.
• 결과:
  • 사용자는 PLOWPILOT 이 불필요한 중단을 줄이고, 필요한 순간에만 개입을 요청한다고 평가했습니다.
  • 사용자 만족도 (Usefulness) 26.5% 증가: 에이전트의 실행 로직은 동일하지만, 개입 예측 모듈이 추가된 것만으로 사용자 만족도가 크게 향상되었습니다.

4. 기여 및 의의 (Contributions & Significance)

1. 새로운 데이터셋 (COWCORPUS): 인간과 에이전트의 협력적 웹 탐색 궤적과 개입 패턴을 체계적으로 분석할 수 있는 최초의 대규모 데이터셋을 공개했습니다.
2. 개입 패턴의 구조화: 사용자의 개입이 무작위가 아니라 'Takeover', 'Hands-on' 등 4 가지 명확한 패턴으로 나뉜다는 것을 발견하고 이를 모델링에 반영했습니다.
3. 적응형 에이전트 설계: 에이전트가 단순히 자율성을 극대화하는 것이 아니라, 사용자의 협력 스타일에 맞춰 동적으로 행동해야 함을 입증했습니다.
4. 실용적 가치: 개입 예측 모델의 도입이 실제 사용 환경에서 에이전트의 유용성과 신뢰도를 높인다는 것을 실증했습니다.

5. 결론

이 연구는 웹 에이전트의 자율성 (Autonomy) 과 인간의 통제 (Human Control) 사이의 균형을 맞추기 위해, 사용자의 개입 시점을 사전에 예측하는 모델링이 필수적임을 강조합니다. 구조화된 인간 - 에이전트 상호작용 모델링은 에이전트가 사용자를 더 잘 이해하고, 불필요한 방해 없이 필요한 순간에만 협력하는 진정한 협력 파트너로 발전하는 데 기여합니다.