Non-Collaborative User Simulators for Tool Agents

이 논문은 기존 시뮬레이터가 지나치게 협력적이었던 한계를 극복하고, 서비스 불가 요청, 주제 이탈, 조급함, 불완전한 발화 등 네 가지 비협력적 사용자 행동을 정교하게 시뮬레이션하여 도구 에이전트의 견고성을 평가하고 개선할 수 있는 새로운 프레임워크를 제안합니다.

핵심

🤖 "예의 바르지 않은 고객"을 위한 AI 훈련 교실: 논리 설명

이 논문은 **"도구 에이전트 (Tool Agents)"**라는 AI 들이 실제 세상에서 어떻게 작동하는지 연구한 내용입니다. 쉽게 말해, "기차 표를 끊어주는 AI"나 "항공권 예약을 도와주는 AI" 같은 프로그램이죠.

지금까지 이 AI 들을 훈련시킬 때, 연구자들은 항상 친절하고 협조적인 가상의 고객만 만들어서 테스트했습니다. 마치 "항상 웃으며 주문만 하고, 실수하지도 않는 이상한 고객"만 상대하는 식당 훈련생 같은 거죠.

하지만 현실은 어떨까요?

• "내게 없는 기능을 해줘!"라고 요구하는 고객 (불가능한 서비스 요청)
• "기차 표는 필요 없는데, 요즘 국제 정세 어때?"라고 딴지를 거는 고객 (관련 없는 대화)
• "왜 이렇게 느려? 빨리 해!"라고 화내는 고객 (조급함)
• "기차... 2 명... 14 시..."라고 말을 다 하지 않고 보내는 고객 (불완전한 문장)

이 논문은 이런 '예의 바르지 않은 (비협조적인)' 고객들을 시뮬레이션하는 새로운 AI를 만들었습니다. 그리고 이 AI 를 이용해 기존에 훈련된 AI 들이 얼마나 무너지는지, 그리고 어떻게 더 튼튼하게 만들 수 있는지 보여줍니다.

---

🎭 1. 새로운 훈련생: "비협조적 사용자 시뮬레이터"

저자들은 4 가지 유형의 '까다로운 고객'을 만들어냈습니다.

1. 불가능한 요구 (Unavailable Service): "내게 없는 기능 (예: 기차 좌석 선택) 을 해줘!"라고 요구합니다. AI 는 "그건 못 해"라고 해야 하는데, 많은 AI 가 여기서 길을 잃습니다.
2. 딴지 걸기 (Tangential): "기차 표는 알겠는데, 내 취미인 골프 이야기 좀 해줘"라고 합니다. AI 가 이를 무시하면 고객은 화를 내며 "내 말 안 들었어?"라고 따집니다.
3. 조급함 (Impatience): "왜 안 돼? 빨리 해!"라고 화를 냅니다. AI 는 "죄송합니다"라고 계속 사과하다가, 정작 해야 할 일 (기차 표 끊기) 을 잊어버리고 시간이 다 지나버립니다.
4. 말을 다 하지 않음 (Incomplete Utterances): "기차... 2 명"이라고만 하고 끝내버립니다. AI 가 "어디로?"라고 다시 물어봐야 하는데, AI 가 엉뚱한 정보를 만들어내기도 합니다.

핵심 특징: 이 시뮬레이터는 까다롭지만, 결국은 목적 (기차 표 끊기 등) 을 달성할 수 있도록 필요한 정보는 다 줍니다. 즉, "장난치는 게 아니라, 진짜 어려운 상황을 만들어내는 훈련용 인형"입니다.

---

📉 2. 실험 결과: "친절한 세상"만 아는 AI 의 비극

이론을 증명하기 위해, 최신 AI 모델들 (GPT-4, Qwen, Llama 등) 을 이 '까다로운 고객'들과 대화시켰습니다. 결과는 충격적이었습니다.

• 친절한 고객과 대화할 때: AI 들은 90% 이상 성공합니다. (마치 평범한 식당에서 주문만 하는 손님을 상대하는 것)
• 까다로운 고객과 대화할 때: 성공률이 뚝 떨어집니다. (특히 '딴지 걸기'나 '불가능한 요구' 상황에서)

왜 실패할까요?

• 할루시네이션 (환각): AI 가 없는 기능을 있는 것처럼 거짓말을 하거나, API 문서를 다시 다시 읽느라 시간을 다 써버립니다.
• 과도한 사과: 고객이 화를 내면, AI 는 "죄송합니다"를 30 번이나 반복하다가, 정작 해야 할 일을 못 하고 시간이 다 됩니다.
• 정보 놓침: 고객이 말을 다 하지 않았을 때, AI 가 필요한 정보를 추측해서 엉뚱한 API 를 호출합니다.

재미있는 점:

• 모델 크기가 크다고 무조건 좋은 건 아닙니다. 거대한 모델도 이 상황에서는 무너지고, 작은 모델도 잘 훈련되면 더 나을 수 있습니다.
• 친절한 데이터만 훈련하면 안 됩니다. 평소 '친절한 고객' 데이터만 가지고 훈련된 AI 는, 까다로운 고객이 나타나면 완전히 무너집니다.

---

🛠️ 3. 해결책: "현실적인 훈련"이 답이다

이 논문은 연구자들에게 중요한 메시지를 줍니다.

"AI 를 실제 세상에 투입하려면, 친절한 가상의 고객만 상대하게 하면 안 됩니다. 화내고, 딴지를 걸고, 말을 안 다 하는 진짜 고객들을 훈련시켜야 합니다."

저자들은 이 시뮬레이션 도구를 오픈소스로 공개했습니다. 이제 다른 연구자들도 이 도구를 써서, 자신들의 AI 가 '까다로운 고객'을 만나도 버틸 수 있는지 테스트하고, 더 튼튼하게 만들 수 있습니다.

---

💡 요약: 한 줄로 정리하면?

"지금까지 AI 는 '착한 학생'만 상대해 왔는데, 이젠 '까다로운 선생님'들도 상대할 수 있도록 훈련시켜야 진짜 세상에서 살아남을 수 있다!"

이 연구는 AI 가 단순히 지능만 높은 게 아니라, 실제 인간의 복잡하고 감정적인 행동에도 유연하게 대처할 수 있도록 만드는 중요한 디딤돌이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

• 현황: 최근 도구 에이전트 (Tool Agents) 는 사용자와의 다중 턴 대화 (Multi-turn Dialogue) 를 통해 다양한 작업을 수행합니다. 이를 개발하고 평가하기 위해 '사용자 시뮬레이터 (User Simulator)'가 널리 사용되고 있습니다.
• 한계: 기존 연구에서 사용된 대부분의 사용자 시뮬레이터와 학습 데이터는 **협력적 (Collaborative)**인 사용자 행동만을 모방합니다. 즉, 에이전트의 요청에 성실하게 응답하고 정보를 제공하는 '친절한' 사용자만 존재합니다.
• 실제 환경의 복잡성: 실제 배포 환경에서는 사용자가 에이전트의 능력 밖의 서비스를 요청하거나 (Unavailable Services), 본래 작업과 무관한 대화로 주제를 이탈하거나 (Tangential), 지연이나 실패에 대해 불만을 표출하거나 (Impatience), 불완전한 문장을 입력하는 (Incomplete Utterances) 등 **비협력적 (Non-collaborative)**인 행동을 보입니다.
• 연구 필요성: 이러한 비협력적 사용자에 대한 대응 능력이 부족하면 에이전트의 성능이 급격히 저하되거나, 환각 (Hallucination) 이 발생하거나, 대화 시스템이 붕괴될 수 있습니다. 따라서 현실적인 비협력적 사용자 행동을 시뮬레이션할 수 있는 프레임워크가 필요합니다.

2. 방법론 (Methodology)

저자들은 비협력적 사용자 시뮬레이션 프레임워크를 제안하며, 이는 크게 두 단계로 구성됩니다.

가. 비협력적 행동의 4 가지 범주 정의

마케팅 연구, 오픈 도메인 대화 연구, 실제 사용자 - 에이전트 상호작용 데이터를 기반으로 4 가지 주요 비협력적 행동을 정의했습니다.

1. 사용 불가능한 서비스 (Unavailable Services): 에이전트의 API 기능 범위를 벗어난 서비스 요청 (예: 좌석 선택이 불가능한 기차 예약 API 에 좌석 지정 요청).
2. 주제 이탈 (Tangential): 본래 작업과 무관한 개인적인 관심사나 배경 이야기를 섞어 대화 흐름을 방해하는 행동. 에이전트가 이를 무시할 경우 불만을 표출함.
3. 불안/조급함 (Impatience): 서비스 지연이나 반복된 실패 시 감정적으로 격앙되어 공격적인 언어, 위협, 또는 재촉을 하는 행동.
4. 불완전한 발화 (Incomplete Utterances): 최소 노력의 원칙 (Principle of Least Effort) 에 따라 의도가 명확하지 않거나 중간에 끊긴 메시지 전송 (예: "Book train, 2" 또는 "I want to res...").

나. 시뮬레이션 아키텍처

기존의 협력적 사용자 시뮬레이터 (Yao et al., 2024) 를 기반으로 하되, **목표 정렬 (Goal Alignment)**을 유지하면서 비협력적 행동을 주입하는 모듈을 추가했습니다.

• 핵심 메커니즘:
  • 대화 상태 추적기 (Dialogue State Tracker): 사용자가 전달해야 할 모든 정보 (Intent) 가 대화 중에 전달되었는지 모니터링합니다. 비협력적 행동을 하더라도 작업 완수를 위한 필수 정보는 반드시 전달되도록 보장합니다.
  • 행동 주입 모듈:
    • Unavailable Service: LLM 을 통해 원래 목표에 에이전트 API 로 처리 불가능한 조건을 자동으로 추가합니다.
    • Tangential: 페르소나 (Persona) 를 기반으로 주제 이탈 문장을 생성하고, 에이전트가 이를 무시할 경우 불만 문구를 생성하여 삽입합니다.
    • Impatience: 에이전트의 실패 알림이나 지연 시도를 감지하면, 분노 수준 (Anger Level) 을 점진적으로 높이며 공격적인 발화를 생성합니다.
    • Incomplete Utterance: 실제 대화 데이터 (LMSYS, WildChat) 의 패턴을 학습하여 문장을 자르거나 (Truncation) 불완전한 스타일로 변환 (Style Transfer) 합니다.
• 검증: 시뮬레이션이 종료되기 전, '종료 검증기 (Ending Verifier)'를 통해 모든 필수 정보가 전달되었는지 확인하고, 정보가 누락된 경우 대화를 계속 이어나가게 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 시뮬레이션 프레임워크 개발: 목표 정렬을 유지하면서도 4 가지 유형의 비협력적 행동을 자연스럽게 모방하는 확장 가능한 사용자 시뮬레이터를 제안했습니다. 단순 프롬프트 기반 접근법보다 더 도전적이고 현실적인 시나리오를 생성합니다.
2. 최첨단 에이전트의 취약점 규명: MultiWOZ 와 τ-bench 벤치마크를 통해 최신 LLM 기반 도구 에이전트들이 비협력적 사용자를 만날 때 성능이 크게 저하됨을 실험적으로 증명했습니다.
3. 실패 메커니즘 분석: 각 비협력적 행동 유형이 에이전트에 미치는 구체적인 영향을 분석했습니다.
   • 사용 불가능한 서비스: 에이전트가 도큐먼트를 반복 조회하거나 (Redundant API calls), API 결과를 환각 (Hallucination) 하는 경향 증가.
   • 주제 이탈: 핵심 작업 수행 실패 및 사용자 불만 증가로 인한 대화 종료.
   • 불안/조급함: 과도한 사과 (Apology) 발화로 인한 작업 지연 및 악순환.
   • 불완전한 발화: API 입력 파라미터의 환각 발생 및 오류 전파.
4. 파인튜닝 및 확장성 검증: 소규모 모델을 협력적 데이터만으로 학습시켰을 때 비협력적 상황에 취약함을 확인하고, 비협력적 데이터를 포함한 학습이 견고성 (Robustness) 을 향상시킬 수 있음을 보였습니다. 또한 ColBench 와 MINT 등 다른 벤치마크에서도 적용 가능성을 입증했습니다.

4. 실험 결과 (Results)

• 성능 저하: MultiWOZ 와 τ-bench 에서 모든 모델 (GPT-4.1-mini, Qwen, Llama 등) 이 비협력적 조건에서 성공률 (Success Rate) 이 유의미하게 감소했습니다. 특히 주제 이탈 (Tangential) 행동이 가장 큰 성능 저하 (평균 29.1% 감소) 를 유발했습니다.
• 모델별 차이:
  • GPT-4.1-mini: 가장 견고한 성능을 보였으나, 여러 비협력적 행동이 동시에 발생할 경우 성능이 급격히 떨어졌습니다.
  • Qwen 모델: 작은 모델 (30B) 이 큰 모델 (235B) 보다 특정 조건에서 더 나은 성능을 보이기도 하여, 모델 크기만으로 견고성을 판단할 수 없음을 시사했습니다.
  • 에러 패턴: 비협력적 조건에서는 에이전트가 API 문서를 반복적으로 조회하거나, 존재하지 않는 API 파라미터를 생성하는 (Hallucination) 오류가 빈번하게 발생했습니다.
• 파인튜닝 효과: 협력적 데이터만으로 파인튜닝된 모델은 비협력적 사용자에 대해 오히려 더 취약해졌습니다 (Overfitting). 반면, 비협력적 데이터를 균일하게 포함한 학습은 전반적인 성능을 향상시켰습니다.

5. 의의 및 결론 (Significance)

• 현실적인 에이전트 평가: 기존 연구가 간과했던 '비협력적 사용자'라는 현실적인 변수를 도입하여, 에이전트의 실제 배포 환경에서의 견고성을 평가할 수 있는 표준을 제시했습니다.
• 강건한 에이전트 개발 가이드: 에이전트가 특정 행동 (예: 주제 이탈, 불완전한 입력) 에 대해 어떻게 실패하는지 구체적인 메커니즘을 규명함으로써, 향후 더 견고한 대화 관리 및 도구 사용 전략을 개발하는 데 필요한 통찰을 제공합니다.
• 오픈 소스 및 확장성: 제안된 프레임워크는 MultiWOZ, τ-bench 뿐만 아니라 ColBench, MINT 등 다양한 도메인으로 확장 가능하도록 설계되었으며, 코드와 프레임워크를 공개하여 커뮤니티가 각자의 서비스 도메인에서 에이전트를 스트레스 테스트 (Stress-test) 할 수 있도록 지원합니다.

이 논문은 도구 에이전트 연구가 단순한 '협력적 시나리오'를 넘어, 복잡하고 예측 불가능한 실제 사용자 행동을 다룰 수 있는 단계로 나아가야 함을 강력히 주장합니다.