Act or Escalate? Evaluating Escalation Behavior in Automation with Language Models

이 논문은 언어 모델의 자동화 의사결정에서 '행동'과 '상향 처리' 간의 균형을 평가하고, 이러한 행동이 모델마다 다르며 구조나 규모보다는 특정 학습 방식 (예: 사고 과정에 대한 SFT) 을 통해 더 견고하게 정렬될 수 있음을 보여줍니다.

핵심

이 논문은 **"인공지능 (AI) 이 스스로 판단할 때, 언제는 '스스로 결정'하고 언제는 '사람에게 물어봐야' 하는지"**에 대한 연구입니다.

쉽게 말해, AI 가 일을 할 때 **"내가 이거 맞을 거야! (직감)"**라고 믿고 바로 실행할지, 아니면 **"아니면 인간 전문가에게 한번 확인해 볼까? (의뢰)"**라고 망설일지 결정하는 **'대기실 vs 실행실'**의 문제를 다룹니다.

이 복잡한 내용을 일상적인 비유로 풀어서 설명해 드릴게요.

---

🍕 비유: 피자가게의 '신속 배달원' vs '신중 배달원'

가상의 피자가게를 상상해 보세요. 배달원 (AI) 이 주문을 받았습니다.
이제 배달원은 두 가지 선택을 해야 합니다.

1. 직접 배달 (Act): "내 직감이 맞을 거야!"라고 믿고 바로 배달을 나갑니다.
   • 리스크: 만약 주소가 틀렸다면 (오류), 고객은 화를 내고 가게는 손해 봅니다.
2. 주인장에게 물어보기 (Escalate): "혹시 주소가 틀릴까 봐 주인장 (사람) 에게 한번 확인해 볼까요?"라고 묻습니다.
   • 리스크: 주인장이 바쁘다면 시간이 걸리고 인건비가 듭니다.

이 논문은 **"어떤 AI 배달원이 얼마나 자주 주인장을 부르는지, 그리고 그 기준이 AI 마다 어떻게 다른지"**를 분석했습니다.

---

🔍 핵심 발견 1: AI 들은 '자신감'이 제각각입니다

연구진은 다양한 AI 모델 (Qwen, GPT, Llama 등) 을 테스트했는데, 놀라운 결과가 나왔습니다.

• 과신하는 AI (Overconfident): "내가 100% 맞아!"라고 생각하지만, 실제로는 틀릴 때가 많습니다.
  • 비유: "내 길찾기 실력이 최고야!"라고 믿는 배달원이, 지도를 잘못 보고 엉뚱한 곳으로 배달해 버리는 경우입니다.
• 과소평가하는 AI (Underconfident): "내가 틀릴지도 몰라..."라고 너무 걱정해서, 아주 쉬운 일도 주인장에게 다 맡깁니다.
  • 비유: "내가 실수할까 봐 무서워서"라는 이유로, 아주 간단한 주문도 주인장에게 확인을 요청하는 경우입니다.

중요한 점: AI 가 "내가 얼마나 똑똑한지"라고 말하는 것 (자신감) 과, 실제로 "얼마나 자주 주인장을 부르는지" (실제 행동) 는 서로 다릅니다. 어떤 AI 는 자신감은 넘치지만 매우 조심스럽게 행동하기도 하고, 어떤 AI 는 자신감은 없는데 대담하게 행동하기도 합니다.

📏 핵심 발견 2: 크기가 크다고 해서 더 똑똑한 건 아닙니다

"모델이 크고 복잡할수록 (고급형) 더 잘할 거야?"라고 생각하기 쉽지만, 이 연구는 그렇지 않다고 말합니다.

• 같은 회사의 '작은 AI'와 '큰 AI'를 비교해도, 의사결정 기준이 완전히 달랐습니다.
• 어떤 모델은 50% 만 맞으면 바로 실행하고, 어떤 모델은 90% 이상 맞아야 실행합니다.
• 결론: AI 의 '스케일 (크기)'만 보고 "이 모델은 위험할까, 안전할까?"를 판단할 수 없습니다. 실제로 테스트해 봐야만 알 수 있습니다.

🛠 해결책: 어떻게 AI 를 훈련시킬까?

연구진은 AI 가 올바른 결정을 내리도록 세 가지 방법을 시도했습니다.

1. 단순히 말해주기 (프롬프트): "실수하면 4 배 손해야!"라고 말해주기만 했습니다.
   • 결과: 별로 효과가 없었습니다. AI 가 말을 잘 들어주지 않았죠.
2. 생각하게 하기 (Thinking): "잠깐만, 이 상황을 차근차근 생각해 봐"라고 시켰습니다.
   • 결과: 조금 나아졌지만, 여전히 완벽하지는 않았습니다.
3. 생각 + 비용 설명 (Thinking + Cost): "실수하면 4 배 손해야. 그러니 차근차근 계산해 봐"라고 두 가지를 동시에 시켰습니다.
   • 결과: 대박! AI 가 상황을 정확히 이해하고, "이건 위험하니까 주인장에게 물어보자" 혹은 "이건 안전하니까 내가 해보자"를 완벽하게 구분했습니다.

🎓 최고의 해결책: '수업' 시키기 (SFT)

가장 강력한 방법은 AI 에게 **직접 가르치는 것 (Supervised Fine-Tuning)**이었습니다.
연구진은 AI 에게 "이런 상황에서는 이렇게 생각해서 결정해야 해"라는 **정답이 있는 과정 (Chain-of-Thought)**을 가르쳤습니다.

• 결과: AI 는 이제 어떤 상황에서도, 어떤 비용 구조에서도 최적의 결정을 내렸습니다. 심지어 훈련하지도 않은 새로운 상황 (새로운 도시의 피자 가게) 에도 잘 적용했습니다.

---

💡 이 연구가 우리에게 주는 교훈

1. AI 를 맹신하지 마세요: AI 가 "내가 할게"라고 할 때, 그것이 정말 안전한지 모릅니다. 각 AI 모델마다 '위험을 감수하는 성향'이 다릅니다.
2. 배포 전 테스트 필수: 회사에서 AI 를 도입하기 전에, "이 AI 는 언제 인간에게 넘겨줘야 할까?"를 미리 실험해 봐야 합니다.
3. 가르치는 것이 답입니다: 단순히 "조심해"라고 말하는 것보다, AI 에게 불확실성을 계산하고 비용과 이득을 저울질하는 법을 직접 가르치는 것이 가장 효과적입니다.

한 줄 요약:

"AI 는 스스로의 능력을 과신하거나 과소평가하는 경향이 있어, 어떤 모델을 쓰든 미리 '어디까지 믿고 어디까지 물어봐야 하는지'를 테스트하고, 올바른 의사결정 과정을 가르쳐야 실패를 막을 수 있습니다."

기술 요약

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 기반 에이전트가 중요한 의사결정을 자동화할 때, "자신의 판단을 실행할 것인가 (Act)" 아니면 "인간에게 위임할 것인가 (Escalate)" 를 결정하는 것은 자동화의 성패를 좌우하는 핵심 요소입니다.

• 현재의 한계: 기존 연구는 주로 속도, 정확도, 비용 절감에 집중했으나, 에이전트가 불확실한 상황에서 언제 인간에게 넘겨야 하는지에 대한 '위임 (Escalation) 행동'은 충분히 조명받지 못했습니다.
• 핵심 문제:
  1. 보정 불일치 (Miscalibration): 에이전트가 자신의 정확도를 과신하거나 과소평가하여, 실행해야 할 때 위임하거나 위임해야 할 때 실행하는 오류를 범합니다.
  2. 임계값의 불일치: 모델마다 실행과 위임 사이의 비용 (오류 비용 vs. 인간 노동 비용) 을 저울질하는 내재적 임계값 (Threshold) 이 크게 다르며, 이는 모델 아키텍처나 규모 (Scale) 로 예측할 수 없습니다.
  3. 잠재적 위험: 이러한 불일치와 임계값의 변동성은 대규모 자동화 워크플로우에서 치명적인 오류를 초래하거나 불필요한 인간 개입을 유발할 수 있습니다.

2. 방법론 (Methodology)

가. 실험 설계 및 데이터

• 모델: 4 개의 모델 패밀리 (Qwen3.5, GPT-5, Llama, Mixtral/Mistral) 에 속한 8 개의 모델 (소형 및 대형 변형) 을 평가했습니다.
• 작업: 인간 의사결정 데이터를 기반으로 한 5 가지 도메인 (호텔 예약 취소 예측, 대출 승인, 콘텐츠 중재, 콘텐츠 추천, 도덕적 딜레마) 에서 이진 분류 (Binary Decision) 작업을 수행했습니다.
• 프로토콜:
  1. 1 단계 (예측): 에이전트는 시나리오와 함께 '예측 신호 (Signal, 예: 결정 트리의 정확도)'를 받고 예측을 수행합니다.
  2. 2 단계 (위임 결정): 에이전트는 자신의 예측을 보고 실행 (Implement) 할지 인간에게 위임 (Escalate) 할지 결정합니다.
• 비용 구조:
  • $c_\ell$: 인간에게 위임할 때 발생하는 노동 비용.
  • $c_w$: 잘못된 예측을 실행했을 때 발생하는 오류 비용 ($c_w > c_\ell$).
  • 최적 임계값 ($\tau^*$): 에이전트는 자신의 정확도 추정치 $\hat{p}$가 $\tau^* = 1 - c_\ell/c_w$보다 낮을 때 위임해야 이론적으로 최적의 비용을 달성합니다.

나. 평가 지표

• 임계값 ($p^*$): 모델이 50% 의 위임률을 보이는 예측 정확도 수준. 이 값이 낮으면 공격적으로 실행하고, 높으면 과도하게 위임합니다.
• 보정 (Calibration): 모델의 자기 평가 정확도 (Self-estimated accuracy) 와 실제 정확도의 비교.

다. 개입 실험 (Interventions)

모델의 위임 행동을 교정하기 위해 다음 세 가지 방법을 테스트했습니다.

1. 프롬프팅 (Prompting): 비용 비율 (Cost Ratio) 명시, 사고 확장 (Thinking/Reasoning) 유도.
2. 지도 미세 조정 (SFT): 체인 오브 씽킹 (Chain-of-Thought) 을 통해 신호에서 정확도를 추출하고 기대 비용을 계산하는 과정을 학습시킴.

3. 주요 결과 (Key Results)

가. 모델별 위임 행동의 다양성 (Variability)

• 임계값의 불일치: 모델마다 위임 임계값 ($p^*$) 이 극단적으로 달랐습니다.
  • 예: Qwen3.5-9B 는 약 54% (낮은 정확도에서도 실행), GPT-5-nano 는 91% 이상 (높은 정확도에서도 위임).
  • 규모의 역설: 같은 패밀리 내에서도 크기가 커진다고 임계값이 일관되게 개선되지 않았습니다 (예: GPT-5-nano 와 GPT-5-mini 는 38%p 차이).
• 보정 오류: 대부분의 모델이 자기 평가를 잘못했습니다. 일부는 과신 (Overconfident), 일부는 과소평가 (Underconfident) 했으며, 이는 모델과 도메인에 따라 달랐습니다.

나. 개입 효과 (Intervention Efficacy)

1. 프롬프팅의 한계: 비용 비율만 명시하는 것은 효과가 미미했습니다.
2. 사고 확장 (Thinking): 추론 모델 (Reasoning Models) 의 경우, 사고 과정을 거치면 비용 정보를 처리하는 능력이 향상되었습니다.
3. 최적 조합: 사고 확장 + 비용 프레이밍을 결합했을 때, Qwen3.5-9B 와 GPT-5-mini 모두에서 샘플 수준의 의사결정 정확도가 크게 향상되었습니다 (예: GPT-5-mini 의 경우 64.7% → 87.1%).
4. 지도 미세 조정 (SFT) 의 압도적 성과:
   • 체인 오브 씽킹을 통해 "신호 기반 정확도 추출 → 기대 비용 계산 → 결정" 과정을 학습시킨 모델은 **거의 완벽한 정확도 (100%)**를 달성했습니다.
   • 이 모델은 학습하지 않은 도메인 (Held-out domains) 과 다양한 비용 비율에서도 일반화되었습니다.
   • 신호 (Signal) 를 제거하면 모델이 정확도를 착각 (Hallucination) 하여 성능이 급감하므로, SFT 는 명시적인 추론 절차를 내재화하는 데 결정적이었습니다.

4. 주요 기여 (Key Contributions)

1. 위임 행동의 모델 고유성 규명: LLM 의 위임 행동은 아키텍처나 규모로 예측 불가능한 '모델 고유 속성 (Model-specific property)'임을 실증했습니다.
2. 실무적 진단 프레임워크 제공: 배포 전 모델의 보정 상태와 임계값을 정량적으로 평가하는 방법론 (신호 기반 위임 곡선) 을 제시했습니다.
3. 강건한 정렬 (Alignment) 전략: 단순 프롬프팅보다는 명시적 불확실성 추론과 비용 계산을 학습시키는 SFT가 위임 행동을 최적화하는 가장 효과적인 방법임을 입증했습니다.

5. 의의 및 시사점 (Significance)

• 배포 전 검증의 필요성: LLM 에이전트를 자동화 시스템에 도입하기 전, 해당 모델이 "언제 인간에게 넘겨야 하는지"에 대한 고유한 성향을 반드시 실증적으로 파악해야 합니다.
• 비용 기반 의사결정 최적화: 단순한 정확도 향상이 아니라, 오류 비용과 위임 비용을 고려한 '기대 비용 최소화' 관점에서 모델을 설계하고 학습시켜야 합니다.
• 미래 방향: 추론 과정 (Chain-of-Thought) 을 통해 모델이 불확실성과 비용 구조를 명시적으로 이해하도록 훈련하는 것이, 안전하고 효율적인 자동화 에이전트 개발의 핵심 열쇠임을 시사합니다.

이 논문은 LLM 기반 자동화가 단순히 "정답을 맞추는 것"을 넘어, "언제 멈추고 인간에게 넘길지"라는 메타 의사결정 능력을 갖추는 것이 필수적임을 강조합니다.