Learning Selective LLM Autonomy from Copilot Feedback in Enterprise Customer Support Workflows

"Learning Selective LLM Autonomy from Copilot Feedback in Enterprise Customer Support Workflows" 논문의 상세 기술 요약입니다.

1. 문제 제기

기업 고객 지원 워크플로우에서 엔드투엔드 자동화를 위해 대규모 언어 모델 (LLM) 에이전트를 배포하는 것은 상당한 장애물에 직면해 있습니다:

• 오류 전파: 다단계 UI 상호작용에서의 작은 오류는 긴 시간 범위에서 누적되어 워크플로우 실패로 이어집니다.
• 비용과 복잡성: 전통적인 다단계 제어 루프는 규모가 커질수록 비용이 많이 들며, 빈번한 UI/프로세스 변경으로 인해 취약한 로봇 프로세스 자동화 (RPA) 나 수동으로 스크립트화된 흐름을 유지하기 어렵습니다.
• 안전성과 신뢰: 완전히 자율적인 에이전트는 민감한 비즈니스 프로세스 (예: 계정 변경) 에서 지원 품질을 저하시키거나 되돌릴 수 없는 오류를 초래할 위험이 있습니다.
• 데이터 부족: 웹 브라우징 벤치마크와 달리, 기업 워크플로우는 훈련을 위한 대규모 공개 데이터셋이 부족하며 도메인 로직은 매우 전문화되어 있습니다.

저자들은 선택적 자동화를 달성하는 시스템을 제안합니다. 이는 높은 확신의 단계는 자동화하고 불확실한 결정은 인간 운영자에게 위임함으로써 효율성과 안전성 사이의 균형을 맞춥니다.

2. 방법론

이 시스템은 모방 학습 (특히 DAgger) 에서 영감을 받은 단계적 배포 파이프라인을 사용하여 정책 (policy) 과 비평가 (critic) 를 훈련시키기 위해 세 단계를 거칩니다.

A. 데이터 표현 및 직렬화

• 스키마 기반 뷰: UI 변경에 취약한 원시 DOM 나 스크린샷에 의존하는 대신, 시스템은 비즈니스 프로세스 관리 (BPM) 인터페이스의 스키마 기반 JSON 표현을 추출합니다.
• 상태 - 행동 궤적: 운영자 세션은 $\{s_t, a_t\}$ 궤적으로 기록됩니다. 상태 $s_t$에는 채팅 기록, UI 컨텍스트 (고객 프로필, 활성 시나리오), 그리고 글로벌 공지사항이 포함됩니다. 행동 $a_t$는 메시지 작성, 탐색, 선택/양식 작성, 세션 관리의 네 가지 유형으로 분류됩니다.
• 입력 형식: UI 스냅샷과 행동은 고객 메시지, 운영자 행동, 업데이트된 UI 상태를 교차하는 시간 순서 대화로 병합되어 LLM 입력으로 사용됩니다.

B. 단계적 배포 파이프라인

1. 로깅 단계:
   • 전체 운영자 상호작용 궤적을 수집합니다.
   • 행동 복제 (상태를 기반으로 다음 행동 예측) 를 통해 지도형 미세 조정 (SFT) 으로 초기 **정책 모델 ($\pi_\theta$)**을 훈련합니다.
2. 코파일럿 단계:
   • 운영자에게 실시간으로 행동을 제안하기 위해 정책을 배포합니다.
   • 피드백 루프: 운영자는 제안을 수용하거나 수정합니다.
   • 중요 vs 비중요: 비중요 행동 (예: UI 탐색) 은 자동 실행될 수 있지만, 중요한 행동 (예: 메시지 전송, 채팅 종료) 은 인간의 승인이 필요합니다.
   • 이 단계는 특히 중요한 단계에 대해 수용/거부 라벨이 지정된 데이터를 생성합니다.
3. 선택적 자동화 단계:
   • 코파일럿 피드백을 사용하여 제안된 중요한 행동이 정확할 확률을 추정하는 **비평가 모델 ($c_\phi$)**을 훈련합니다.
   • 게이트 실행: 시스템은 비평가의 점수 $c_\phi(s, \hat{a}) \geq \tau$ (여기서 $\tau$는 보정된 임계값) 일 때만 행동 $\hat{a}$를 실행합니다.
   • 거부: 점수가 $\tau$ 미만인 경우, 제어는 인간 운영자에게 이양되며 운영자는 업데이트된 UI 상태에서 작업을 재개합니다.
   • 보정: 임계값 $\tau$는 비즈니스 정밀도 요구사항을 충족하도록 조정됩니다 (예: 자동화된 행동의 90% 가 인간에 의해 수용되도록 보장).

C. 안전성과 적응성

• 분포 외 (OOD) 처리: 시스템은 매일 유효성 검사 규칙을 사용하여 새로운 UI 요소를 감지합니다. 드리프트가 감지되면 영향을 받는 슬라이스에 대한 자동화가 비활성화되고 새로운 감독을 수집하기 위해 코파일럿 모드로 복귀합니다.
• 익명화: 훈련 데이터는 PII 를 보호하기 위해 엄격한 마스킹 (엔티티 교체, 세션 수준의 고유성) 을 거칩니다.
• 지속적 개선: 모델은 최근 데이터의 롤링 윈도우로 재훈련되며, 다양한 이슈 클러스터에 대해 슬라이스별 정책 - 비평가 쌍을 사용합니다.

3. 주요 기여

1. 생산 확장 가능한 단계적 배포: 수동 규칙 작성 대신 자연스럽게 발생하는 감독 (수용/거부) 을 활용하여 로깅에서 코파일럿을 거쳐 선택적 자동화로 전환하는 새로운 파이프라인.
2. 스키마 기반 상태 직렬화: 이미지 처리 없이 견고한 모니터링과 신뢰할 수 있는 도구 호출을 가능하게 하는 비주얼/스크린샷 기반 에이전트에서 BPM 인터페이스의 구조화된 JSON 표현으로의 전환.
3. 비평가 게이트 자율성: 궤적 피드백으로 훈련된 비평가와 SFT 훈련된 정책을 결합하여 오류 - 커버리지 트레이드오프를 관리하는 메커니즘으로, 높은 확신의 단계를 안전하게 백그라운드에서 실행할 수 있게 함.
4. 엔지니어링 프레임워크: 거절, 데이터 드리프트 처리, 폴백과 같은 안전 장치에 대한 포괄적인 문서화 및 제거 실험을 포함한 온라인 평가 프로토콜.

4. 실험 결과

이 시스템은 약 A/B 테스트 그룹당 15,000 명의 고객이 있는 라이브 생산 환경에서 평가되었습니다.

오프라인 결과

• SFT 의 필요성: 제로샷 프롬프팅 (GPT-5 나 Gemini 3 와 같은 대형 모델을 사용하더라도) 은 약 47% 의 도구 정확도만 달성했습니다. Qwen2.5-7B 모델에 대한 도메인 특화 SFT 는 79.15% 의 도구 정확도를 달성하여 기업 로직을 위해서는 전문화된 미세 조정이 필수적임을 입증했습니다.
• 데이터 혼합: 역사적 로그와 코파일럿 거부 수정을 혼합하면 어려운 사례에 대한 일반화가 향상되었습니다.
• 비평가 성능: SFT 훈련된 비평가는 신뢰도 기반 베이스라인보다 **정밀도 +3.84%**와 **F1 +3.03%**만큼 더 우수한 성능을 보였으며, 명시적인 인간 피드백에서 학습하는 것이 원시 모델 불확실성보다 우월함을 검증했습니다.

온라인 결과 (A/B 테스트)

• 효율성: 인간 전용 베이스라인과 비교하여 선택적 자동화 시스템은 평균 에이전트 시간 (AAT) 을 39% 감소시켰습니다 (227 초에서 139 초로).
• 품질: 해결 정확도 점수는 베이스라인과 비교하여 통계적으로 변화가 없었으며, 지원 품질의 저하가 없음을 확인했습니다.
• 자동화율: 시스템은 인간의 개입 없이 세션의 **45%**를 엔드투엔드로 완전히 자동화했습니다.
• 전통적 봇과의 비교: 규칙 기반 챗봇 베이스라인보다 AAT 를 16% 감소시켜 우위를 점했습니다.
• 점진적 이득: "강제 확인"에서 "자동화 가능 실행"으로 전환하면 AAT 가 추가로 25% 감소했습니다.

5. 중요성 및 결론

이 논문은 고위험 기업 환경에서 LLM 에이전트를 배포하기 위한 실용적이고 확장 가능한 경로를 보여줍니다.

• 패러다임 전환: 위험한 "완전 자율성"과 취약한 "정적 RPA"에서 벗어나 점진적이고 선택적인 자율성으로 이동합니다.
• 휴먼 - 인 - 더 - 루프: 시스템은 운영자를 "AI 편집자"로 간주하여 여러 동시 세션을 감독하고 시스템이 불확실할 때만 개입합니다.
• 일반화 가능성: 이 접근법은 상호작용 로그가 있는 모든 구조화된 인터페이스 워크플로우에 적용 가능하며, 규제 산업에서의 안전하고 효율적인 자동화를 위한 청사진을 제공합니다.

이 연구는 안전성이 모델의 능력을 제한함으로써가 아니라, 학습된 비평가와 변화하는 비즈니스 로직에 지속적으로 적응하는 단계적 배포 과정을 통해 실행을 게이트함으로써 달성됨을 강조합니다.