Help Without Being Asked: A Deployed Proactive Agent System for On-Call Support with Continuous Self-Improvement

이 논문은 클라우드 플랫폼의 온콜 지원 과정에서 인간 분석가와 고객의 대화에 개입하여 도움을 제공하고, 해결된 사례를 통해 지속적으로 자기 개선하는 새로운 능동형 에이전트 시스템 'Vigil'을 소개하고, 이를 ByteDance 의 Volcano Engine 에 10 개월 이상 배포하여 그 효과와 실용성을 입증했습니다.

핵심

이 논문은 **"질문하지 않아도 알아서 도와주는 AI 비서 (Vigil)"**에 대한 이야기입니다.

클라우드 서비스 (구름처럼 떠다니는 컴퓨터 서버) 를 운영하다 보면 매일 수천 건의 고객 문의가 쏟아집니다. 보통은 사람이 직접 채팅으로 문제를 해결하죠. 하지만 사람이 너무 바빠서 답을 못 주거나, 해결이 안 되어 전문가에게 넘어가면 기존 AI 는 "내 역할 끝!"이라고 하고 사라져버립니다.

이 논문은 그런 **기존 AI 의 한계를 깨고, 사람이 개입한 후에도 계속 옆에서 도와주는 새로운 AI 시스템 'Vigil(비질)'**을 소개합니다.

이 시스템을 이해하기 쉽게 세 가지 비유로 설명해 드릴게요.

---

1. 기존 AI vs Vigil: "문지기"와 "보조교사"의 차이

• 기존 AI (반응형):
  imagine 하세요. 학교에 문지기가 있습니다. 학생이 "이 문제 풀어요"라고 하면 풀다가, "어? 이 문제는 내가 못 풀겠네"라고 하면 바로 **"자네는 선생님한테 가세요"**라고 하고 문을 닫아버립니다. 그 후 학생이 선생님과 대화하는 동안 문지기는 아무것도 하지 않습니다.

  • 문제점: 학생이 선생님과 대화하는 동안에도 문지기가 옆에서 "아, 이 부분은 제가 알아요!"라고 말해주지 못해서 학생은 기다려야 하고, 선생님은 바빠집니다.

• Vigil (적극형):
  Vigil 은 선생님의 옆에 앉은 똑똑한 보조교사입니다. 학생이 질문을 하고, 선생님이 "잠시만요, 확인해 볼게요"라고 할 때, Vigil 은 **"선생님, 이 부분은 제가 알고 있어요! 학생이 이해하기 쉽게 설명해 드릴까요?"**라고 자발적으로 말합니다.

  • 장점: 학생은 기다리는 시간이 줄고, 선생님은 복잡한 건만 해결하면 되니 업무가 훨씬 수월해집니다.

2. Vigil 의 핵심 능력: "실수에서 배우는 학습 능력"

Vigil 은 단순히 지식을 외운 게 아니라, 매번 대화할 때마다 스스로 성장합니다.

• 비유: 요리 레시피 장부
  기존 AI 는 처음에 쓴 레시피 장부만 보고 요리합니다. 만약 새로운 재료가 나오거나 레시피가 바뀌면, 장부를 다시 고쳐야 하므로 AI 는 당황합니다.
  하지만 Vigil 은 실시간으로 요리하는 주방에 있습니다.
  1. 실패에서 배우기: Vigil 이 "이렇게 하면 돼요"라고 말했는데 고객이 "아니요, 안 돼요"라고 하면, Vigil 은 바로 옆에서 선생님이 어떻게 해결하는지 지켜봅니다. 그리고 **"아! 내가 잘못 알았구나, 선생님이 하신 대로 고쳐야지!"**라고 레시피 장부를 즉시 수정합니다.
  2. 성공에서 배우기: 고객이 "고마워요, 잘 됐어요"라고 하면, Vigil 은 "내가 맞았네!"라고 그 경험을 장부에 추가합니다.
  3. 결과: 시간이 지나면 Vigil 은 처음보다 훨씬 똑똑해져서, 비슷한 문제가 또 생기면 사람이 개입하기 전에 이미 정답을 알려줍니다.

3. 실제 효과: "화재 진압"과 "지식 공유"

논문에는 실제 클라우드 플랫폼 (Volcano Engine) 에서 10 개월 이상 작동한 사례가 나옵니다.

• 상황: 서버가 갑자기 멈추는 큰 사고가 났습니다.
• 기존 방식: 첫 번째 고객이 문의했을 때, 기술자가 "수동으로 옮기세요"라고 해결책을 알려줬습니다. 하지만 두 번째 고객이 같은 문제를 문의했을 때, AI 는 여전히 "모르겠어요"라고 답하고 기다리게 했습니다.
• Vigil 방식: 첫 번째 고객이 해결된 직후, Vigil 은 그 내용을 바로 학습했습니다. 두 번째 고객이 문의하자마자 **"첫 번째 고객도 같은 문제였어요. 이렇게 수동으로 옮기시면 해결됩니다!"**라고 바로 알려주었습니다.
• 효과: 고객은 기다리는 시간이 줄었고, 기술자는 같은 말을 반복하지 않아도 되어 스트레스가 줄었습니다.

요약: 왜 이 기술이 중요한가요?

이 논문은 **"AI 가 사람 대신 모든 일을 다 하는 것"**을 목표로 하지 않습니다. 대신, **"사람이 일할 때 AI 가 옆에서 가장 필요한 순간에, 가장 필요한 정보를 쏙쏙 뽑아내서 도와주는 것"**을 목표로 합니다.

• 기존: "질문하면 답해줌" (질문 안 하면 침묵)
• Vigil: "질문하지 않아도 알아서 도와줌" + "매번 실수하고 배워서 더 똑똑해짐"

마치 스마트폰의 '자동 완성' 기능이 우리가 타이핑할 때 다음 단어를 예측하듯, Vigil 은 고객과 기술자의 대화 흐름을 읽어가며 "아, 지금 이 부분이 막혔네? 내가 도와줄까?"라고 자연스럽게 개입하는 최고의 디지털 동료라고 할 수 있습니다.

기술 요약

1. 문제 정의 (Problem)

대규모 클라우드 플랫폼에서는 매일 수천 건의 고객 지원 티켓이 생성되며, 이는 주로 실시간 채팅 대화를 통해 처리됩니다. 이로 인해 인간 지원 분석가에게 막대한 업무 부하가 발생합니다.

기존 연구들은 대규모 언어 모델 (LLM) 을 활용한 반응형 에이전트를 1 차 지원 라인으로 도입하여 고객 문의를 해결하려 했습니다. 그러나 이러한 접근 방식에는 두 가지 치명적인 한계가 존재합니다.

1. 조기 이탈 (Premature Disengagement): 반응형 에이전트는 고객이 명시적으로 요청할 때만 응답하며, 에이전트가 답변을 못 하거나 문제가 복잡해져 인간 분석가로 에스컬레이션 (Escalation) 되면 세션에서 즉시 이탈합니다. 이로 인해 인간 분석가가 개입한 후에도 에이전트가 해결 가능한 하위 질문들에 대한 지원 기회를 놓치고, 분석가의 업무 부담을 줄이지 못합니다.
2. 지식 갱신의 비효율성: 클라우드 환경은 동적으로 변화하며, 새로운 증상과 해결책은 실시간 대화에서 발생합니다. 기존 RAG(검색 증강 생성) 기반 에이전트는 수동으로 관리되는 지식 베이스에 의존하므로, 새로운 정보가 실시간으로 반영되지 않아 동일한 문제를 반복적으로 처리하거나 지연된 응답을 초래합니다.

2. 방법론 (Methodology)

저자들은 Vigil이라는 새로운 시스템을 제안합니다. Vigil 은 인간 분석가가 개입한 후에도 세션에 남아 사전적 (Proactive) 보조자 역할을 수행하며, 다음과 같은 두 가지 핵심 기능을 가집니다.

2.1 온라인 사전적 응답 (Online Proactive Response)

• 맥락 인식 질문 식별: Vigil 은 고객과 인간 분석가 간의 대화를 실시간으로 모니터링합니다. 고객이 새로운 질문을 던졌을 때, 이 질문이 Vigil 의 능력 범위 (클라우드 제품 및 운영 이슈) 내에 있는지, 아니면 인간 판단이 필요한지, 혹은 이미 해결된 것인지 분류합니다.
• 능동적 답변 생성: 질문이 범위 내에 있으면, Vigil 은 대화 맥락을 분석하여 질문을 명확화하고, 도메인 지식 베이스 (문서 및 과거 QA 쌍) 와 도구 호출 (로그, 경고 정보 등) 을 통해 답변을 생성합니다.
• 중복 응답 방지: 동일한 주제에 대해 반복적으로 답변하는 것을 방지하기 위해, 생성된 답변의 임베딩 벡터와 기존 대화 내 답변들의 유사도를 계산하여 임계값을 초과하면 응답을 억제합니다.
• 인터페이스 디자인: Vigil 의 답변은 인간 메시지와 구분되는 전용 '카드' 형태로 표시됩니다. 이는 AI 생성 콘텐츠임을 명시하고, 출처를 인용하며, '수락 (Accept)' 버튼을 통해 피드백을 수집합니다.

2.2 지속적 자기 개선 (Continuous Self-Improvement)

Vigil 은 단순한 응답을 넘어 대화 전체를 학습하여 지식 베이스를 자동으로 업데이트합니다.

• 미해결 질문 학습: Vigil 이 답변하지 못한 질문을 인간 분석가가 해결하면, 해당 해결책을 추출하여 새로운 QA 쌍으로 지식 베이스에 저장합니다.
• 해결된 질문 검토 (Answer Review): Vigil 이 답변을 제공했을 때, 고객이 명시적으로 수락하지 않더라도 Vigil 은 이후의 대화 흐름을 분석합니다.
  • Keep: 인간 분석가가 Vigil 의 답변과 일치하거나 추가 논의가 없으면 답변을 유지합니다.
  • Delete: 인간 분석가가 Vigil 의 답변과 완전히 다른 해결책을 제시하거나 정보가 오래되었으면 해당 참조를 삭제합니다.
  • Update: 답변에 미세한 차이가 있거나 맥락이 부족하면, 추가 정보를 반영하여 QA 쌍을 정제합니다.
• 외부 문서 학습: 대화 중 공유된 공식 문서 링크를 자동으로 파싱하여 체계적인 지식을 추출하고 지식 베이스에 통합합니다.

3. 주요 기여 (Key Contributions)

1. Vigil 시스템 제안: 1 차 반응형 에이전트를 대체하지 않고, 에스컬레이션 이후 인간 분석가와 협력하여 전체 온콜 수명 주기를 확장하는 사전적 에이전트 아키텍처를 제시했습니다.
2. 자동화된 자기 개선 메커니즘: 수동 지식 베이스 관리에 대한 의존도를 줄이고, 온콜 상호작용과 공유된 아티팩트로부터 지식을 지속적으로 학습하고 업데이트하는 메커니즘을 설계했습니다.
3. 실제 환경 배포 및 검증: ByteDance 의 Volcano Engine 생산 환경에서 10 개월 이상 Vigil 을 배포하고, 정량적 지표와 사례 연구를 통해 그 유효성과 실용성을 입증했습니다.

4. 실험 결과 (Results)

Vigil 은 2025 년 3 월부터 2026 년 1 월까지 Volcano Engine 에서 배포되어 총 131,433 건의 온콜을 처리했습니다.

• 확장된 지원 범위 (Q1): 인간 분석가가 개입한 후에도 Vigil 이 추가 지원을 제공한 온콜의 **40.5%**가 발생했습니다. 이는 에이전트가 에스컬레이션 후에도 계속 작동하여 분석가의 업무 부담을 줄이고 있음을 의미합니다.
• 질문 식별 정확도 (Q2): Vigil 의 질문 식별 모듈을 적용했을 때, 다양한 기반 모델 (GPT-5, Gemini, Qwen 등) 에서 성능이 크게 향상되었습니다. 특히 GPT-5-mini 의 경우 F1 점수가 203.2% 향상되었고, Qwen-VL-72b 는 202.0% 향상되었습니다.
• 답변 정확도 (Q3): 자기 개선 모듈이 포함된 전체 Vigil 시스템은 자기 개선 모듈이 없는 베이스라인 대비 답변 정확도가 크게 향상되었습니다. (예: Seed-1.6 모델 기준 282.6% 향상). 실제 배포 환경에서는 Vigil 이 식별하고 답변한 질문 중 **59.1%**가 정확하고 유용한 것으로 평가되었습니다.
• 중복 응답 방지 (Q4): 임계값 (Threshold) 0.7 에서 정밀도와 재현율의 균형을 이룬 최적의 성능 (Weighted F1-score 0.752) 을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 클라우드 온콜 지원 분야에서 반응형 에이전트에서 사전적 에이전트로의 패러다임 전환을 제시합니다.

• 실용적 가치: Vigil 은 인간 분석가의 업무 효율성을 높이고, 고객 대기 시간을 단축하며, 실시간으로 변화하는 지식을 자동으로 학습하여 시스템의 지능을 진화시킵니다.
• 기술적 통찰:
  • 지연 시간의 중요성: 온콜 환경에서는 복잡한 추론보다 실시간 응답 속도가 더 중요합니다.
  • 피드백의 모호성 처리: 명시적인 '수락' 버튼 누름이 없더라도 대화 맥락을 분석하여 답변의 정확성을 판단하는 메커니즘은 실제 환경에서의 학습 루프를 견고하게 만듭니다.
  • 모듈형 아키텍처: 다양한 기반 모델 (LLM) 에 적응하기 위해 복잡한 작업을 식별과 생성으로 분해하는 모듈형 설계가 현재로서는 가장 효과적입니다.

Vigil 은 인간과 AI 가 협력하여 온콜 지원을 수행하는 새로운 표준을 제시하며, 향후 자동화된 진단 및 행동 수행으로 확장될 수 있는 가능성을 보여줍니다.