기술 요약: 1억 명 규모의 사용자 환경을 위한 고객 지원 AI 에이전트 구축

문제 정의

대규모 언어 모델(LLM)의 급격한 발전은 복잡한 과업을 수행하는 AI 에이전트를 가능하게 했으나, 실제 운영 가능한 고객 접점용 에이전트를 대규모로 배포하는 것은 여전히 큰 도전 과제로 남아 있습니다. 특히 은행업과 같이 고도의 신뢰성이 요구되는 고객 지원(CS) 도메인에서, 에이전트는 다음과 같은 독특한 제약 사항에 직면합니다:

• 높은 신뢰성 임계치: 단 한 번의 실패가 신뢰를 무너뜨리고 고객 이탈을 유발할 수 있으며, 금융상의 실수는 막대한 손실로 이어질 수 있습니다.
• 데이터 민감도: 에이전트는 엄격한 개인정보 보호 및 규제 제약 하에서 실제 고객 데이터(잔액, 거래 내역 등)를 처리해야 합니다.
• 전문화와 다양성의 공존: 에이전트는 좁고 도메인 특화된 도구 세트(5~15개)를 활용하지만, 상당한 수준의 엣지 케이스(edge-case) 다양성을 처리해야 합니다.
• 매끄러운 핸드오프(Handoff): 에이전트는 인간 참여형(human-in-the-loop) 워크플로우 내에서 작동해야 하며, 자동화가 실패할 경우 모든 맥락을 보존한 채 제어권을 전달해야 합니다.

식별된 핵심적인 간극은 평가 방법론, 컨텍스트 엔지니어링, 학습, 그리고 온라인 측정 방식이 일반적으로 개별적으로 개발된다는 점입니다. 이는 배포 후에야 나타나는 "사각지대"를 만들어, 반복 속도를 늦추고 운영상의 실패 위험을 높입니다.

방법론: 평가 중심의 프레임워크

저자들은 1억 명 이상의 사용자를 보유한 기업에서 검증된, 오프라인 개발과 온라인 임팩트를 연결하는 통합 프레임워크를 제시합니다. 핵심 철학은 평가 파이프라인의 품질이 곧 반복 속도(iteration velocity)를 결정한다는 것입니다.

1. 모듈형 컨텍스트 엔지니어링 (Modular Context Engineering)

단일한 형태의 프롬프트 대신, 이 시스템은 구성 요소들을 독립적으로 관리하는 시맨틱 버전 관리 기반의 모듈형 아키텍처를 채택합니다:

• 지침 (Instructions): 역할 정의, 행동 제약 조건 및 컴플라이언스 가드레일.
• 루틴 (Routines): 인간의 표준 운영 절차(SOP)(예: 카드 배송 조사 플로우)에서 유도된 순차적인 단계별 절차.
• 매크로 (Macros): 에이전트에 의해 적응되는 사전 작성된 응답 템플릿.
• 도구 사양 (Tool Specifications): 재조합이 가능하도록 독립적으로 기술된 도구 설명(스키마, 입출력, 호출 조건).
• 작업 메모리 (Working Memory): 중복 호출을 방지하기 위해 대화 상태를 추적하는 지속적인 스크래치패드(scratchpad).

2. 엄격한 평가 파이프라인

본 프레임워크는 특정 신뢰도 조치를 강화한 LLM-as-a-Judge(판사로서의 LLM) 접근 방식을 활용합니다:

• 인간 참여형(HITL) 반복: 도메인 전문가가 이진 라벨(binary labels)과 텍스트 근거를 사용하여 데이터를 주석 처리합니다.
• GEPA 최적화: 시스템은 GEPA(DSPy 프레임워크 내)를 사용하여 판사 프롬프트를 자동 최적화합니다. 강력한 모델이 오류를 비판하고 인간의 피드백을 바탕으로 수정안을 합성하여 일관성을 최적화합니다.
• 평가자 간 신뢰도 (Inter-Rater Reliability, IRR): 프레임워크는 여러 판사 모델 간의 최소 합의 임계값(Cohen's $\kappa$로 측정)을 강제합니다. 프롬프트는 서로 다른 모델 아키텍처(예: GPT-4.1, GPT-5, o3) 간에 안정적인 점수를 산출할 때만 신뢰할 수 있는 것으로 간주됩니다.
• 교차 모델 검증 (Cross-Model Validation): 잘 설계된 루브릭(rubric)이 특정 판사 모델에 관계없이 안정적인 점수를 생성하는지 확인합니다.

3. 개발 라이프사이클

프로세스는 두 개의 중첩된 루프(nested loops)로 운영됩니다:

• Fast Loop (빠른 루프): 오프라인 평가 결과(시뮬레이션 점수)가 즉각적인 프롬프트 수정을 유도합니다. 평가자가 실패를 감지하면, 특정 프롬프트 구성 요소를 정밀하게 수정하고 재평가합니다.
• Slow Loop (느린 루프): 온라인 지표(A/B 테스트로부터의 데이터)가 새로운 루틴 추가나 도구 인터페이스 재설계와 같은 아키텍처 변경에 정보를 제공합니다.

4. 인프라 및 배포

• 도구 설계: 지연 시간과 오류를 줄이기 위해 다단계 로직을 단일 도구로 래핑하여, 도구가 멱등성(idempotency)과 결정론적 오케스트레이션을 갖도록 설계되었습니다.
• 점진적 배포: 새로운 에이전트는 1~5%의 트래픽으로 배포되며, 확신도에 따라 인간 에이전트로 에스컬레이션됩니다.
• 모델 이식성: 모듈형 아키텍처를 통해 전체 시스템을 다시 작성하는 대신 특정 프롬프트 구성 요소를 조정함으로써, 파운데이션 모델 간의 신속한 전환(예: GPT-4.1에서 GPT-5로)이 가능합니다.

주요 기여

1. 통합 프레임워크: 에이전트 아키텍처, 프롬프트 버전 관리, 오프라인 평가, 온라인 측정을 연결하는 폐쇄 루프 시스템.
2. 모듈형 컨텍스트 엔지니어링: 지침, 루틴, 매크로, 도구를 독립적으로 버전 관리할 수 있는 디자인 패턴.
3. 보정된 LLM-as-a-Judge 파이프라인: 평가자 간 신뢰도 요구사항, GEPA 최적화된 판사 프롬프트, 교차 모델 검증을 특징으로 하는 엄격한 평가 시스템.
4. 실제 운영 검증 결과: 다섯 가지 뚜렷한 프로덕션 유즈케이스(카드 배송, 채무 관리, 신용 한도, 카드 관리, 상품 설명)를 통한 실증적 증거.

결과

본 프레임워크는 다섯 가지 프로덕션 유즈케이스에서 검증되었으며, 카드 배송(Card Delivery) 에이전트가 주요 사례 연구로 활용되었습니다.

카드 배송 배포 (주요 결과)

• 고객 만족도: 이전 버전 대비 AI 거래적 순추천지수(tNPS)에서 37 퍼센티지 포인트(p.p.) 개선을 달성했습니다.
• 자동화: 셀프 서비스율(SSR)에서 29 p.p. 상승을 달성했습니다.
• 인간 수준 도달: 최종 AI tNPS는 전문 상담사와 10 p.p. 이내의 차이를 기록했습니다.
• 오프라인-온라인 상관관계: 오프라인 평가 실패율과 온라인 tNPS/SSR 상승 사이의 강력한 양의 상관관계가 관찰되었습니다. 가장 큰 오프라인 개선을 보인 버전(예: V10)이 가장 높은 온라인 성과를 냈습니다.

교차 도메인 성과

다섯 가지 도메인 전반에 걸쳐 프레임워크는 일관된 성과를 냈습니다:

• 채무 관리 (Debt Management): +40 p.p. tNPS 상승 (단, 도메인의 복잡성으로 인해 인간과의 격차인 -23.6 p.p.가 여전히 존재함).
• 신용 한도 (Credit Limit): +4.5 p.p. tNPS 상승; 컨텍스트 및 공감 능력에 대한 평가자 실패율이 크게 감소함.
• 카드 관리 (Card Management): +38.3 p.p. tNPS 상승.
• 상품 설명 (Product Explainer): +12.3 p.p. tNPS 상승.

평가 파이프라인의 효능

• 프롬프트 최적화: 자동 최적화(GEPA)는 수동 프롬프트 엔지니어링 및 다수결 기반 베이스라인보다 일관되게 우수한 성능을 보였습니다. 예를 들어, Eval E3에서 정확도는 수동 방식의 58.07%에서 최적화 후 73.01%로 상승했습니다.
• 평가자 간 합의 (Inter-Rater Agreement): 최적화되지 않은 "스타터" 프롬프트는 모델 간 합의도가 미미했습니다 ($\kappa \approx 0.00$ ~ $0.10$). GEPA 최적화 프로ンプ트는 합의도를 크게 높였습니다 (예: GPT-4.1과 GPT-4.1-mini 간 $\kappa = 0.745$; 추론 집약적 모델 간 $\kappa = 0.950$).

의의 및 주장

본 논문은 평가 품질이 반복 속도를 결정하는 주요 요인이라고 주장합니다. 보정된 판사와 엄격한 평가자 간 합의를 통해 신뢰할 수 있는 "빠른 루프(fast loop)"를 구축함으로써, 팀은 희소한 온라인 신호가 나타날 때까지 기다리지 않고도 오프라인에서 확신을 가지고 반복 작업을 수행할 수 있습니다.

저자들은 본 프레임워크가 오프라인 시뮬레이션과 온라인 현실 사이의 간극을 성공적으로 메웠음을 입증하며, 평가 기반 개발이 프로덕션의 임팩트를 안정적으로 예측함을 보여줍니다. 이 방법론은 다양한 고객 지원 도메인에 걸쳐 일반화될 수 있음을 증명하며, 조직이 높은 품질, 컴플라이언스, 고객 만족도를 유지하면서 1억 명 이상의 사용자에게 AI 에이전트를 확장할 수 있도록 합니다. 이 연구는 AI 에이전트가 많은 도메인에서 인간 수준의 성능에 도달할 수 있지만, 가장 어려운 과업(예: 채무 관리)에는 여전히 세심한 인간의 감독과 반복적인 정교화가 필요함을 강조합니다.