기술 요약: LinkedIn의 자기 진화형 에이전트 기반 고객 지원 시스템

문제 정의

엔터프라이즈 고객 지원은 제품 기능, 정책 및 지식 베이스가 지속적으로 진화하는 역동적인 환경에서 운영됩니다. 정적인 수동 프롬프트와 고정된 검색 파이프라인을 기반으로 구축된 기존의 "설정 후 방치(set-and-forget)" 방식의 AI 어시스턴트는 이러한 조건 하에서 취약해지고 유지 관리 비용이 많이 듭니다. 제품 출시, 콘텐츠 폐기 또는 API 업데이트와 같은 작은 상류(upstream) 변화는 환각(hallucination), 오래된 가이드 제공, 일관되지 않은 다국어 톤과 같은 퇴보를 유발할 수 있습니다. 기존의 프로덕션 에이전트는 이러한 퇴보를 감지하고, 특정 컴포넌트로 실패 지점을 국소화하며, 과도한 인간의 개입이나 비용이 많이 드는 파운데이션 모델 재학습 없이 적응할 수 있는 원칙적인 피드백 루프가 부족합니다.

방법론

저자들은 프롬프트, 검색 및 평가를 모듈형 프레임워크 내에서 버전 관리되는 아티팩트로 취급하는 폐쇄 루프(closed-loop) 자기 진화형 시스템을 제시합니다. 이 시스템은 파운데이션 모델의 미세 조정(fine-tuning)을 피하고, 대신 검색 증강 생성(RAG)과 프롬프트의 진화적 최적화에 의존합니다.

1. 시스템 아키텍처

시스템은 두 개의 결합된 루프로 작동합니다:

• 내부 추론 루프(Inner Inference Loop): 에이전트는 자동 프롬프트 엔진(Auto-Prompt Engine)의 시스템 프롬프트에 따라 조건화된 사용자 쿼리와 컨텍스트를 수신합니다. 에이전트는 RAG를 명시적인 액션(reasoning-and-acting 패러다임)으로 취급하여, 버전 관리되는 콘텐츠 레이크(도움말 문서, 학습 콘텐츠, 문서 등)로부터 증거를 검색할 시점과 방법을 결정합니다.
• 외부 최적화 루프(Outer Optimization Loop): 모듈형 평가 프레임워크가 에이전트의 출력을 점수화합니다. 이러한 적합도 신호는 자동 프롬프트 엔진으로 피드백되어, 진화적 탐색을 통해 시스템 프롬프트를 정교화합니다.

2. 자동 프롬프트 엔진 (Auto-Prompt Engine)

수동 프롬프트 개발의 병목 현상을 극복하기 위해, 시스템은 유전 알고리즘에 기반한 자동 프롬프트 엔지니어링 엔진을 채택합니다.

• 프로세스: 도메인 특화 비즈니스 규칙을 사용하여 후보 프롬프트의 인구 집단(population)을 초기화합니다. 여러 세대에 걸쳐 프롬프트는 선택, 교차(crossover), 변이(mutation)를 통해 진화합니다.
• 제약 조건: 비즈니스 규칙(안전, 정책, 톤)은 불변의 하드 제약 조건으로 취급됩니다. 이를 위반하는 프롬프트는 선택 전 필터링되거나 적합도를 0으로 할당받아, 진화적 이득이 준수성을 해치지 않으면서 정확성만을 목표로 하도록 보장합니다.
• 평가: 프롬프트는 규칙 기반 진단과 LLM 기반 판사(judge)의 조합을 사용하여 작업별 메트릭에 따라 평가됩니다.

3. 검색 증강 생성 (RAG)

시스템은 파라미터 모델의 메모리가 아닌 독점 지식에 근거하여 응답을 생성합니다.

• 동적 검색: RAG는 에이전트의 추론 루프 내에서 호출되는 도구로 노출되어, 모델이 언제 어떻게 쿼리를 던질지 결정할 수 있게 합니다.
• 버전 관리된 콘텐츠 레이크: 지식 베이스는 세 가지 소스로부터 통합되며 ETL 파이프라인을 통해 갱신됩니다. 콘텐츠는 제품, 로케일, 스냅샷 날짜 속성으로 태깅됩니다. 스냅샷 포인터는 검색 범위를 최신 버전으로 제한하여, 이전 콘텐츠를 삭제하지 않고도 이를 대체함으로써 재현 가능한 검색을 가능하게 합니다.
• 기법: 하이브리드 밀집-희소(dense-sparse) 검색 후 시맨틱 재순위화(re-ranking)를 거쳐 출처(provenance)가 포함된 순위화된 문서를 반환합니다.

4. 모듈형 평가 프레임워크

규모(36개 이상의 언어)와 지식 드리프트(knowledge drift)를 고려하여, 시스템은 정적인 골드 셋(gold sets) 대신 모듈형 에이전트 인식 프레임워크를 사용합니다.

• 차원: 품질은 근거(grounding), 의도 정렬(intent alignment), 도구 실행 정확성, 다국어 충실도와 같이 해석 가능한 신호로 분해됩니다.
• 메커니즘: 특화된 평가 에이전트는 규칙 기반 체크와 LLM 판단을 결합합니다. 다국어 품질의 경우, 모듈은 번역되지 않은 구간을 감지하고, 용어를 검증하며, 유창성(예: XGLM perplexity 활용)을 측정합니다.
• 피드백: 신호는 인간의 주석과 캘리브레이션된 합의 레이어를 통해 집계되며, 최적화를 유도하기 위해 버전 관리되고 재생 가능한 형식으로 저장됩니다.

5. 엔지니어링 및 배포

프로덕션 아키텍처는 신뢰성과 안전한 반복을 우선시합니다:

• 오케스트레이션 및 폴백(Fallback): 경량 레이어가 결정론적 라우팅과 우아한 성능 저하(graceful degradation)를 통해 트래픽을 중재하며, AI 컴포넌트가 저하될 경우 인간 지원으로 폴백합니다.
• 코드보다 설정(Configuration over Code): 프롬프트와 정책은 동적으로 조립됩니다. 진화 결과는 코드 배포가 아닌 설정 및 아티팩트 업데이트를 통해 전달됩니다.
• 버전 관리된 메모리: 시스템은 무제한적인 장기 기억을 피합니다. 감사 가능성과 롤백 능력을 보장하기 위해 지식은 명시적으로 버전 관리되고 평가된 아티팩트를 통해서만 승격됩니다.
• 텔레메트리: 실행 텔레메트리는 모니터링과 자동 평가를 위한 기질(substrate) 역할을 하며, 게이트형 배포를 위한 제어 평면(control plane)을 형성합니다.

주요 기여

1. 엔드 투 엔드 자기 진화형 에이전트: 폐쇄 루프 평가 및 최적화를 통해 파운데이션 모델을 재학습시키지 않고도 지속적인 상류 변화 속에서 신뢰성을 유지하는 시스템.
2. 자동 프롬프트 진화 엔진: 기업의 제약 조건에 적합한 유전 알고리즘 기반 엔진으로, 톤, 정책 및 다국어 능력을 최적화함.
3. 모듈형 평가 프레임워크: 대규모 디버깅을 위해 품질을 실행 가능한 차원으로 분해하는 멀티 신호 프레임워크.
4. 버전 관리된 RAG-및-도구 레이어: 재현성, 안전한 롤아웃 및 롤백을 지원하는 인프라.

실험 결과

오프라인 시뮬레이션 및 절제 연구(Ablations)

• RAG 성능: 전체 Support AI 에이전트는 **<0.1%**의 환각률과 **87.8%**의 완결성을 달성하였으며, 이는 Vanilla RAG(환각 5.3%, 완결성 78.7%) 및 기타 에이전트 기반 RAG 베이스라인을 크게 상회하는 수치입니다.
• 프롬프트 최적화: 교차(crossover)와 변이(mutation)를 모두 사용한 진화적 탐색은 평균 프롬프트 정확도를 두 세대 만에 **62.6%에서 68.0%**로 높였으며, 최적의 프롬프트는 **73.3%**에 도달했습니다. 두 연산자 중 하나라도 제거하면 조기 포화 현상이 발생했습니다.
• 평가자 신호: 근거성(Groundedness)이 평가자 신뢰도의 핵심 동인으로 식별되었으며, 이를 제거했을 경우 인간 라벨과의 정렬도가 11% 하락했습니다. 모든 신호를 단일 점수로 통합했을 때 정렬도가 가장 낮았습니다(67%).
• 다국어 평가: 모듈형 멀티 에이전트 평가자는 영어-중국어 번역 작업에서 **84.8%**의 정확도를 기록하여, COMET(49.7%) 및 단일 에이전트 LLM 판사(76.5%)를 능가했습니다.

온라인 A/B 테스트

LinkedIn의 프로덕션 트래픽을 대상으로 진행된 2주간의 무작위 실험에서 기존 프로덕션 에이전트와 통합된 자기 진화 워크플로우를 비교했습니다:

• QA 셀프 서비스: 9.0 퍼센트 포인트 증가 (33.7% $\rightarrow$ 42.7%).
• 해지 셀프 서비스: 4.8 퍼센트 포인트 증가 (61.9% $\rightarrow$ 66.6%).
• 라우팅 정확도: 30.6 퍼센트 포인트 증가 (38.2% $\rightarrow$ 68.8%).
• 안전성: 에스컬레이션 비율, 피드백 점수, 지연 시간 또는 모더레이션 사고에서 어떠한 퇴보도 관찰되지 않았습니다.

의의 및 한계점

본 논문은 실제 엔터프라이즈 환경에서 확장 가능한 자기 진화형 AI 에이전트로 가는 실질적인 경로를 보여줍니다. 프롬프트, 검색 및 평가를 버전 관리되고 최적화 가능한 아티팩트로 취급함으로써, 파운데이션 모델 재학습의 지연 시간과 비용 없이 급격한 지식 및 정책 변화에 적응할 수 있음을 입증합니다.

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 평가자 의존성: 시스템은 LLM-as-judge 평가자에 의존하므로, 변동성을 특성화하기 위해 오픈 평가 도구와의 추가적인 교차 검증이 필요합니다.
• 비용 및 지연 시간: 유전 탐색은 추론 비용을 발생시키며 한 사이클당 수 시간에서 수 일이 소요됩니다.
• 범위: 온라인 연구는 2주간의 단일 엔터프라이즈 배포로 제한되었습니다.
• 기여도 산정: 온라인 결과는 통합된 워크플로우를 반영합니다. 각 컴포넌트의 한계 기여도를 격리하기 위해서는 요인별(factorial) 배포가 필요합니다.
• 검색의 천장: 시스템 성능은 기초가 되는 콘텐츠 레이크의 커버리지에 의해 제한됩니다. 권위 있는 문서가 누락된 경우, 에이전트는 환각을 억제할 수는 있지만 올바른 답변을 합성해낼 수는 없습니다.
• 의존성: 프로덕션 시스템은 폐쇄형 모델 및 검색 백엔드에 의존하지만, 이 접근 방식은 이론적으로 오픈 소스 대응물로도 가능합니다.