Bian Que: An Agentic Framework with Flexible Skill Arrangement for Online System Operations

다음은 논문 "BIAN QUE: 온라인 시스템 운영을 위한 유연한 스킬 배치 기능이 있는 에이전트 프레임워크"에 대한 상세한 기술 요약입니다.

1. 문제 제기

대규모 온라인 엔진 시스템 (검색, 추천, 광고) 의 운영은 릴리스 모니터링, 경고 대응, 그리고 근본 원인 분석 (RCA) 을 위해 상당한 인적 노력이 필요합니다. 대규모 언어 모델 (LLM) 에이전트는 자동화를 위한 길을 제시하지만, 현재 배포된 시스템들은 추론 능력이 아닌 오케스트레이션에서 치명적인 병목 현상에 직면해 있습니다.

• 컨텍스트 격차: 모든 사용 가능한 시스템 신호 (지표, 로그, 변경 이벤트) 를 무분별하게 LLM 에 입력하면 정보 희석과 환각 현상이 발생합니다.
• 지식 격차: 운영 지식 (매뉴얼, 실패 패턴) 은 종종 문서화되지 않았으며, 시스템 반복마다 변화하고 비즈니스 라인마다 다릅니다.
• 확장성 문제: 매일의 릴리스 양과 비즈니스 모듈의 결합적 복잡성을 고려할 때, 운영 이벤트와 진단에 필요한 특정 데이터/지식 간의 매핑을 수동으로 관리하는 것은 불가능합니다.
• 피드백 루프: 기존 시스템은 단일 피드백 신호가 검색 로직 (어떤 데이터를 가져올지) 과 지식 베이스 (이벤트에서 무엇을 배울지) 를 동시에 업데이트할 수 있는 메커니즘이 부족합니다.

2. 방법론: BIAN QUE 프레임워크

BIAN QUE 는 운영 워크플로우를 추상화, 오케스트레이션, 진화시키도록 설계된 에이전트 프레임워크입니다. 이는 세 가지 핵심 기둥으로 구성됩니다.

A. 통합 운영 패러다임

이 프레임워크는 이질적인 운영 작업을 세 가지 표준 패턴으로 추상화하며, 각 패턴은 전문 에이전트에 의해 처리됩니다.

1. 릴리스 인터셉션: 사고 발생 전 배포 중 시스템 행동을 모니터링하여 사고를 예방합니다.
2. 적극적 점검: 잠재적 위험을 식별하기 위한 주기적이고 포괄적인 건강 상태 점검입니다.
3. 경고 근본 원인 분석 (RCA): 경고가 발령된 후 문제를 진단하고 해결합니다.

모든 에이전트는 공통된 계산 구조를 공유합니다: $o = f_{LLM}(D(e), K(e), p_s)$, 여기서 $D(e)$는 검색된 데이터, $K(e)$는 운영 지식, $p_s$는 프롬프트입니다.

B. 유연한 스킬 배치

오케스트레이션 문제를 해결하기 위해 BIAN QUE 는 **스킬 (Skills)**을 도입합니다. 스킬은 특정 비즈니스 모듈 컨텍스트를 위한 오케스트레이션 단위로 작용하는 구조화된 문서입니다.

• 구조: 스킬은 LoadDataSchema(어떤 지표/로그/변경을 가져올지 지정하는 JSON), Prompt(추론 단계), 그리고 Meta(매칭을 위한 태그) 를 포함합니다.
• 수명 주기:
  • 생성: 새로운 비즈니스 모듈 조합이 발견되면, LLM 이 시드 설명자 (사용 가능한 데이터 소스 및 기능) 를 기반으로 스킬을 생성합니다. 데이터 소스가 유효한지 확인하기 위해 검증 및 재시도 루프를 거칩니다.
  • 업데이트: 실무자는 자연어를 통해 스킬을 수정할 수 있습니다. 시스템은 오류가 누락된 데이터 때문인지 (LoadDataSchema 업데이트), 아니면 결함 있는 추론 때문인지 (Prompt 업데이트) 를 자동으로 식별합니다.
• 직교성: 에이전트는 시나리오 로직 (예: "이 릴리스는 안전한가?") 을 처리하고, 스킬은 해당 모듈에 대한 구체적인 데이터/지식 검색을 처리합니다. 이를 통해 에이전트와 스킬을 독립적으로 반복 개선할 수 있습니다.

C. 통합 자기 진화 메커니즘

BIAN QUE 는 단일 실무자 수정 신호에 의해 주도되는 이중 경로 피드백 루프를 구현합니다.

1. 메모리에서 지식으로의 증류: 사례 기록은 즉각적인 패턴 인식을 위한 단기 메모리 저장소에 기록되고, 장기적인 영구 지식 (실패 패턴, 인과 관계) 으로 증류됩니다. 이 지식 베이스는 매뉴얼로 시드되고 매일 통합을 통해 업데이트됩니다.
2. 표적 스킬 정제: 동일한 피드백 신호가 스킬 업데이트 프로세스를 트리핑하여 데이터 검색 로직이나 추론 프롬프트를 정제합니다.

• 결과: 지식 베이스와 컨텍스트 조립 매핑이 공동 진화하여 분리된 업데이트 파이프라인의 필요성을 제거합니다.

3. 주요 기여

1. 통합 패러다임: 전체 O&M 수명 주기를 세 가지 방어선 (인터셉션, 점검, RCA) 으로 추상화하여, 전통적인 "경고 우선" 접근 방식을 넘어선 예방적 예방으로 이동합니다.
2. 유연한 스킬 배치: 정적 구성을 LLM 이 생성하고 인간이 수정할 수 있는 스킬로 대체하여, 이벤트를 관련 데이터 및 지식에 동적으로 매핑합니다.
3. 공동 진화 피드백: 하나의 피드백 신호가 에이전트의 검색 전략 (스킬) 과 도메인 지식 베이스를 동시에 개선하는 통합 메커니즘입니다.
4. 생산 환경 검증: 컵쇼 (Kuaishou) 의 이커머스 검색 엔진에 성공적으로 배포되어 실질적인 현실 세계의 영향을 입증했습니다.

4. 실험 결과

이 프레임워크는 수억 명의 사용자를 보유한 컵쇼 검색 엔진에서 6 개월 동안 평가되었습니다.

생산 환경 지표:

• 경고량 감소: 릴리스 인터셉션과 적극적 점검을 통해 발령된 경고를 75% 감소시켰습니다.
• 노이즈 감소: 실무자에게 도달하는 실행 불가능한 경고를 약 95% 감소시켰습니다.
• RCA 정확도: 주의가 필요한 경고에 대한 근본 원인 분석에서 **80%**의 정확도를 달성했습니다.
• MTTR: 평균 해결 시간을 50% 이상 단축했습니다.

오프라인 평가 (104 건의 실제 이벤트):

• 스킬 초기화: 자동 생성은 **78.8%**의 pass@1 비율을 달성했습니다. 5 회 재시도 시 이는 **94.2%**로 상승했습니다.
• 휴먼-인-더-루프: 나머지 실패 사례에 대한 자연어 수정 한 번으로 전체 통과율을 **97.1%**로 끌어올렸으며, 세 번의 수정으로 **99.0%**에 도달했습니다.
• Ablation 연구:
  • 유연한 스킬 제거 (정적 구성 사용) 는 pass@5 를 94.2% 에서 83.7% 로 떨어뜨려 동적 스킬 생성의 필요성을 입증했습니다.
  • 역사적 지식 검색 제거는 pass@5 를 86.5% 로 낮추어 축적된 도메인 지식의 결정적 역할을 보여주었습니다.
  • 피드백 루프: 피드백 경로가 없으면 13 일 동안 시스템 정확도가 약 75% 에서 약 32% 로 저하되었습니다. 피드백이 활성화되면 정확도는 80% 이상에서 안정적으로 유지되었습니다.

LLM 백본 민감도:

• 약 35B 파라미터 모델 (예: Qwen3.5-35B, GLM5, DeepSeek-V3.2) 은 비교 가능하고 견고한 성능을 보였습니다.
• 더 작은 모델 (예: 9B, 4B) 은 운영 추론 작업에서 치명적인 성능 저하를 보였으며, 이는 생산 환경 배포를 위한 최소 임계값을 시사합니다.

5. 의의

BIAN QUE 는 정적, 규칙 기반 AIOps에서 동적, 자기 진화형 에이전트 시스템으로의 전환을 의미합니다.

• 확장성: 매핑 로직 (스킬) 을 하드 코딩하는 대신 LLM 을 사용하여 생성하고 유지함으로써, 이벤트를 데이터에 매핑하는 "결합적 폭발" 문제를 해결합니다.
• 지속 가능성: 자기 진화 메커니즘은 지식 베이스나 검색 로직의 지속적인 수동 재설계 없이도 시스템이 급격한 시스템 변화에 적응하도록 보장합니다.
• 적극적 운영: 릴리스 인터셉션과 적극적 점검을 우선시함으로써, 운영 패러다임을 반응형 화재 진압에서 예방적 유지보수로 전환합니다.
• 일반성: 검색 엔진에 배포되었지만, 이 프레임워크는 비즈니스와 무관하며 표준 데이터 레이크 설명자와 모듈식 스킬 정의에 의존하므로 다른 대규모 온라인 시스템에도 적용 가능합니다.

이 논문은 LLM 기반 O&M 의 주요 과제는 모델의 추론 능력이 아니라 컨텍스트 조립 (올바른 데이터와 지식 선택) 이며, BIAN QUE 가 유연한 스킬과 자기 진화 아키텍처를 통해 이를 해결한다고 결론지었습니다.