AOI: Turning Failed Trajectories into Training Signals for Autonomous Cloud Diagnosis

이 논문은 민감한 데이터 유출 없이 안전한 실행 환경을 보장하며 실패한 운영 궤적을 학습 신호로 전환하는 훈련 가능한 다중 에이전트 프레임워크 'AOI'를 제안하여, 기존 SRE 자동화 방식의 한계를 극복하고 진단 및 복구 성능을 획기적으로 향상시켰음을 보여줍니다.

핵심

이 논문은 **"AOI(Autonomous Operations Intelligence)"**라는 새로운 시스템을 소개합니다. 쉽게 말해, **클라우드 서버가 고장 났을 때, 사람이 개입하지 않고 AI 가 스스로 문제를 찾아서 고쳐주는 '자동 수리 로봇'**을 만든 연구입니다.

하지만 기존 AI 들은 두 가지 큰 문제를 겪고 있었습니다.

1. 안전 문제: AI 가 실수로 중요한 데이터를 지우거나 서버를 망가뜨릴까 봐, 기업들은 AI 를 신뢰하지 못합니다.
2. 학습의 한계: AI 가 실패하면 그 실패 기록을 버려버립니다. 그래서 같은 실수를 반복하거나, 실패에서 배우지 못해 똑똑해지지 못합니다.

이 논문은 이 두 문제를 해결하는 세 가지 창의적인 방법을 제안합니다.

---

1. "수사관, 감시자, 집행관" 삼인조 (안전한 역할 분담)

기존의 AI 는 "문제 찾기도 하고, 고치기도 하고" 하는 일을 한 사람이 다 했습니다. 그래서 실수하면 큰일 납니다. AOI 는 이를 세 명의 전문가로 나누어 안전을 보장합니다.

• 탐정 (Probe): 서버 상태를 살피고 로그를 읽는 역할입니다. 절대 건드리지 않습니다. (읽기 전용)
• 수사관 (Observer): 탐정이 가져온 정보를 분석하고 "어디가 고장 났을까?" 추리를 합니다. 하지만 직접 손대지는 못합니다.
• 집행관 (Executor): 수사관이 "이게 문제야!"라고 확신하고 명령을 내리면, 마지막에 한 번 더 확인하고 고칩니다. (쓰기 권한)

비유: 마치 병원을 생각해보세요.

• **간호사 (Probe)**는 환자의 체溫和 혈압을 재서 기록합니다. (치료 불가)
• **의사 (Observer)**는 기록을 보고 "아, 이 환자는 폐렴이네"라고 진단합니다. (약 처방 불가)
• **약사/수술팀 (Executor)**은 의사의 처방전을 받고 약을 주거나 수술을 합니다.
  이 방식 덕분에 의사가 실수해서 환자를 죽일 확률이 극도로 낮아집니다.

2. "실패 노트"를 보물 지도로 바꾸기 (실패에서 배우기)

기존에는 AI 가 고장 난 서버를 고치려다 실패하면, 그 기록은 그냥 쓰레기통에 버렸습니다. AOI 는 이를 보물로 바꿉니다.

• 역발상 (Evolver): AI 가 실패한 기록을 가져와서, "어디가 잘못됐지? 만약 이렇게 했다면 어땠을까?"라고 다시 생각합니다.
• 수정된 지도: 실패한 경로를 고쳐서 "다음엔 이렇게 해라"라는 수정된 지도를 만듭니다.
• 학습: 이 수정된 지도를 AI 에게 보여주고, "이게 더 좋은 방법이야"라고 가르칩니다.

비유: 미로 찾기 게임을 한다고 상상해보세요.

• 기존 AI 는 미로에서 벽에 부딪히면 "아, 실패!" 하고 게임을 종료하고 다시 처음부터 시작합니다.
• AOI 는 벽에 부딪힌 기록을 가져와서, "아, 여기는 벽이니까 오른쪽으로 가야겠구나"라고 수정된 지도를 만듭니다.
• 그리고 이 지도를 다른 AI 에게 보여줘서, 다음엔 그 벽을 피하게 합니다. 실패가 곧 학습이 되는 것입니다.

3. "작은 두뇌"도 "천재"가 될 수 있게 (작은 모델의 성장)

보통 클라우드를 관리하려면 엄청나게 크고 비싼 AI(거대 모델) 가 필요하다고 생각했습니다. 하지만 AOI 는 **작은 AI(140 억 개 파라미터)**로도 충분히 잘할 수 있게 만들었습니다.

• GRPO(그룹 상대적 정책 최적화): AI 가 여러 가지 답을 내보내고, 그중에서 가장 좋은 답을 고르는 방식으로 스스로를 훈련시킵니다.
• 결과: 작은 AI 가 이 훈련을 받으면, 비싼 거대 AI(Claude Sonnet 등) 보다도 더 잘 문제를 해결합니다.

비유: 수학 경시대회를 생각해보세요.

• 거대 AI 는 이미 모든 문제를 외운 '천재 학생'입니다. 하지만 비싸고 무겁습니다.
• AOI 의 작은 AI 는 '평범한 학생'이지만, **실패한 문제를 분석하고 해설을 공부하는 방법 (GRPO)**을 배웠습니다.
• 그 결과, 평범한 학생이 해설을 공부한 뒤에는 천재 학생보다도 문제를 더 빠르게, 정확하게 풀게 됩니다.

---

요약: 왜 이 연구가 중요할까요?

1. 안전합니다: AI 가 함부로 서버를 고치지 못하게 문이 여러 개 있습니다 (읽기/쓰기 분리).
2. 스마트합니다: 실패를 버리지 않고, 실패를 통해 스스로를 업그레이드합니다.
3. 경제적입니다: 비싼 거대 AI 를 쓰지 않아도, 작은 AI 로서도 최고의 성능을 냅니다.

이 기술이 실용화되면, 서버가 고장 나면 사람이 밤새워 수리할 필요 없이, AI 가 스스로 "아, 여기가 고장 났네. 고쳐보자"라고 말하며 24 시간 내내 안전한 클라우드 환경을 유지해 줄 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

현대 디지털 인프라의 안정성을 보장하는 사이트 신뢰성 엔지니어링 (SRE) 분야는 복잡성이 증가함에 따라 자동화의 필요성이 급증하고 있습니다. 대형 언어 모델 (LLM) 에이전트는 이러한 자동화에 유망한 접근법으로 부상했으나, 기업 환경에서의 실제 배포는 다음과 같은 세 가지 근본적인 장벽에 직면해 있습니다.

1. 데이터 접근성 제한: 기업 내부의 민감한 운영 데이터 (Proprietary operational data) 에 대한 접근이 제한되어 있어, 폐쇄적인 시스템이 실패 사례로부터 학습하기 어렵습니다.
2. 안전성 (Safety) 문제: 권한이 관리되는 환경에서 에이전트가 위험한 작업 (시스템 상태 변경 등) 을 수행할 경우, 실수로 인한 시스템 장애가 발생할 수 있습니다. 기존 에이전트는 진단 (Read) 과 조치 (Write) 권한이 혼재되어 있어 안전성을 보장하기 어렵습니다.
3. 실패 궤적의 활용 불가: 기존 시스템은 성공한 사례만 학습 데이터로 사용하며, 실패한 진단 궤적 (Failed Trajectories) 을 폐기하거나 노이즈로 간주하여, 중요한 학습 신호를 낭비합니다.

2. 제안 방법론: AOI (Autonomous Operations Intelligence)

저자들은 위의 문제를 해결하기 위해 AOI라는 훈련 가능한 멀티 에이전트 프레임워크를 제안합니다. AOI 는 보안 제약 하에서 자동화된 운영을 구조화된 궤적 학습 문제로 정의하며, 다음과 같은 세 가지 핵심 구성 요소를 통합합니다.

2.1. 안전성 확보를 위한 역할 분리 아키텍처 (Safety through Separation)

기존의 단일 LLM 프롬프트 엔지니어링 대신, **Observer(관찰자), Probe(탐색자), Executor(실행자)**로 구성된 멀티 에이전트 시스템을 도입하여 '읽기 (Read)'와 '쓰기 (Write)' 권한을 엄격히 분리합니다.

• Observer: 중앙 조정자 역할을 하며, 환경과 직접 상호작용하지 않고 압축된 증거를 바탕으로 다음 행동 (탐색, 조치, 제출) 을 결정합니다.
• Probe: 시스템 상태 조회 (kubectl get, describe 등) 만 수행하는 읽기 전용 에이전트입니다.
• Executor: 시스템 상태 변경 (조치) 을 수행하는 쓰기 게이트 (Write-gated) 에이전트입니다. 충분한 증거가 확보된 후에만 명령을 실행하며, 화이트리스트 필터링을 거칩니다.
• Compressor: 방대한 환경 로그를 압축하여 Observer 의 컨텍스트 한계를 관리합니다.

2.2. 그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO) 기반 학습

• Observer 학습: 14B 규모의 오픈 가중치 모델 (Qwen3-14B) 을 GRPO 를 통해 미세 조정합니다. 성공적인 궤적에서 불필요한 명령을 제거한 '최소 명령 시퀀스'를 사용하여, 민감한 데이터를 외부로 노출하지 않고 로컬에서 전문가 수준의 진단 능력을 학습시킵니다.
• 학습 목표: 각 진단 단계에서 다음 행동의 적절성과 맥락 추론의 질을 평가하는 6 가지 차원의 보상 함수를 통해 최적화합니다.

2.3. 실패 궤적 폐쇄 루프 진화기 (Failure Trajectory Closed-Loop Evolver)

AOI 의 가장 혁신적인 부분은 실패를 학습 신호로 전환하는 메커니즘입니다.

• 기능: 진단에 실패한 궤적을 수집하여, 이를 수정된 진단 계획 (Corrective Supervision Signals) 으로 변환합니다.
• 작동 원리: 실패한 시나리오를 '시드 (Seed)'로 사용하여 GRPO 를 통해 개선된 명령 시퀀스를 생성합니다. 이 수정된 계획은 추론 시 Observer 에게 구조화된 프롬프트로 제공되어, 에이전트가 실패 패턴을 학습하고 재시도 시 성공 확률을 높입니다.
• 효과: 외부 데이터 없이도 폐쇄된 환경 내에서 지속적인 데이터 증강 (Data Augmentation) 과 분포 정제 (Distributional Refinement) 가 가능합니다.

3. 주요 기여 (Key Contributions)

1. 안전한 멀티 에이전트 런타임: 진단 (Probe) 과 조치 (Executor) 를 아키텍처 수준에서 분리하여, 권한 관리가 엄격한 기업 환경에서도 안전하게 에이전트를 배포할 수 있는 체계를 정립했습니다.
2. 실패 기반 자기 진화 시스템: 실패한 궤적을 폐기하지 않고, GRPO 를 통해 수정된 학습 신호로 재탄생시키는 'Evolver'를 도입하여, 소규모 로컬 모델이 폐쇄된 환경에서도 지속적으로 성능을 향상시킬 수 있음을 증명했습니다.
3. 소규모 모델의 Frontier 모델 추월: 14B 파라미터의 오픈 소스 모델이 아키텍처적 지원과 GRPO 학습을 통해, 훨씬 큰 규모의 상용 모델 (Claude Sonnet 4.5) 보다 뛰어난 성능을 발휘함을 입증했습니다.

4. 실험 결과 (Results)

AIOpsLab 벤치마크 (86 개 태스크, Kubernetes 클러스터 기반) 에서 AOI 를 평가한 결과는 다음과 같습니다.

• 아키텍처적 우위 (Runtime Only): 별도의 태스크별 학습 없이 AOI 런타임만으로도 **Best@5 성공률 66.3%**를 기록했습니다. 이는 이전 최첨단 (SOTA) 모델인 STRATUS (41.9%) 보다 24.4%p 높은 성능입니다.
• GRPO 학습 효과 (Generalization): 23 개의 태스크로 Observer 를 학습시킨 후, 63 개의 보류된 (Unseen) 태스크에서 **Avg@1 42.9%**의 성공률을 기록했습니다. 이는 다중 실행 샘플링 없이도 **Claude Sonnet 4.5 (41.3%)**를 능가하는 결과입니다.
  • 특히 **감지 (Detection)**와 근본 원인 분석 (RCA) 태스크에서 큰 향상을 보였으나, 정밀 위치 파악 (Localization) 태스크에서는 과도한 탐색으로 인해 성능이 일부 저하되는 트레이드오프가 관찰되었습니다.
• Evolver 의 효과: 37 개의 실패 궤적을 진단 가이드로 변환하여 적용한 결과, End-to-End Avg@5 가 4.8%p 향상되었고, 실행 간 변동성 (Run-to-run variance) 은 35% 감소하여 시스템의 안정성이 크게 개선되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 실패한 진단 시도가 단순한 노이즈가 아니라, 체계적인 교정 신호가 될 수 있음을 증명했습니다. AOI 는 다음과 같은 점에서 중요한 의의를 가집니다.

1. 보안과 성능의 동시 달성: 엄격한 보안 제약 (Read/Write 분리) 이 오히려 에이전트의 탐색 능력을 향상시켜 전체적인 진단 성공률을 높인다는 것을 보여줍니다.
2. 소규모 모델의 실용성: 고비용의 대형 모델에 의존하지 않고, 로컬에 배포 가능한 14B 모델로도 기업 수준의 SRE 자동화가 가능함을 입증했습니다.
3. 지속 가능한 학습 사이클: 외부 데이터 수집 없이도 시스템이 자신의 실패 경험으로부터 학습하여 스스로 진화하는 'Self-sustaining' 사이클을 구축했습니다.

결론적으로 AOI 는 클라우드 운영 자동화 분야에서 안전성, 데이터 프라이버시, 그리고 지속적인 학습 능력을 모두 충족시키는 새로운 패러다임을 제시합니다.