기술 요약: AliyunConsoleAgent

1. 문제 정의

클라우드 플랫폼은 사용자 인터페이스(UI) 요소가 짧은 릴리스 주기에 따라 급격히 진화하는 반면, 수반되는 문서는 수동으로 유지 관리되어야 하는 구조적인 "문서 드리프트(documentation drift)" 문제에 직면해 있습니다. 이러한 괴리는 실제 콘솔과 더 이상 일치하지 않는 절차를 초래합니다. 문서가 현재 상태를 정확하게 반영하는지 검증하려면 연간 약 400만 번의 반복적인 점검이 필요하지만, 수동 커버리지는 여전히 1% 미만에 머물러 있습니다.

최첨단 독점 모델(Frontier proprietary models)이 이러한 "실행을 통한 검증(Execution-as-Verification)" 작업을 자동화할 수 있지만, 대규모 배포 시 다음과 같은 문제로 인해 제약을 받습니다:

1. 과도한 비용: 높은 호출당 추론 비용으로 인해 전체 범위를 아우르는 감사가 불가능합니다.
2. 데이터 프라이버시: 민감한 클라우드 메타데이터를 외부 서비스로 전송하는 것은 컴플라이언스 리스크를 야기합니다.
3. 환경적 노이즈: 실제 클라우드 작업에는 강력한 리소스 의존성(예: 특정 ECS 인스턴스 유형)이 존재합니다. 적절한 사전 프로비저닝이 없으면 환경적 실패(리소스 누락)와 에이전트 오류를 구분할 수 없게 되어, 보상 신호를 오염시키고 강화 학습(RL)의 수렴을 방해합니다.

2. 방법론

저자들은 고결정성 롤아웃 환경(high-determinism rollout environment) 내에서 2단계 학습 패러다임(지도 미세 조정 + 강화 학습)을 활용하는 AliyunConsoleAgent 프레임워크를 제안합니다.

A. 고결정성 롤아웃 환경

환경적 노이즈를 학습 신호로부터 격리하기 위해, 저자들은 4계층 아키텍처를 구축했습니다:

• 계정 풀 관리(Account Pool Management): 교차 작업 간섭을 방지하기 위해 자동화된 자격 증명 로테이션을 갖춘 격리된 테스트 계정을 유지합니다.
• 샌드박스 실행(Sandbox Execution): 작업 수준의 격리를 위해 컨테이너화된 환경(Alibaba Cloud ACK)을 사용합니다.
• 리소스 META 오프라인 프로비저닝(Resource META Offline Provisioning): 각 문서에 대해 "Resource META" 튜플이 의존성을 정의합니다. 파이프라인(ResourceCoder)은 필요한 리소스(VPC, 인스턴스 등)를 처음부터 생성하기 위한 Terraform 템플릿을 생성하며, 이때 무작위 네이밍을 적용하여 계정 간 이식성을 보장합니다.
• 런타임 온디맨드 프로비저닝(Runtime On-demand Provisioning): 에이전트가 예상치 못한 차단 상황(예: 빈 리소스 목록)에 직면할 경우, LLM 기반 에이전트(ResourceCoder)가 동적으로 누락된 리소스를 프로비저닝하고 구조화된 보고서를 컨텍스트에 다시 주입합니다.

이 시스템은 속도와 정확도 사이의 트레이드오프를 해결하여, 병렬 실행과 완벽에 가까운 리소스 준비 상태를 가능하게 함으로써 성공률을 기존 베이스라인(~34%)에서 ~84%까지 끌어올렸습니다.

B. 학습 패러다임

모델(Qwen3-VL-32B 기반)은 두 단계를 거칩니다:

1. 지도 미세 조정 (SFT):
   • 데이터 구축: 최첨단 모델로부터 추출된 데이터(성공 여부 및 단계별 품질로 필터링됨)와 자율적 자기 탐색 데이터(CRUD 작업)를 결래합니다.
   • 포맷: 모델이 진행 상황을 평가하고 하위 목표를 식별하기 위해 행동 전 명시적인 "Thought(사고)" 흔적을 생성하도록 하는 구조화된 ReAct 패러다임을 강제합니다.
2. 강화 학습 (GRPO):
   • 알고리즘: 모델이 지시 이행을 넘어 자율적 의사 결정 단계로 진화하도록 GRPO(Group Relative Policy Optimization)를 사용합니다.
   • 이중 채널 결과 보상 모델 (ORM):
     • 채널 1 (규칙 기반): ActionTrail(감사 로그)을 쿼리하여 결정론적 성공 기준을 확인하고, 그라운드 트루스(ground-truth) 바이너리 보상을 제공합니다.
     • 채널 2 (LLM-as-Judge 앙상블): 명확한 API 이벤트가 없는 작업의 경우, 두 개의 강력한 LLM 앙상블이 판사 역할을 합니다. 합의가 필요하며, 의견이 불일치할 경우 보상 해킹(reward hacking)을 방지하기 위해 유효하지 않은 레이블로 처리합니다.
   • 정규화: 이질적인 작업 난이도를 처리하기 위해 2단계 어드밴티지 정규화(작업별 및 글로벌)를 적용합니다.

3. 주요 기여

1. 고결정성 롤아웃 환경: Terraform 기반 사전 프로비저닝과 LLM 기반 온디맨드 프로비저닝, 그리고 감사 로그 검증을 결방한 새로운 인프라를 제안했습니다. 이는 환경적 노이즈를 효과적으로 격리하여 실제 프로덕션 클라우드에서의 안정적인 RL 학습을 가능하게 합니다.
2. 비용 효율적인 프라이빗 에이전트 학습: 최첨단 독점 모델의 성능에 근접하면서도 추론 비용을 92% 절감한 32B 파라미터 모델을 생성하는 성공적인 SFT+GRPO 파이프라인을 구축했습니다.
3. 프로덕션 규모의 검증: 54,000개 이상의 절차를 감사하여 4,399개의 확정된 결함을 식별한 검증 프레임워크를 배포했습니다. 훈련된 에이전트는 독점 모델을 대체할 수 있는 프라이버시 준수 드롭인(drop-in) 교체 모델로서 검증되었습니다.

4. 실험 결과

모델은 12개의 Alibaba Cloud 제품에 걸친 도전적인 278개 태스크 벤치마크(표준 76개, 고난도 202개)를 통해 평가되었습니다. 평가는 ActionTrail 감사 로그를 통한 엄격한 규칙 기반으로 수행되었습니다.

• 성능:
  • **AliyunConsoleAgent-32B (SFT+GRPO)**는 **63.52%**의 평균 성공률(pass@1)을 달립했습니다.
  • 이는 베이스 모델(43.28%) 대비 20.24 퍼센트 포인트(pp) 향상된 수치입니다.
  • 최첨단 모델(Gemini 3 Pro Preview, 65.34%)과의 격차를 단 1.82 pp로 좁혔습니다. 통계적 분석(bootstrap 95% CI) 결과, 이 격차는 통계적으로 유의미하지 않았습니다 ($p > 0.05$).
• 비용 효율성:
  • 프라이빗 32B 모델은 태스크당 약 **0.56 위안(CNY)**이 소요됩니다.
  • Gemini 3 Pro Preview(태스크당 약 7.00 위안)와 비교했을 때, 이는 92%의 비용 절감을 의미합니다.
• 절제 연구 (Ablation):
  • SFT는 베이스 모델 대비 +13.61 pp의 기여를 했습니다.
  • GRPO는 SFT 대비 추가로 +6.63 pp를 기여했으며, 이 향상은 통계적으로 유의미했습니다.
• 질적 개선: RL로 훈련된 모델은 "전제 조건 구축"(예: 기능을 비활성화하기 전에 먼저 활성화함) 및 "적응형 계획 조정"(문서화된 단계가 실패할 때 대안 UI 경로로 전환) 능력을 보여주었으며, 이는 SFT 전용 모델에는 없는 역량입니다.

5. 의의 및 주장

본 논문은 AliyunConsoleAgent가 값비싼 최첨단 API에 의존하지 않고도, 실제적이고 프라이버시에 민감한 클라우드 환경 내에서 고성능 웹 에이전트를 훈련하는 것이 가능하다는 것을 입증한다고 주장합니다.

• 격차 해소: 고품질 증류(distillation)와 노이즈가 격리된 환경에서의 강력한 RL을 통해 훈련된 32B 오픈 소스 모델이 복잡하고 상태 의존적인 작업에서 훨씬 더 큰 독점 모델의 성능에 필적할 수 있음을 증명했습니다.
• 확장성: 제안된 아키텍처는 대규모의 주기적인 문서 검증을 경제적, 기술적으로 실현 가능한 과제로 만들어, 문서 무결성 유지를 위한 중요한 산업적 요구를 해결합니다.
• 재현성: 저자들은 추가 연구를 지원하기 위해 평가 벤치마크, 필터링된 훈련 데이터, 롤아웃 인프라 코드 및 모델 훈련 코드를 오픈 소스로 공개했습니다.

저자들은 정적 Terraform 템플릿의 유지 관리 비용, 시각적 그라운딩을 위한 DOM 파싱의 취약성, 프리미엄 리소스에서 라이브 검증을 실행하는 데 드는 인프라 비용 등의 한계를 인정했습니다. 그러나 현재 시스템이 지속 가능하고 전면적인 배포를 위한 실행 가능한 비용 효율적 경로를 제공한다고 주장합니다.