Training High-Level Schedulers with Execution-Feedback Reinforcement Learning for Long-Horizon GUI Automation

이 논문은 장기 GUI 자동화 작업에서 계획과 상태 관리를 담당하는 조정자 (Coordinator) 와 상태 추적자 (State Tracker) 에이전트를 강화학습으로 훈련시켜 임의의 실행기 (Executor) 와 결합 가능한 CES 멀티에이전트 프레임워크를 제안함으로써, 단일 에이전트의 한계를 극복하고 장기 작업 수행 능력을 크게 향상시킨다는 내용입니다.

핵심

1. 문제: "혼자서 모든 일을 하려는 과부하된 직원"

기존의 AI 에이전트들은 한 명의 만능 직원처럼 작동했습니다. 이 직원은 다음과 같은 일을 동시에 해야 했습니다.

• 전략 수립: "오늘 할 일을 어떻게 나눌까?" (고차원적 사고)
• 현재 상태 파악: "지금 어디까지 했지? 다음 단계는 뭐지?" (기억력)
• 실제 행동: "마우스를 클릭하고, 텍스트를 입력해." (저수준 행동)

비유: 마치 한 사람이 요리사, 매니저, 그리고 서빙을 동시에 하려고 하는 상황입니다.

• 요리사가 메뉴를 고민하는 동안 손님이 와도 서빙을 못 하고,
• 서빙을 하다가 요리를 망치거나,
• "어제 뭐 했지?"라고 기억을 잃어버려서 같은 일을 반복하게 됩니다.

이를 논문에서는 **"책임의 결합 (Responsibility Coupling)"**과 **"상태 인식 부족 (Lack of Task State Awareness)"**이라고 부릅니다. 특히 긴 작업 (Long-Horizon Task) 을 할 때, 화면만 보고는 "내가 지금 전체 과정의 30% 지점에 와 있는 건지, 90% 지점에 와 있는 건지"를 알기 어렵습니다.

2. 해결책: "전문가 팀 (CES 프레임워크)"

저자들은 이 문제를 해결하기 위해 한 명의 만능 직원을 해고하고, 세 명의 전문가로 구성된 팀을 만들었습니다. 이를 CES 프레임워크라고 부릅니다.

① 코디네이터 (Coordinator) = "현장 지휘관 (CPU)"

• 역할: 사용자의 복잡한 명령 ("피자를 시키고, 친구에게 링크 보내고, 알람 설정해") 을 받아 작은 단계로 나누고 구체적인 지시를 내립니다.
• 비유: 요리사의 메뉴판과 레시피를 관리하는 매니저입니다. "지금부터 빵을 굽고, 그다음 소스를 만들고..."라고 단계별로 지시만 내리지, 직접 빵을 굽지는 않습니다.

② 실행자 (Executor) = "손이 빠른 요리사 (I/O 장치)"

• 역할: 코디네이터가 내린 구체적인 지시 ("오븐 온도 200 도로 설정") 만 듣고 실제 행동을 수행합니다.
• 비유: 오직 손만 움직이는 요리사입니다. "왜 이 일을 해야 하지?" 같은 깊은 고민은 하지 않고, 지시받은 대로 정확히 행동합니다. (기존에 쓰이던 강력한 AI 모델을 그대로 사용합니다.)

③ 상태 추적자 (State Tracker) = "기록 담당자 (메모리)"

• 역할: 요리사가 무엇을 했는지, 현재까지의 진행 상황을 간결한 언어로 요약해서 기록합니다.
• 비유: 요리사의 메모장입니다. "지금 빵이 구워졌고, 소스는 준비 중이야. 다음 단계는 치즈를 올려야 해"라고 핵심 정보만 정리해 줍니다.
• 효과: 요리사 (코디네이터) 가 화면을 볼 때, 복잡한 화면 전체를 기억할 필요 없이 이 메모장만 보면 "아, 내가 지금 3 단계에 있구나"라고 바로 알 수 있습니다.

3. 훈련 방법: "실전 피드백을 통한 학습"

이 팀을 어떻게 훈련시켰을까요? 기존 방식은 "정답을 외우게 하는 것"이었지만, 이 논문은 **"결과를 보고 점수를 매겨 학습"**하는 방식을 썼습니다.

• 비유: 요리사 팀이 시식회를 열었습니다.
  1. **지휘관 (코디네이터)**이 레시피를 짜고, **기록관 (상태 추적자)**이 메모를 합니다.
  2. **요리사 (실행자)**가 그 지시에 따라 요리를 합니다.
  3. 만약 요리가 실패하면 (예: 빵이 타버림), 그 **결과 (점수)**를 보고 지휘관과 기록관에게 "너희가 지시나 메모를 잘못해서 요리사가 실패했다"고 알려줍니다.
  4. 지휘관과 기록관은 이 피드백을 받아 다음에 더 잘할 수 있도록 수정합니다.

이 과정을 **"실행 피드백 강화 학습 (Execution-Feedback RL)"**이라고 합니다. 중요한 점은 요리사 (실행자) 는 이미 완성된 전문가이므로 건드리지 않고, 오직 지휘관과 기록관만 훈련시켰다는 것입니다.

4. 결론: "왜 이 방법이 좋은가?"

이 방법을 적용한 결과, AI 는 다음과 같은 변화를 겪었습니다.

• 길 잃지 않음: 기록관 (상태 추적자) 덕분에 긴 작업 중에도 "내가 어디까지 했는지"를 잊지 않습니다.
• 명확한 지시: 지휘관 (코디네이터) 이 복잡한 일을 작은 조각으로 잘게 나누어 주므로, 요리사 (실행자) 는 헷갈리지 않고 정확하게 행동합니다.
• 범용성: 이 팀 구성 방식은 어떤 요리사 (기존 AI 모델) 가 들어와도 잘 작동합니다. 즉, 플러그 앤 플레이 (Plug-and-play) 방식이라서 기존 시스템에 바로 적용할 수 있습니다.

한 줄 요약:

"혼자서 모든 걸 하려다 지친 AI 에게 '지휘관', '요리사', '기록관'이라는 전문가 팀을 구성하고, 실제 결과로 피드백을 주며 훈련시켜서 긴 작업도 척척 해내게 만들었습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대형 비전 - 언어 모델 (VLM) 의 발전으로 GUI 에이전트 연구가 가속화되었으나, **장기적 작업 (Long-Horizon Tasks)**을 처리하는 데에는 여전히 심각한 한계가 존재합니다. 기존 방법론이 직면한 두 가지 근본적인 문제는 다음과 같습니다.

• 책임의 결합 및 능력 충돌 (Responsibility Coupling and Capability Conflict): 기존의 단일 에이전트 (End-to-End) 모델은 고수준의 전략적 계획 (Task Planning) 과 저수준의 정밀한 실행 (Precise Execution) 을 하나의 정책 네트워크에 모두 결합하려 합니다. 파라미터가 제한된 모델이 복잡한 지시 사항을 분해하고 진행 상황을 추적하는 고수준 능력과, GUI 요소를 인식하고 클릭하는 저수준 능력을 동시에 습득하려 할 때 최적화 충돌이 발생하며 성능이 저하됩니다.
• 작업 상태 인식 부족 (Lack of Task State Awareness): 장기 작업에서 에이전트는 현재 진행 상황을 정확히 인지해야 합니다. 기존 방법들은 주로 스크린샷이나 이전 행동 시퀀스에 의존하는데, 스크린샷은 작업의 맥락과 진행 상태를 표현하기에 불충분하고 신뢰할 수 없습니다. 특히 홈 화면과 같이 반복되거나 훈련 데이터에 없는 (OOD) 인터페이스가 등장할 때 에이전트는 맥락을 잃고 실수를 범합니다.

2. 제안된 방법론 (Methodology)

저자들은 위 문제를 해결하기 위해 단계별 실행 피드백 강화 학습 (Staged Execution-Feedback Reinforcement Learning) 알고리즘과 **CES (Coordinator-Executor-State Tracker)**라는 다중 에이전트 프레임워크를 제안합니다.

A. CES 프레임워크 구조

작업을 세 가지 전문화된 에이전트로 분해하여 역할을 분리합니다:

1. Coordinator (조정자):
   • 역할: 사용자의 고수준 지시를 이해하고, 현재 작업 상태 (State Tracker 제공) 를 바탕으로 전략적 계획을 수립하며, 작업을 명확한 원자적 명령 (Atomic Instruction) 으로 분해합니다.
   • 입력: 사용자 지시, 현재 스크린샷, State Tracker 의 요약된 상태.
2. Executor (실행자):
   • 역할: Coordinator 가 생성한 원자적 명령을 GUI 환경에서 실제 동작 (클릭, 입력 등) 으로 변환하여 실행합니다.
   • 특징: **동결 (Frozen)**된 상태로 사용되며, 학습 대상이 아닙니다. 이는 고수준 계획과 저수준 실행의 책임을 명확히 분리하기 위함입니다.
3. State Tracker (상태 추적자):
   • 역할: 에이전트의 '동적 메모리' 역할을 수행합니다. Executor 의 실행 결과, 사용자 지시, 이전 상태 정보를 바탕으로 고차원적 의미 (High-Semantic) 의 자연어 상태 요약을 생성합니다.
   • 효과: 복잡한 스크린샷과 긴 행동 이력을 압축하여 Coordinator 가 장기 작업의 맥락을 잃지 않도록 지원합니다.

B. 단계별 실행 피드백 강화 학습 (Staged Execution-Feedback RL)

단일 정책을 학습하는 대신, Coordinator 와 State Tracker 를 독립적인 두 단계에 걸쳐 강화 학습 (GRPO 알고리즘 사용) 합니다.

• 워밍업 SFT: 기존 데이터셋을 이용해 각 에이전트의 기본 역할과 출력 형식을 학습합니다.
• Stage 1 (Coordinator 최적화): 고정된 (Frozen) Executor 와 Ground Truth 상태를 사용하여 Coordinator 가 최적의 원자적 명령을 생성하도록 학습합니다.
• Stage 2 (State Tracker 최적화): 학습된 Coordinator 와 고정된 Executor 를 사용하여, State Tracker 가 생성한 상태 요약이 최종 실행 성공에 얼마나 기여하는지 평가합니다.
• 실행 피드백 보상 (Execution-Feedback Reward): 중간 출력 (명령어나 상태 요약) 을 직접 평가하는 대신, 이를 Executor 에게 전달하여 실제 실행된 행동이 정답과 일치하는지 여부를 규칙 기반 보상 함수로 계산합니다. 이 보상 신호를 역전파하여 Coordinator 와 State Tracker 를 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. CES 다중 에이전트 프레임워크: 다양한 Executor 모델과 플러그 앤 플레이 (Plug-and-Play) 방식으로 통합 가능한 범용 고수준 컴포넌트 (Coordinator, State Tracker) 를 제안했습니다.
2. State Tracker 도입: 동적 맥락 압축 및 상태 요약을 통해 장기 작업에서의 상태 인식 부족 문제를 해결하고 에이전트의 논리적 일관성을 유지합니다.
3. 단계별 실행 피드백 RL 전략: 고수준 능력과 저수준 실행을 분리하여 학습하는 새로운 알고리즘을 제안했습니다. 사전 학습된 Executor 를 고정하고, 이를 통해 생성된 보상 신호로 고수준 에이전트만 학습시킵니다.
4. 범용성 입증: 학습된 고수준 모듈이 다양한 Executor 모델의 장기 작업 수행 능력을 획기적으로 향상시킨다는 것을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

저자들은 AITZ, AMEX, GUI-Odyssey 등 장기적 GUI 작업 벤치마크에서 실험을 수행했습니다.

• 성능 향상: 기존 GUI-R1-7B 베이스라인을 기반으로 할 때, 제안된 CES 프레임워크는 모든 벤치마크에서 **Type 정확도 (행동 유형 예측)**를 평균 10.38% 향상시켰습니다.
• 모델 일반화: 다양한 크기의 모델 (3B, 7B, 32B) 을 Executor 로 사용했을 때, CES 프레임워크를 적용하면 모든 모델에서 일관된 성능 향상을 보였습니다. 특히, 작은 모델 (3B) 의 경우 단일 에이전트 방식 (CES-P) 보다 성능이 저하되기도 했으나, CES 의 전문화된 학습을 통해 성능이 크게 개선되었습니다.
• 성공 요인 분석: 실패 사례 분석 결과, 기존 모델에서 빈번했던 **상태 손실 (State Loss)**과 **계획 오류 (Planning Error)**가 CES 프레임워크를 통해 거의 완전히 제거된 것으로 확인되었습니다. 이는 성능 향상의 핵심이 State Tracker 와 Coordinator 의 전문화된 학습에 있음을 시사합니다.

5. 의의 및 결론 (Significance)

이 논문은 GUI 에이전트 분야에서 단일 모델의 과부하 문제를 구조적으로 해결했다는 점에서 의의가 큽니다.

• 역할 분리: 고수준 추론과 저수준 실행을 분리함으로써 최적화 충돌을 방지하고 각 에이전트의 전문성을 극대화했습니다.
• 상태 관리의 중요성 강조: 스크린샷만으로는 장기 작업의 맥락을 유지할 수 없으며, 명시적인 고수준 상태 요약 (State Tracker) 이 필수적임을 실증했습니다.
• 확장성: 학습된 고수준 스케줄러는 다양한 Executor 모델에 적용 가능한 범용 솔루션으로, 복잡한 장기 자동화 작업의 실용성을 크게 높였습니다.

결론적으로, 이 연구는 복잡한 GUI 자동화 작업을 해결하기 위해 **구조적 분해 (Decoupling)**와 실행 피드백 기반 강화 학습을 결합한 새로운 패러다임을 제시했습니다.