🤖 AI

LiteGUI: Distilling Compact GUI Agents with Reinforcement Learning

본 논문은 경량 온디바이스 GUI 에이전트의 성능을 획기적으로 향상시켜 2B/3B 규모 모델이 훨씬 더 큰 규모의 모델과 경쟁할 수 있는 최첨단 결과를 달성하도록 하는 안내형 온정책 증류와 다중 해법 이중 수준 GRPO 프레임워크를 결합한 새로운 SFT-없는 훈련 패러다임인 LiteGUI를 제안합니다.

원저자: Yubin Wu, Zicheng Cai, Liping Ning, Hua Wang, Zhi Chen, Yaohua Tang, Hao Chen

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yubin Wu, Zicheng Cai, Liping Ning, Hua Wang, Zhi Chen, Yaohua Tang, Hao Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"LiteGUI: Reinforcement Learning 을 통한 경량 GUI 에이전트 증류"라는 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 풀어보겠습니다.

큰 그림: "주머니 속" 컴퓨터 부하

당신을 대신해 버튼을 클릭하고, 텍스트를 입력하며, 메뉴를 탐색할 수 있는 컴퓨터 조수라고 상상해 보세요. 보통 똑똑한 조수를 만들려면 데이터 센터에 사는 거대하고 초강력한 뇌 (방대한 AI 모델) 가 필요합니다. 마치 장보기를 시키기 위해 박사 학위를 가진 교수를 고용하는 것과 같습니다. 잘 작동하지만 비싸고 느리며, 주머니에 넣고 다닐 수 없습니다.

이 논문의 저자들은 이렇게 질문했습니다. "휴대폰이나 노트북에 들어갈 정도로 작고 가벼운 조수 (20 억 또는 30 억 파라미터 모델) 를 만들어 거대한 교수들만큼 똑똑하게 만들 수 있을까요?"

답은 '예'입니다. 하지만 구식 방식으로 가르치는 것이 아닙니다. 대신 LiteGUI라는 새로운 훈련 시스템을 구축했습니다.

문제: "경직된 로봇"의 함정

보통 작은 AI 를 가르칠 때 **지도 미세 조정 (Supervised Fine-Tuning, SFT)**이라는 방법을 사용합니다. 이는 엄격한 선생님이 학생에게 퍼즐을 푸는 단 하나의 완벽한 경로를 보여주는 것과 같습니다.

문제점: 학생 (작은 AI) 이 약간 다른 경로를 시도하면 선생님이 꾸짖습니다.
결과: 학생은 "경직된 로봇"이 됩니다. 정확한 경로를 외우지만 상황이 조금만 변해도 당황합니다. 또한 새로운 좁은 규칙에 너무 집중하다 보니 이전에 알던 것들 (타자 치기나 클릭하기 등) 을 "잊어버리는" 경향이 있습니다. 이를 **파괴적 망각 (catastrophic forgetting)**이라고 합니다.

해결책: 새로운 훈련 캠프

저자들은 경직된 'SFT'선생님을 완전히 배제하는 2 단계 훈련 캠프를 제안합니다. 대신 **가이드 증류 (Guided Distillation)**와 **강화 학습 (Reinforcement Learning)**을 결합합니다.

1 단계: 가이드 온-정책 증류 ("스마트 그림자")

미로를 풀려고 노력하는 학생 (작은 AI) 을 상상해 보세요.

구식 방식: 선생님은 "틀렸어"라고 말하고 단 하나의 올바른 경로만 보여줍니다.
LiteGUI 방식: 학생이 미로를 풀려고 시도하면, 거대하고 똑똑한 AI 인 선생님이 지켜봅니다. 하지만 여기서 핵심은 선생님이 학생의 어수선한 시도만 보는 것이 아니라, 미로의 그 특정 지점에서 가능한 **모든 올바른 이동 경로에 대한 '요약 자료 (cheat sheet)'**도 본다는 점입니다.

그런 다음 선생님은 이렇게 말합니다. "좋아, 너는 왼쪽으로 가려고 했어. 사실 그건 유효한 이동이야! 너의 그 이동보다 약간 더 나은 '그림자' 버전을 보여줄게."

비유: 이는 단순히 "틀렸다!"라고 말하는 코치가 아니라, "너는 올바른 길 위에 있어. 하지만 너의 그 이동의 이 특정 변형을 시도해 봐"라고 말하는 것과 같습니다. 이는 학생이 선생님의 '환각 (실수)'에 혼란을 느끼지 않고, 단 하나의 경로만 복사하도록 강요받지 않으면서 배우도록 돕습니다.

2 단계: 다중 솔루션 듀얼 레벨 GRPO ("전략 게임")

학생이 기초를 배운 후, 강화 학습이라는 비디오 게임 모드로 진입합니다.

구식 게임의 문제: 많은 AI 게임에서 게임 디자이너가 기록한 정확한 경로가 아닌 유효한 경로를 택하면 "게임 오버" (부정 점수) 를 맞습니다. 이는 AI 가 창의적이 되는 것을 막습니다.
LiteGUI 의 해결책: 다중 솔루션 (Multi-Solution) 규칙을 도입했습니다.
- 비유: 부엌에 가야 한다고 가정해 보세요. 정문, 뒷문, 또는 창문을 통해 들어갈 수 있습니다. 구식 시스템에서는 정문만이 "올바른" 길이었습니다. 하지만 LiteGUI 에서는 세 문 모두 유효합니다. 창문을 선택해도 여전히 점수를 받습니다! 이는 AI 가 문제를 해결하는 다양한 방법을 탐색하도록 장려합니다.

또한 듀얼 레벨 (Dual-Level) 점수판을 추가했습니다:

마이크로 레벨 (단계): 지금 올바른 버튼을 클릭했나요?
매크로 레벨 (계획): 실제로 최종 목표에 다가가고 있나요, 아니면 무작위로 버튼을 클릭하고 있나요?

결과: AI 는 단순히 어떻게 클릭하는지뿐만 아니라 왜 클릭하는지도 배우게 되어, 길을 잃지 않고 길고 복잡한 작업을 계획할 수 있게 됩니다.

툴킷: 훈련 데이터 구축

이 작업을 수행하기 위해 저자들은 기존 데이터를 단순히 사용할 수 없었습니다. 대신 자체 훈련 데이터를 생성할 **공장 (자동화 파이프라인)**을 구축했습니다.

거대한 AI 를 사용하여 수천 개의 컴퓨터 작업을 생성했습니다.
그런 다음 인간이 이러한 작업을 검증하고, 결정적으로 각 단계를 수행하는 **여러 가지 올바른 방법을 주석 (annotate)**으로 남겼습니다.
이 데이터 (Lite-Dataset) 와 새로운 테스트 스위트 (Lite-Bench) 를 공개하여 다른 사람들이 자신의 작은 AI 에이전트를 테스트할 수 있도록 했습니다.

결과: 작지만 강력함

새로운 "LiteGUI"에이전트를 테스트했을 때:

성능: 20 억 파라미터 규모의 작은 모델 (LiteGUI-2B) 이 작은 모델들 사이에서 챔피언이 되었습니다.
충격: 다른 작은 모델들을 이긴 것을 넘어, 10 배에서 20 배 더 큰 모델과 거의同等한 성능을 발휘했습니다.
효율성: 이전 방법들보다 훨씬 적은 훈련 데이터를 사용하여 이를 달성했으며, 이는 단순히 더 많은 데이터를 던지는 것보다 AI 를 가르치는 방식이 더 중요하다는 것을 증명했습니다.

요약

이 논문은 작은 AI 모델이 단일 "완벽한" 경로를 복사하도록 강요하는 관행을 중단하고, 대신 여러 가지 유효한 경로를 인식하고 똑똑한 "그림자"선생님을 사용하여 미리 계획하도록 가르침으로써, 슈퍼컴퓨터 없이도 복잡하고 유연하며 놀라울 정도로 강력한 온디바이스 컴퓨터 에이전트를 만들 수 있다고 주장합니다.

기술 요약: LiteGUI - 강화 학습을 통한 경량 GUI 에이전트 증류

문제 제기

경량화된 온디바이스 비전-언어 GUI 에이전트 개발은 효율적인 크로스플랫폼 자동 상호작용에 필수적입니다. 그러나 현재 온디바이스 에이전트 (일반적으로 2B~3B 파라미터 규모) 는 심각한 성능 병목 현상에 직면해 있습니다. 소형 모델에 대한 전통적인 지도 미세 조정 (SFT) 은 종종 과적합, 기초 능력의 치명적 망각, 그리고 특히 장기 계획이 필요한 동적 UI 환경에서의 정책 경직성을 초래합니다. 또한, 기존 강화 학습 (RL) 접근법은 단일 솔루션 보상과 단순한 좌표 매칭에 의존하는 경우가 많아, 희소성, 위음성 (false negatives), 그리고 GUI 작업의 다중 솔루션 특성을 처리하지 못하는 한계를 보입니다. 반면 대규모 모델 (예: GPT-4o, Claude 3.5) 은 강력한 성능을 보여주지만, 높은 계산 오버헤드로 인해 로컬 배포가 불가능합니다.

방법론

저자들은 가이드드 온-정책 증류 (Guided-OPD) 와 다중 솔루션 듀얼 레벨 GRPO(MD-GRPO) 를 결합한 새로운 SFT 없는 훈련 패러다임인 LiteGUI 를 제안합니다. 이 프레임워크는 두 단계로 운영됩니다:

1. 가이드드 온-정책 증류 (Guided-OPD)

복잡한 GUI 환경에서 교사 모델로부터 증류하는 불안정성을 해결하기 위해, 저자들은 훈련 중 인간이 검증한 유효 행동 집합 ( $A^*_t$ ) 에 기반한 '가이드' 신호로 교사 모델을 조건화하는 메커니즘을 도입합니다.

특권적 가이드 (Privileged Guidance): 교사 모델은 학생의 현재 출력과 함께 정답 유효 행동에서 유래된 '가이드' 신호를 수신하는 반면, 학생 모델은 표준 입력만 받습니다. 이는 "특권 정보를 활용한 학습 (Learning Using Privileged Information)" 패러다임을 따릅니다.
동적 검색 (Dynamic Retrieval): GUI 작업은 종종 여러 유효한 솔루션을 가진다는 점을 인식하여, 이 방법은 Most-Matched-GT 전략을 사용합니다. 단일 정답을 무작위로 선택하거나 모든 유효 행동을 제공하는 것 (신호를 희석시킬 수 있음) 대신, 시스템은 통합 매칭 함수 ( $\phi_{gui}$ ) 를 사용하여 학생의 현재 온-정책 행동과 가장 잘 일치하는 유효 행동을 풀에서 동적으로 검색합니다. 이는 환각 현상과 인지 불일치를 줄입니다.
목적: 학생은 이러한 특권적 컨텍스트 하에서 교사 모델의 분포와 정렬되도록 역-KL 발산 목적 함수를 사용하여 최적화됩니다.

2. 다중 솔루션 듀얼 레벨 GRPO(MD-GRPO)

장기 작업에서 단일 솔루션 보상의 한계를 극복하기 위해, 저자들은 그룹 상대 정책 최적화 (GRPO) 에 통합된 듀얼 레벨 보상 프레임워크를 제안합니다:

다중 솔루션 행동 보상 ( $R_{ms}$ ): 단일 주석 행동에서의 편차를 패널티로 부과하는 대신, 보상은 모델의 출력과 정답 집합 ( $A^*_t$ ) 내의 어떤 유효 행동 간의 최대 매칭 점수로 계산됩니다. 이는 유효한 대체 경로에 대한 "위음성" 패널티를 완화합니다.
장기 계획 보상 ( $R_{sub}$ ): 서브태스크 계획 보상은 에이전트의 중간 계획 품질을 평가합니다. 강력한 VLM 판정기 (Qwen3-VL-32B) 는 작업 관련성, 비전 그라운딩, 분해 세분성, 상태 일관성에 기반하여 생성된 서브태스크 목록을 평가합니다. 중요하게도, 에이전트가 막히거나 오류 상태에 있을 경우, 계획은 높은 점수를 받기 위해 명시적으로 수정 단계를 제안해야 합니다.
최적화: 총 보상은 이 두 신호를 결합하여, 샘플링된 궤적 그룹 내에서 정규화되어 정책 업데이트를 위한 상대적 이점을 계산합니다.

데이터 인프라

이 훈련을 지원하기 위해 저자들은 다음을 구축했습니다:

Lite-Dataset: 다양한 시나리오 (파일 시스템, 웹, 터미널) 에 걸쳐 30K 개의 궤적과 11K 개의 인간 검증 다중 솔루션 주석을 포함한 비전 전용 GUI 데이터셋.
Lite-Bench: 현실적인 환경에서 장기 계획 및 오류 복구를 평가하도록 설계된 160 개의 다양한 작업을 포함한 새로운 벤치마크. 파일 작업에 대한 터미널 사용을 엄격히 금지하여 GUI 상호작용을 강제합니다.
자동화 파이프라인: 강력한 교사 모델을 사용하여 궤적을 합성하고, 이후 인간 감사를 통해 다중 솔루션 주석을 생성하는 "생성 - 검증 - 수정" 루프.

주요 기여

새로운 훈련 패러다임: 경량 GUI 에이전트를 위한 최초의 SFT 없는 훈련 접근법을 제안하여, 온-정책 증류와 RL 의 결합이 2B~3B 규모 모델의 잠재력을 완전히 발휘할 수 있음을 입증합니다.
가이드드 온-정책 증류: 환각 현상을 줄이고 GUI 작업의 다중 솔루션 특성과 정렬하기 위해 오라클 가이드 참조 및 동적 궤적 검색을 도입했습니다.
다중 솔루션 듀얼 레벨 GRPO: 거시적 서브태스크 계획과 미시적 실행 매칭을 공동으로 최적화하는 새로운 RL 프레임워크로, 장기 작업의 탐색 병목 현상을 효과적으로 해결합니다.
리소스: 고품질 다중 솔루션 GUI 데이터의 부족을 해결하기 위해 Lite-Dataset(30K 궤적, 11K 다중 솔루션 주석) 과 Lite-Bench(160 개 평가 인스턴스) 를 공개했습니다.

실험 결과

ScreenSpot-Pro, OS-World, 그리고 새로운 Lite-Bench에서 광범위한 평가가 수행되었습니다.

성능: Lite-GUI-2B 모델은 ScreenSpot-Pro 에서 46.86% 의 새로운 최첨단 (SOTA) 평균 정확도를 달성하여, UI-TARS-72B(35.7%) 및 JEDI-7B(39.5%) 와 같은 훨씬 더 큰 전용 모델을 크게 능가했습니다.
확장성: Lite-GUI-30B-A3B 모델은 ScreenSpot-Pro 에서 58.95% 를 달성하여, Qwen3-VL-32B 교사 모델 (58.57%) 과 기타 대규모 전용 모델을 능가했습니다.
장기 작업: OS-World 에서 Lite-GUI-2B 는 13.24% 의 성공률을 달성하여, 기본 베이스라인 (6.04%) 보다 두 배 이상 높은 성능을 보였습니다. Lite-Bench 에서는 61.76% 의 성공률을 기록하여 베이스라인의 거의 두 배에 달했습니다.
데이터 효율성: 주목할 만한 점은 Lite-GUI-2B 가 ScreenSpot-Pro 에 대해 ShowUI-Desktop 의 8K 샘플만을 사용하여 이러한 결과를 달성했다는 것으로, 제안된 프레임워크의 데이터 효율성을 강조합니다.

중요성과 주장

이 논문은 제안된 방법이 소규모 모델에 대한 전통적인 SFT 와 단순한 RL 의 한계를 성공적으로 극복했다고 주장합니다. SFT 를 완전히 우회하고 구조화된 온-정책 증류와 다중 솔루션 듀얼 레벨 탐색을 활용함으로써, LiteGUI 는 온디바이스 에이전트가 훨씬 더 대규모 모델과 경쟁력 있는 성능을 달성할 수 있게 합니다. 저자들은 그들의 접근 방식이 2B~3B 규모 에이전트의 능력을 완전히 해방시켜, 기존 모방 학습의 성능 한계를 넘어서고 효율적인 로컬화된 GUI 자동화를 위한 실현 가능한 경로를 제공한다고 주장합니다. 이 연구는 가이드 증류와 듀얼 레벨 RL 의 결합이 실제 세계 GUI 작업의 복잡성, 다중 솔루션 특성, 그리고 장기 요구 사항을 처리하는 데 필수적임을 강조합니다.