💬 NLP

GUI-CIDER: Mid-training GUI Agents via Causal Internalization and Density-aware Exemplar Reselection

본 논문은 인과적 지식 증류, 밀도 인식 예시 재선정, 정교화된 모델 학습이라는 3 단계 과정을 통해 세계 지식을 명시적으로 내재화함으로써 멀티모달 GUI 에이전트의 실제 작업 수행 능력을 향상시키는 미드-트레이닝 프레임워크인 GUI-CIDER 를 제안한다.

원저자: Zheng Wu, Chengcheng Han, Zhengxi Lu, Tianjie Ju, Yanyu Chen, Qi Gu, Xunliang Cai, Zhuosheng Zhang

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zheng Wu, Chengcheng Han, Zhengxi Lu, Tianjie Ju, Yanyu Chen, Qi Gu, Xunliang Cai, Zhuosheng Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

스마트폰이나 컴퓨터를 사용하는 법을 로봇에게 가르치려 한다고 상상해 보세요. 로봇이 인간처럼 올바른 버튼을 누르고, 메뉴를 스크롤하며, 앱을 여는 능력을 갖추길 원합니다.

이 논문은 로봇을 가르치는 현재의 방법들이 다소 암기식 학습과 비슷하다고 주장합니다. 만약 로봇에게 누군가 "플러스" 버튼을 클릭하여 작업을 추가하는 동영상을 보여준다면, 로봇은 "아, 플러스 기호가 보이면 클릭해야겠구나"라고 배웁니다. 하지만 로봇이 약간 다른 화면이나 새로운 앱을 마주치면 막힙니다. 왜냐하면 그것은 실제로 현실 세계에서 "플러스" 버튼이 무엇을 의미하는지 이해하지 못하기 때문입니다. 로봇은 단지 패턴을 암기했을 뿐입니다.

저자들은 이를 해결하기 위해 GUI-CIDER라는 새로운 방법을 제안합니다. 이는 로봇에게 누군가가 작업을 수행하는 동영상을 보여주는 대신, 화면 세계가 어떻게 작동하는지에 대한 "교과서"를 제공하는 것과 같습니다.

GUI-CIDER 는 다음과 같이 세 가지 간단한 단계로 작동합니다:

1. 행동을 이야기로 변환하기 (데이터 합성)

일반적으로 로봇 훈련 데이터는 "여기 클릭", "위로 스크롤", "저것 입력"과 같은 원시 행동의 목록일 뿐입니다. 매우 건조하고 기계적입니다.

GUI-CIDER 는 이러한 원시 행동 로그를 가져와 스마트 AI 를 사용하여 이야기로 다시 씁니다.

비유: 스포츠 해설자가 경기를 지켜보는 상황을 상상해 보세요. 해설자가 단순히 "A 선수가 공을 찼다"라고 말하는 대신, 왜 찼는지 설명합니다. "A 선수가 공을 찬 것은 수비가 열려 있었기 때문이며, 이 움직임은 골을 넣기 위해 고안된 것이다."
논문의 수행 내용: 원시 화면 상호작용을 가져와 두 가지 층위의 "이야기"를 추가합니다.
- 계획: 큰 목표는 무엇인가? (예: "새로운 작업을 추가해야 한다.")
- 원인: 왜 그 특정 클릭이 발생했는가? (예: "새로운 항목을 생성하려면 인터페이스가 플러스 기호를 클릭하도록 요구하기 때문에, 그리고 이 행동이 '작업 추가' 메뉴를 트리거할 것이기 때문에 플러스 기호를 클릭했다.")
  이것은 지루한 클릭 목록을 인터페이스가 어떻게 그리고 왜 작동하는지에 대한 풍부한 인과적 설명으로 바꿉니다.

2. 최고의 이야기 선별하기 (예시 재선택)

이제 수백만 개의 이러한 "이야기"가 있는 도서관을 상상해 보세요. 일부는 훌륭하지만, 많은 것들은 반복적이거나 혼란스럽습니다. 로봇에게 모든 것을 공급하면 소음에 의해 혼란을 겪을 수 있습니다.

GUI-CIDER 는 최고의 책만 보관하는 엄격한 사서처럼 작동합니다.

비유: 요리하는 법을 배우려 한다고 상상해 보세요. 1 만 개의 레시피 더미가 있습니다. 일부는 완벽하지만, 5 천 개는 "물을 끓이다"가 반복된 것이고, 2 천 개는 당신이 이해하지 못하는 언어로 쓰여 있습니다. 당신은 요리의 논리를 설명하는 것들 (예: "물이 끓으면 파스타를 넣는다") 을 유지하고, 지루하고 반복적인 것들은 버리고 싶을 것입니다.
논문의 수행 내용: 수학적 공식을 사용하여 데이터를 필터링합니다. 강력한 "인과" 논리를 가진 이야기들 (요리 설명과 같은) 에는 보상을 주고, 서로 중복된 이야기들에는 페널티를 부과합니다. 이로써 로봇은 고품질이고 비반복적인 "교과서"를 갖게 됩니다.

3. "중간 훈련" (지식 내면화)

마지막으로, 로봇은 이 필터링된 고품질 교과서를 읽습니다.

비유: 셰프의 동영상을 보는 것 (이는 표준 훈련과 같습니다) 대신, 로봇은 요리의 원리를 설명하는 요리책을 읽고 앉습니다. "열은 물질을 변화시킨다"와 "재료들은 상호작용한다"는 것을 배웁니다.
논문의 수행 내용: 그들은 로봇에게 특정 작업을 가르치기 전에 이 새로운 데이터로 훈련시킵니다. 이를 "중간 훈련"이라고 합니다. 목표는 지식을 "내면화"하는 것입니다. 로봇은 더 이상 "여기 클릭"을 암기하는 것을 멈추고, "이 버튼은 X 를 수행하기 위해 존재하므로 X 가 필요할 때 클릭해야 한다"는 것을 이해하기 시작합니다.

결과

저자들은 이 방법을 여러 벤치마크 (Android 폰에서 작업 해결 또는 다양한 앱 탐색 등) 에서 테스트했습니다.

결과: 이 방법으로 훈련된 로봇들은 자신이 무엇을 하고 있는지 이해하는 능력이 훨씬 향상되었습니다. 그들은 단순히 추측한 것이 아니라, 실제로 인터페이스를 이해했습니다.
놀라운 점: 이 방법으로 훈련된 더 작은 로봇 (40 억 개 파라미터) 이 실제로 구식 표준 방법으로 훈련된 훨씬 더 큰 로봇 (80 억 개 파라미터) 보다 더 좋은 성능을 발휘했습니다. 이는 더 큰 두뇌를 갖는 것보다 더 나은 지식을 갖는 것이 더 중요함을 시사합니다.

요약

이 논문은 더 나은 GUI 에이전트를 만들기 위해 단순히 더 많은 원시 데이터를 공급해서는 안 된다고 주장합니다. 대신 우리는 다음과 같이 해야 합니다:

원시 행동을 논리적이고 인과적인 이야기로 번역합니다.
지루하고 반복적인 이야기들을 필터링합니다.
로봇에게 인터페이스의 이동이 아닌 규칙을 이해하도록 이 이야기들을 가르칩니다.

이 접근법인 GUI-CIDER는 로봇이 행동을 반복하는 "앵무새"에서 디지털 인터페이스가 어떻게 작동하는지 이해하는 "학생"으로 이동하도록 돕습니다.

기술 요약: GUI-CIDER

문제 정의

그래픽 사용자 인터페이스 (GUI) 에이전트를 위한 멀티모달 대규모 언어 모델 (MLLM) 의 급속한 발전에도 불구하고, 실제 작업 완성은 GUI 작동에 관한 세계 지식 부족으로 인해 병목 현상을 겪고 있습니다. 기존 솔루션들은 일반적으로 비용이 많이 드는 다중 에이전트 발판 (scaffolding) 이나 지도 미세 조정 (SFT) 및 강화 학습 (RL) 과 같은 전통적인 사후 학습 패러다임에 의존합니다. 그러나 저자들은 사후 학습이 에이전트에게 행동 주석이나 보상 신호를 통해 세계 지식을 암묵적으로 흡수하게 할 뿐이라고 주장합니다. 이는 GUI 환경 내의 근본적인 논리와 인과 관계를 진정한 이해로 이어지지 않는 비효율적인 "궤적 암기"를 초래합니다. 따라서 이러한 지식을 명시적으로 학습할 수 있는 접근 방식이 시급히 필요합니다.

방법론: GUI-CIDER

저자들은 에이전트에게 GUI 세계 지식을 명시적으로 내면화하도록 설계된 미드-트레이닝 (mid-training) 프레임워크인 GUI-CIDER(인과적 내면화 및 밀도 인식 표본 재선정) 를 제안합니다. 파이프라인은 세 가지 명확한 단계로 구성됩니다:

1. 데이터 합성

시스템은 원시 GUI 궤적 (작업 지시사항, 스크린샷, 행동으로 구성) 에서 지식 풍부한 텍스트 샘플을 합성합니다. 이 과정은 두 가지 주요 지식 차원을 추출합니다:

정적 계획 지식: 고용량 LLM 은 잠재적 사전 지식 (latent prior) 으로 작용하여 제로샷 추론을 수행하고, 추상적인 사용자 의도를 계층적 하위 목표 ( $S$ ) 시퀀스로 분해합니다.
동적 인과 지식: 시스템은 지식 추출을 텍스트 기반의 의미론적 및 인과적 유도 과정으로 재구성합니다. 이는 다음을 활용합니다:
- 의미론적 행동 기반: 저수준 행동 원시 데이터와 UI 메타데이터를 인간이 해석 가능한 의미 설명으로 매핑합니다.
- 텍스트 상태 추상화 및 인과 논리 유도: 시각적 스크린샷을 자연어 상태 설명으로 변환하고 인과 분석가를 사용하여 근본적인 전이 논리를 추출합니다. 이를 통해 행동 트리거, UI 메커니즘, 그리고 사고의 연쇄 (chain-of-thought) 논리를 포함한 자체 완결형 텍스트 근거 ( $R_t$ ) 가 생성되며, 최종 학습 데이터에서 원시 스크린샷의 필요성이 제거됩니다.

2. 표본 재선정

합성된 코퍼스를 정제하기 위해 저자들은 밀도 인식 표본 재선정 전략을 사용합니다. 이 단계는 강력한 추론 구조를 가진 샘플을 유지하면서 의미론적 중복성을 패널티로 부과하여 데이터를 필터링합니다.

인과적 중요도 ( $f(x)$ ): 근거 내 인과 논리 토큰 (예: "because", "if", "due to") 의 수에 기반한 함수입니다.
상대적 밀도 추정 ( $d(x)$ ): 임베딩 공간 내 K-최근접 이웃 거리를 전역 평균 거리에 상대화하여 계산합니다.
유지 확률 ( $g(x)$ ): 밀도와 인과적 중요도의 비선형 결합입니다. 이 함수는 인과적 중요도에 대해 단조 증가하고 밀도에 대해 단조 감소하도록 설계되었습니다. 특히, 이는 밀도 - 인과 시너지 속성을 만족하여, 매우 중복된 (밀집된) 영역에서 인과적 엄격성이 높은 샘플이 우선시되도록 보장합니다.

3. 미드-트레이닝

정제된 고품질 코퍼스는 미드-트레이닝을 통해 GUI 에이전트를 학습하는 데 사용됩니다. 학습 목표는 직렬화된 텍스트 튜플에 대한 표준 인과 언어 모델링 (다음 토큰 예측) 입니다. 이 과정은 획득한 세계 지식과 전이 역학을 모델의 매개변수 메모리에 직접 임베딩하여, 에이전트가 외부 런타임 발판 없이도 인과 관계를 내면화할 수 있게 합니다.

주요 기여

GUI-CIDER 프레임워크: 인과적 내면화와 밀도 인식 표본 재선정을 통해 GUI 세계 지식을 명시적으로 내면화하는 새로운 미드-트레이닝 방법.
합성 코퍼스: 데이터 합성 단계에서 파생된 약 1 억 1 천만 토큰 규모의 고품질 코퍼스 생성 및 연구 커뮤니티 공개.
실증적 검증: GUI-CIDER 가 에이전트의 GUI 작동 이해도와 작업 완료 성능 모두를 향상시킨다는 것을 보여주는 광범위한 실험.

실험 결과

저자들은 GUI-CIDER 를 세 가지 작업 완료 벤치마크 (AITZ, AndroidControl, GUI-Odyssey) 와 두 가지 GUI 지식 벤치마크 (MMBench-GUI L1, GUI Knowledge Bench) 에서 평가했습니다.

작업 완료: GUI-CIDER 는 사후 학습 베이스라인 대비 작업 성공률에서 평균 **9.70%**의 상대적 개선을 달성했습니다. 특히, GUI-CIDER 와 사후 학습으로 훈련된 4B 규모 에이전트는 8B 규모 대응 모델을 능가했는데, 이는 GUI 에이전트에게 지식 확장이 매개변수 확장보다 더 중요할 수 있음을 시사합니다.
GUI 지식: GUI Knowledge Bench 에서 GUI-CIDER-8B 모델은 Claude-Sonnet-4.5와 유사한 성능 수준 (전체 점수 66.51 대 66.53) 에 도달하여, 다른 8B 모델들을 크게 능가하고 실제 작업 완성을 평가하는 객관적 하위 집합에서 o3, Gemini-2.5-Pro 와 같은 더 큰 모델들을 능가했습니다.
기본 모델 분석: 연구 결과, 미드-트레이닝은 GUI 도메인에서 이미 과도하게 사후 학습된 모델보다 일반 에이전트에 적용할 때 가장 효과적이었습니다. GUI 작업에 지나치게 특화된 모델들은 세계 지식에 대한 미드-트레이닝을 받을 때 성능이 저하되었는데, 이는 원래의 언어 표현 능력이 교란되었음을 나타냅니다.
애블레이션 연구: 표본 재선정 단계를 제거하면 성공률이 크게 하락했는데, 이는 인과 구조와 낮은 중복성을 필터링하는 것이 모델이 노이즈가 있거나 단축된 행동을 학습하는 것을 방지하는 데 필수적임을 확인시켜 주었습니다.

중요성과 주장

본 논문은 GUI-CIDER가 에이전트에게 세계 지식을 명시적으로 내면화하게 함으로써 다중 에이전트 발판과 전통적인 사후 학습보다 더 효율적인 대안을 제공한다고 주장합니다. 저자들은 현재 GUI 에이전트의 병목 현상이 단순히 데이터 양의 부족이 아니라 GUI 작동에 대한 구조화된 인과적 이해의 부족이라고 봅니다. 미드-트레이닝을 통한 암묵적 궤적 암기에서 명시적 인과 내면화로 패러다임을 전환함으로써, 이 방법은 일반 언어 모델과 전문 GUI 에이전트 간의 지식 격차를 해소합니다. 결과는 지식 확장—특히 내면화된 지식의 품질과 구조—이 더 능력 있는 GUI 에이전트로 나아가는 유망한 길이며, 방대한 매개변수 수나 복잡한 다중 에이전트 시스템에 대한 의존성을 줄일 수 있음을 시사합니다.