HiconAgent: History Context-aware Policy Optimization for GUI Agents

이 논문은 불필요한 정보로 인한 계산 오버헤드를 줄이면서도 역사적 맥락을 효과적으로 활용하기 위해 동적 맥락 샘플링과 앵커 기반 역사 압축을 결합한 'HiconAgent'를 제안하고, 이를 통해 더 작은 모델로도 기존 최첨단 모델보다 뛰어난 성능과 효율성을 달성함을 보여줍니다.

핵심

📱 HiconAgent: "과거의 모든 것을 기억하지 않아도 되는" 똑똑한 앱 조종사

이 논문은 GUI 에이전트(스마트폰이나 컴퓨터 화면을 보고 마우스를 클릭하거나 타이핑하는 AI)가 어떻게 더 똑똑하고 빠르게 일할 수 있는지에 대한 새로운 방법을 소개합니다.

이 기술을 HiconAgent이라고 부르는데, 핵심 아이디어는 **"과거의 모든 것을 다 기억하려고 애쓰지 말고, 필요한 것만 잘 골라 쓰자"**는 것입니다.

---

🧩 1. 문제점: "과거의 모든 것을 기억하면 머리가 아파요!"

기존의 AI 에이전트들은 작업을 할 때, **과거에 본 모든 화면 **(스크린샷)을 다 기억하려고 했습니다.

• 비유: Imagine you are trying to solve a puzzle.
  • 기존 방식: 퍼즐을 풀 때, 어제, 일주일 전, 한 달 전에 본 모든 퍼즐 조각들을 책상 위에 다 펼쳐놓고 하나하나 비교합니다.
  • 결과: 책상이 너무 복잡해지고, 중요한 조각을 찾는 데 시간이 너무 오래 걸립니다. (계산 비용이 너무 많이 듭니다.)
  • 단점: 오히려 쓸데없는 정보 때문에 혼란스러워져서 실수를 하기도 합니다.

💡 2. 해결책: HiconAgent의 두 가지 비밀 무기

이 연구팀은 AI에게 두 가지 새로운 훈련 방법을 가르쳤습니다.

🔍 무기 1: "상황에 맞는 기억력 조절" (Dynamic Context Sampling)

AI에게 "항상 과거 3개 화면만 봐"라고 고정하지 않고, 상황에 따라 기억할 과거의 양을 유동적으로 바꿉니다.

• 비유: 요리할 때, 간단한 스프라면 지난 10 분의 기억만 있으면 되지만, 복잡한 케이크를 만들 때는 지난 1 시간의 레시피가 필요할 수 있습니다.
• 방법: AI는 훈련 과정에서 "오늘은 과거 1 개만 기억해", "내일은 과거 3 개까지 기억해"처럼 랜덤하게 기억할 양을 바꿔가며 연습합니다.
• 효과: AI는 어떤 상황에서는 짧은 기억이, 어떤 상황에서는 긴 기억이 필요한지 스스로 배우게 되어, 필요할 때만 필요한 정보를 꺼내 쓸 수 있게 됩니다.

🗑️ 무기 2: "핵심만 남기고 정리하기" (Anchor-guided History Compression)

과거의 정보를 저장할 때, 중요한 '행동 기록(누가 무엇을 클릭했는지)은 남기고, 중요하지 않은 '화면 이미지(과거 스크린샷)는 과감히 버립니다.

• 비유: 여행 일기를 쓸 때, **어디를 갔는지 **(행동)는 꼭 적어두지만, **그때 찍은 100 장의 사진 **(화면)은 다 지우고 요약본만 남깁니다.
• 핵심 발견: 연구팀은 AI가 과거 정보를 이해할 때, **이미지 자체보다는 '무엇을 했는지 **(행동)가 더 중요하다는 것을 발견했습니다.
• 방법:
  1. **선생님 **(완전 기억)과 **학생 **(압축 기억) 두 명을 둡니다.
  2. 선생님은 과거의 모든 화면과 행동을 다 보고 답을 냅니다.
  3. 학생은 과거의 '행동'만 보고 (이미지는 제외), 선생님의 답을 따라가며 답을 냅니다.
  4. 이렇게 하면 계산 속도는 2.5 배 빨라지고, 메모리 사용량은 60% 줄면서도 정확도는 거의 떨어지지 않습니다.

🚀 3. 실제 성과: 작은 몸집, 큰 실력!

이 방법을 적용한 HiconAgent-3B(모델 크기가 작음)는 기존에 유명한 GUI-R1-7B(모델 크기가 2 배 이상 큼)보다 훨씬 잘합니다.

• 성능: 복잡한 작업 (비행기 예약, 앱 찾기 등) 에서 정답률이 11% 이상 높아졌습니다.
• 속도: 같은 일을 하는 데 걸리는 시간이 2.5 배 빨라졌습니다.
• 효율: 컴퓨터가 계산하는 양 (FLOPs) 이 60%나 줄었습니다.

🌟 4. 결론: "적게 기억하고, 더 똑똑하게"

이 논문은 AI 에게 "과거의 모든 것을 다 기억하는 것"이 정답이 아니라고 말합니다. 대신 **"상황에 따라 기억할 양을 조절하고, 핵심인 '행동'만 남기고 나머지는 정리하는 것"**이 훨씬 효율적이고 똑똑한 방법임을 증명했습니다.

한 줄 요약:

"HiconAgent는 과거의 모든 사진을 다 보는 대신, '무엇을 했는지'라는 핵심 메모만 남기고 상황에 따라 필요한 만큼만 기억해서, 더 빠르고 정확하게 앱을 조종하는 새로운 AI 입니다."

기술 요약

1. 문제 정의 (Problem)

그래픽 사용자 인터페이스 (GUI) 에이전트는 복잡한 태스크를 수행하기 위해 과거의 행동 (actions) 과 관찰 (observations, 스크린샷) 을 포함한 역사적 컨텍스트 (History Context) 를 효과적으로 활용해야 합니다. 기존 연구들은 다음과 같은 두 가지 주요 딜레마에 직면해 있었습니다:

• 과도한 계산 비용 및 주의 산만: 과거의 모든 스크린샷과 행동을 그대로 입력에 포함시키면 (Full History), 어텐션 메커니즘의 이차 복잡도와 고해상도 이미지의 토큰 수로 인해 계산 오버헤드가 급증합니다. 또한, 관련 없는 정보가 모델의 의사결정을 방해할 수 있습니다.
• 정보 손실: 반대로, 계산 효율성을 위해 과거의 시각적 관찰 (스크린샷) 을 완전히 생략하고 행동만 입력으로 사용하는 경우, 모호한 지시를 해석하거나 시각적으로 유사한 요소를 구분하는 데 필수적인 중요한 시각적 단서가 손실되어 성능이 저하됩니다.

기존의 강화학습 (RL) 기반 GUI 에이전트들은 이러한 균형을 효과적으로 잡지 못해, 역사적 정보의 활용 효율성과 성능 간의 트레이드오프를 해결하지 못했습니다.

2. 제안 방법: HiconAgent 및 HCPO 프레임워크

저자들은 HiconAgent를 제안하며, 이를 학습시키기 위해 역사적 컨텍스트 인식 정책 최적화 (History Context-aware Policy Optimization, HCPO) 프레임워크를 도입했습니다. HCPO 는 샘플링 (Sampling) 과 업데이트 (Update) 두 단계에서 역사적 정보 활용을 최적화하는 두 가지 핵심 구성 요소를 통합합니다.

A. 동적 컨텍스트 샘플링 (Dynamic Context Sampling, DCS)

• 목적: 각 결정 단계마다 필요한 역사적 컨텍스트의 길이가 다르다는 점을 반영합니다. 고정된 길이의 역사를 사용하는 대신, 에이전트가 상황에 따라 가장 관련성 높은 컨텍스트 길이를 적응적으로 학습하도록 유도합니다.
• 메커니즘: 학습 중 고정된 길이가 아닌, 지수 편향 분포 (Exponential-biased distribution) 를 사용하여 다양한 길이의 역사적 컨텍스트를 샘플링합니다.
  • 학습 초기에는 다양한 길이 (짧은 역사 포함) 를 무작위로 탐색하여 안정성을 확보합니다.
  • 학습이 진행됨에 따라 더 긴 역사를 샘플링할 확률이 점진적으로 증가하도록 스케줄링합니다.
  • 이는 고정된 길이의 샘플링이 초래할 수 있는 학습 붕괴 (degeneration) 를 방지하고, 모델이 각 태스크에 맞는 최적의 역사 길이를 학습하게 합니다.

B. 앵커 가이드 히스토리 압축 (Anchor-guided History Compression, AHC)

• 목적: 계산 효율성을 높이면서도 중요한 의사결정 신호를 유지하기 위해 역사적 정보를 압축합니다.
• 핵심 발견: 레이어별 토큰 드롭 (Token-drop) 분석을 통해, 과거의 행동 토큰 (Action Tokens) 이 시각적 정보 흐름의 앵커 (Anchor) 역할을 한다는 것을 발견했습니다. 즉, 시각적 정보 (스크린샷) 는 초기 레이어에서 행동 토큰과 융합된 후, 이후 레이어에서는 행동 토큰을 통해 전달됩니다.
• 메커니즘:
  1. 이중 브랜치 구조 (Dual-branch):
     • 압축되지 않은 브랜치: 전체 역사 (행동 + 시각) 를 사용하여 표준 GRPO 목적함수로 학습합니다.
     • 압축된 브랜치: 초기 레이어 (k) 까지 전체 정보를 처리한 후, 그 이후 레이어에서는 과거의 시각적 관찰 (스크린샷) 을 제거하고 과거의 행동 토큰만 유지합니다.
  2. 정렬 손실 (Alignment Loss): 압축된 브랜치가 압축되지 않은 브랜치 (교사 모델) 와 동일한 의사결정 분포를 따르도록 KL 발산 (KL Divergence) 을 최소화하는 손실 함수를 추가합니다. 이를 통해 시각적 정보가 제거되어도 행동 앵커를 통해 핵심 정보가 유지되도록 합니다.

3. 주요 기여 (Key Contributions)

1. 역사적 활용에 대한 포괄적 분석: GUI 에이전트에서 태스크와 결정 단계마다 선호하는 역사 길이가 다르며, 과거 행동이 시각적 정보 흐름의 핵심 앵커 역할을 한다는 것을 실증적으로 규명했습니다.
2. HCPO 프레임워크 제안: DCS 와 AHC 를 결합한 새로운 강화 미세조정 (Reinforcement Fine-tuning) 프레임워크를 제안하여, 에이전트가 적응적으로 역사를 활용하면서도 불필요한 중복을 줄이고 의사결정 품질을 유지하도록 했습니다.
3. 성능 및 효율성 입증: 3B 파라미터 모델 (HiconAgent-3B) 이 7B 파라미터 모델 (GUI-R1-7B) 보다 더 높은 성능을 보이면서도, 계산 속도 (2.47 배 향상) 와 FLOPs (60% 감소) 측면에서 압도적인 효율성을 달성했습니다.

4. 실험 결과 (Results)

주요 GUI 네비게이션 벤치마크 (GUI-Odyssey, AndroidControl, AITW) 에서 HiconAgent-3B 의 성능을 검증했습니다.

• 성능 우위:
  • GUI-Odyssey: 7B 모델인 GUI-R1-7B 대비 Grounding 정확도 +8.46%, Step 성공률 +11.32% 향상.
  • AndroidControl 및 AITW: GUI-R1-7B 와 유사하거나 더 나은 성능을 달성했습니다.
  • OOD 일반화: 3K 개의 필터링되지 않은 데이터로 학습되었음에도, 대량의 필터링 데이터 (13M~32K) 로 학습된 다른 최신 모델들 (OS-Atlas, infiGUI 등) 보다 Out-of-Distribution(OOD) 환경에서 더 높은 평균 성공률을 기록했습니다.
• 효율성:
  • 계산 속도: 2.47 배 가속화.
  • FLOPs 감소: 60% 감소.
  • 모델 크기: 3B 모델로 7B 모델을 능가하는 성능 달성.

5. 의의 및 결론 (Significance)

이 논문은 GUI 에이전트 분야에서 역사적 컨텍스트의 효율적 활용이라는 핵심 과제를 해결했습니다. 단순히 역사를 늘리거나 줄이는 이분법적 접근을 넘어, 어떤 정보를 언제, 어떻게 압축할지에 대한 구조적 통찰 (행동 토큰의 앵커 역할) 을 제공하고, 이를 강화학습 프레임워크에 통합했습니다.

HiconAgent 는 경량화 (Lightweight) 되면서도 고성능 (High-performance) 을 달성하는 GUI 에이전트 개발을 위한 실용적인 패러다임을 제시하며, 제한된 계산 자원을 가진 환경에서도 복잡한 멀티스텝 GUI 태스크를 수행할 수 있는 가능성을 열었습니다.