CoAdapt-GUI: Joint Workflow Context and Policy Adaptation for Unseen GUI Applications

기술 요약: CoAdapt-GUI

문제 정의
모바일 GUI 에이전트는 소스 학습 데이터에 존재하지 않는 애플리케이션에 배포될 때 취약성을 보입니다. 최근의 발전은 확립된 벤치마크에서 성능을 향상시켰으나, 이러한 평가는 종종 미리 정의된 애플리케이션 및 워크플로우 컬렉션을 가정합니다. 실제 배포 환경에서 에이전트는 인터페이스 요소와 작업 절차가 모두 새로운 "미학습(unseen)" 애플리케이션에 직면하게 됩니다. 온라인 강화 학습(RL)과 같은 기존의 일반화 방식은 주로 정책(policy) 적응에만 초점을 맞춥니다. 그러나 익숙한 인터페이스 내에서 새로운 작업에 성공하는 것이 낯선 애플리케이션에서의 효과적인 동작을 보장하지는 않습니다. 에이전트는 인터페이스 특유의 그라운딩(grounding) 문제나 절차적 워크플로우 지식(예: 완료 조건, 실패 복구)의 부재로 인해 실패할 수 있습니다. 정책만 업데이트하거나 워크플로우 컨텍스트만 업데이트하는 것은, 특히 소스의 경험이 부정적 전이(app-specific details)를 일으켜 적응을 방해할 수 있는 교차 애플리케이션 변화 상황에서 핵심적인 실패 원인을 해결하지 못한 채 남겨둡니다.

방법론: CoAdapt-GUI
본 논문은 타겟 데모나 별도의 평가 신호 없이, 오직 에이전트 자신의 타겟 앱 롤아웃(rollout)과 태스크 수준의 보상만을 사용하여 구조화된 **워크플로우 컨텍스트(workflow context)**와 **정책(policy)**을 공동으로 적응시키도록 설계된 테스트 타임 적응(Test-Time Adaptation, TTA) 프레임워크인 CoAdapt-GUI를 소개합니다.

이 프레임워크는 두 가지 상보적인 적응 상태를 기반으로 작동합니다:

1. 전이 제한 워크플로우 컨텍스트 ($M_t$):

   • 관심사의 분리: 시스템은 앱에 종속된(app-bound) 소스 상태(화면, 좌표, 특정 식별자)와 전이 가능한(transferable) 절차적 지식(추상적 절차, 실패 모드, 검증 규칙)을 구분합니다.
   • FSM 기반 표현: 소스 워크플로우는 유한 상태 머신(FSM)으로 표현됩니다. "동결된 합성기(frozen synthesizer)"는 자격 판별 조건(eligibility predicates)과 스키마 검증기를 통해 앱 종속적 세부 사항을 필터링함으로써 전이 가능한 상태($M_{tr}$)를 구축합니다.
   • 타겟 그라운디드 수정: 적응 과정 중, 에이전트는 별도의 타겟 그라운디드 상태($M_{t}^{tgt}$)를 유지합니다. "동결된 리플렉터(frozen reflector)"는 매칭된 롤아웃으로부터 성공 및 실패 트레이스를 대조하여 워크플로우 컨텍스트에 대한 수정을 제안합니다. 이러한 수정 사항은 팝퓰레이션에 진입하기 전, 타입 스키마(앱 이름, 패키지 ID 등 제외)에 따라 검증됩니다.
   • 검색(Retrieval): 타겟 태스크에 대해, 시스템은 자격 제약이 적용된 검색된 소스 워크플로우 컨텍스트($M_0$)를 추출하고 이를 진화하는 타겟 그라운디드 상태와 결합합니다.

2. 태스크-컨텍스트 매칭 정책 적응:

   • 아키텍처: 정책은 동결된 백본과 학습 가능한 LoRA 어댑터($\theta_t$)를 가진 시각-언어 모델(VLM)입니다.
   • 그룹 상대적 최적화: 컨텍스트 변화에 따른 간섭을 방지하기 위해, 정책 업데이트는 동일한 태스크와 동일한 컨텍스트 조건($G(q, \kappa)$)을 공유하는 롤아웃 사이에서만 계산됩니다.
   • 목표: 프레임워크는 매칭된 그룹 내에서 계산된 어드밴티지($A_j$)를 기반으로 LoRA 파라미터를 업데이트하기 위해 그룹 상대적 목적 함수(Shao et al., 2024)를 사용합니다. 이는 크레딧 할당(credit assignment)이 태스크 난이도나 컨텍스트 가이드의 차이가 아닌, 정책의 개선을 반영하도록 보장합니다.

3. 공동 적응 루프(Joint Adaptation Loop):

   • 프레임워크는 통제된 리셋 조건 하에서 매칭된 롤아웃을 실행합니다.
   • 동일한 롤아웃 스트림은 두 채널을 구동합니다:
     • 컨텍스트 채널: 컨텍스트 변형의 등급을 업데이트하고 검증된 자식 버전을 제안합니다.
     • 정책 채널: 누적된 궤적(trajectories)을 사용하여 LoRA 어댑터를 업데이트하되, 유효한 태스크-컨텍스트 비교 그룹이 존재하는 경우에만 수행합니다.
   • 업데이트는 상호 결합되어 있으나 공동 미분 가능(jointly differentiable)하지는 않습니다. 현재의 컨텍스트가 정책 학습을 위한 궤적을 형성하며, 현재의 정책은 워크플로우를 수정하는 데 사용되는 성공/실패 신호를 생성합니다.

주요 기여

1. 공동 타겟 측 적응: 타겟 데모 없이 오직 자율적인 타겟 상호작용과 보상만을 사용하여 별도의 워크플로우 컨텍스트와 정책 상태를 업데이트하는 TTA 프레임워크를 제시합니다.
2. 전이 제한 적응: 전이 가능한 워크플로우 지식과 앱 종속적 소스 상태를 분리하는 메커니즘을 제공합니다. 이는 보상 가이드 업데이트를 조정하며, 컨텍스트 수정은 스키마 체크에 의해 검증되고, 정책 크레딧은 엄격하게 매칭된 태스크-컨텍스트 그룹 내에서 계산됩니다.
3. 포괄적 평가: 본 프레임워크는 두 가지 수준의 일반화에 대해 평가되었습니다:
   • 인스턴스 일반화 (Instance Generalization): 알려진 태스크 템플릿의 새로운 인스턴스 (AndroidWorld-Generalization).
   • 태스크 유형 일반화 (Task-Type Generalization): 미학습 앱 내의 완전히 새로운 태스크 템플릿 (AndroidWorld Plus).

실험 결과
저자들은 CoAdapt-GUI를 Base Policy, Static Context Transfer, Policy-Only TTA, 그리고 Context-Only TTA를 포함한 베이스라인들과 비교 평가했습니다.

• AndroidWorld-Generalization (새로운 태스크 인스턴스):

  • CoAdapt-GUI는 **45.0%**의 성공률을 달성했습니다.
  • 이는 보고된 Policy-Only TTA 베이스라인(37.5%)보다 7.5%포인트, Context-Only TTA(35.0%)보다 10.0%포인트 높은 수치입니다.
  • Static Context Transfer는 28.75%를 기록했습니다.

• AndroidWorld Plus (새로운 태스크 템플릿):

  • 이 설정은 적응 과정에서 보지 못한 태스크 유형으로의 전이를 테스트했습니다.
  • CoAdapt-GUI는 전체 성공률을 Base Policy의 **38.6%**에서 **52.9%**로 높였습니다.
  • Context-Only TTA는 베이스 대비 48.1%로 개선한 반면, Policy-Only TTA는 40.0%에 그쳤습니다.
  • 카테고리 공유 앱 (Category-Shared Apps) (소스 워크플로우를 검색할 수 있는 경우)에서 CoAdapt-GUI는 70.4%에 도달했습니다.
  • 카테고리 미보유 앱 (Category-Novel Apps) (소스 워크플로우가 없는 경우)에서도 Co-Adapt-GUI는 성공률을 29.4%(Base)에서 **34.3%**로 높여, 소스 사전 지식 없이도 타겟 그라운디드 적응의 효용성을 입증했습니다.

의의 및 주장
본 논문은 전이 제한 워크플로우 컨텍스트가 새로운 앱 일반화에 상당한 이득을 제공하며, 정책을 공동 적응시키는 것이 홀드아웃 성능을 더욱 향상시킨다고 주장합니다. 결과는 다음을 시사합니다:

1. 워크플로우 적응의 중요성: 워크플로우 컨텍스트를 적응시키는 것(Context-Only TTA)만으로도 정적 전이나 정책 전용 업데이트보다 유의미한 개선을 보이며, 특히 새로운 태스크 유형이 등장하는 시나리오에서 그러합니다.
2. 공동 적응의 시너지: 컨텍스트와 정책 적응을 결합한 CoAdapt-GUI가 가장 우수한 종합 성능을 달로, 이는 두 상태가 별개이면서도 상보적인 채널임을 나타냅니다.
3. 소스 변화에 대한 강건성: 프레임워크는 소스 워크플로우를 사용할 수 없는 경우(Category-Novel Apps)에도 처음부터 타겟 그라운디드 지식을 구축함으로써 효과적으로 대응합니다.

저자들은 소스와 타겟 풀을 분리하고, 업데이트를 적응 분할(adaptation split)로 제한하며, 평가 전 상태를 동결함으로써 정보 누출을 방지했음을 강조합니다. 결론적으로 CoAdapt-GUI는 제한된 상호작용 예산 내에서 미학습 애플리케이션에 자율적으로 적응할 수 있는 GUI 에이전트 배포의 실행 가능한 경로를 제공합니다.