FedGUI: Benchmarking Federated GUI Agents across Heterogeneous Platforms, Devices, and Operating Systems

1. 문제 정의 (Problem)

기존의 GUI 에이전트 (사용자 인터페이스를 인식하고 작업을 수행하는 AI) 는 주로 중앙 집중식 데이터 수집과 수동 라벨링에 의존합니다. 이 방식은 다음과 같은 한계가 있습니다:

• 높은 비용 및 확장성 부족: 대규모 데이터를 수집하고 주석 처리하는 데 막대한 비용이 듭니다.
• 개인정보 보호 문제: 실제 사용자의 GUI 상호작용 데이터는 민감한 정보를 포함하고 있어 공개 공유가 어렵습니다.
• 단일 플랫폼의 한계: 기존 연구는 주로 모바일 (Android) 에 집중되어 있으며, 웹 (Web) 과 데스크톱 (Desktop) 환경을 아우르는 크로스 플랫폼 (Cross-platform) 협업과 학습을 고려하지 못했습니다.
• 이질성 (Heterogeneity) 의 부재: 실제 환경은 기기, 운영체제 (OS), 데이터 소스, 플랫폼 간에 큰 차이 (Non-IID) 가 존재하지만, 이를 체계적으로 평가할 벤치마크가 부족했습니다.

2. 방법론 (Methodology)

이 논문은 위 문제를 해결하기 위해 FedGUI라는 포괄적인 벤치마크를 제안합니다. 이는 분산된 환경에서 GUI 에이전트를 훈련하고 평가하기 위한 프레임워크입니다.

• 시스템 아키텍처: 중앙 서버와 모바일, 웹, 데스크톱 플랫폼의 이질적인 클라이언트들로 구성된 페더러티드 러닝 (Federated Learning, FL) 프레임워크를 구축했습니다.
• 데이터 구성 (6 개 데이터셋): 8 개의 소스 데이터셋 (AndroidControl, AitW, GUI Odyssey, Mind2Web 등) 을 통합하여 4 가지 주요 이질성 유형을 시뮬레이션하는 6 개의 데이터셋을 제작했습니다.
  1. FedGUI-Platform: 모바일, 웹, 데스크톱 간의 크로스 플랫폼 이질성.
  2. FedGUI-Device: 동일한 OS 내에서도 다른 기기 (Pixel 7 Pro, 태블릿 등) 간의 크로스 디바이스 이질성.
  3. FedGUI-OS: Ubuntu, macOS, Windows 간의 크로스 OS 이질성.
  4. FedGUI-Mobile & Web: 동일한 플랫폼 내에서도 다른 데이터 수집 소스 간의 크로스 소스 이질성.
  5. FedGUI-Full: 위 모든 이질성을 결합한 가장 복잡하고 현실적인 시나리오.
• 통합 액션 스페이스 (Unified Action Space): 플랫폼 간 차이를 극복하기 위해 17 가지 행동 유형 (클릭, 타이핑, 스크롤 등) 으로 구성된 통합 액션 스페이스를 설계하여, 모바일, 웹, 데스크톱 간 일관된 정책 학습을 가능하게 했습니다.
• 지원 모델 및 알고리즘: 20 개 이상의 VLM(비전 - 언어 모델, 예: Qwen, GPT, Gemma 등) 과 7 가지 페더러티드 최적화 알고리즘 (FedAvg, FedYogi, FedAdam 등) 을 지원합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 크로스 플랫폼 페더러티드 GUI 벤치마크: 모바일, 웹, 데스크톱을 아우르는 최초의 통합 벤치마크인 FedGUI 를 제시했습니다.
2. 다양한 이질성 시뮬레이션: 실제 배포 환경을 반영한 4 가지 이질성 유형 (플랫폼, 디바이스, OS, 소스) 을 체계적으로 모델링한 6 개의 데이터셋을 구축했습니다.
3. 포괄적인 실험 및 통찰: 7 가지 알고리즘과 20 개 이상의 모델을 대상으로 한 광범위한 실험을 통해 페더러티드 GUI 에이전트의 성능과 한계를 규명했습니다.

4. 실험 결과 및 주요 발견 (Results & Insights)

• 크로스 플랫폼 협업의 효과: 단일 플랫폼 (모바일만 등) 에서 학습된 모델은 다른 플랫폼에서 성능이 급격히 떨어지지만, 페더러티드 학습을 통해 크로스 플랫폼 협업이 가능해지면 성능이 크게 회복됨을 확인했습니다. 이는 페더러티드 학습이 도메인 격차를 해소하는 데 필수적임을 보여줍니다.
• 이질성의 영향: 데이터 분포가 이질적일수록 (IID 에서 Skew 로 갈수록) 성능이 저하되지만, 플랫폼 수준의 이질성이 기기나 소스 수준의 이질성보다 모델 성능에 더 치명적인 영향을 미칩니다. 특히 데스크톱 환경이 가장 민감하게 반응했습니다.
• 알고리즘 성능: 적응형 최적화 알고리즘 (예: FedYogi, FedAdam) 이 FedAvg 등 기존 방법보다 이질적인 환경에서 더 강건한 성능을 보였습니다.
• 모델 규모와 효율성:
  • 페더러티드 학습 후, 소형 오픈소스 모델 (예: Qwen3-2B) 이 대규모 상용 모델보다 뛰어난 성능을 보이거나 경쟁력 있는 성능을 달성할 수 있음을 확인했습니다.
  • LoRA (Low-Rank Adaptation) 를 적용하면 통신 오버헤드를 크게 줄일 수 있어 (전송 데이터량 약 84MB/라운드), 엣지 디바이스 배포가 현실적으로 가능함을 증명했습니다.
• OS 이질성의 중요성: OS 간 차이 (Windows vs macOS) 가 디바이스나 소스 차이보다 성능 저하를 더 크게 유발했습니다.

5. 의의 및 중요성 (Significance)

• 실용적 배포의 기반: 사용자 프라이버시를 보호하면서도 대규모의 실제 GUI 데이터를 활용하여 에이전트를 훈련할 수 있는 길을 열었습니다.
• 차세대 에이전트 개발: 모바일, 웹, 데스크톱을 통합적으로 이해하고 작동하는 범용 GUI 에이전트 개발을 위한 표준 평가 기준을 제시했습니다.
• 연구 커뮤니티 기여: 코드와 데이터는 공개되어 (GitHub) 향후 페더러티드 러닝과 GUI 에이전트 연구의 확장성을 높였습니다.

결론적으로, FedGUI 는 분산 환경에서의 GUI 에이전트 학습이 직면한 복잡한 이질성 문제를 체계적으로 해결하고, 프라이버시를 보호하면서 확장 가능한 차세대 AI 에이전트 개발을 위한 핵심 인프라를 제공합니다.