기술 요약: MMSkills: 범용 시각 에이전트를 위한 다중 모달 기술

1. 문제 제기

기존 에이전트 기술 프레임워크는 재사용 가능한 행동을 텍스트 프롬프트, 실행 가능한 코드, 또는 학습된 루틴으로 주로 인코딩합니다. 언어 추상화 환경에서 작동하는 에이전트에게는 효과적이지만, 의사결정이 시각적 증거에 크게 의존하는 시각 에이전트(예: GUI 또는 게임 에이전트) 에게는 이 접근 방식이 불충분합니다. 이러한 에이전트에게 절차적 지식은 본질적으로 다중 모달입니다. 성공적인 재사용은 수행할 작업뿐만 아니라 관련 시각적 상태를 인식하고, 진행 또는 실패의 증거를 해석하며, 시각적 단서를 기반으로 다음 단계를 결정하는 데 달려 있습니다.

현재의 텍스트 전용 기술은 시각 작업에 대해 지나치게 길면서도 미묘하게 불명확해지는 경향이 있는 반면, 원시 시연 (raw demonstrations) 은 길고, 특정 사례에 국한되며, 적응하기 어렵습니다. 이 격차는 다음과 같은 세 가지 구체적인 과제를 야기합니다:

1. 표현 (Representation): 절차, 시각적 상태, 검증 단서를 일관성 있고 재사용 가능한 단위로 결합하는 다중 모달 기술 패키지를 어떻게 구조화할 것인가.
2. 생성 (Generation): 수동 작성 예시나 원시 재생 (raw replay) 에 의존하지 않고 공개된 비평가 상호작용 궤적 (trajectories) 에서 이러한 패키지를 어떻게 도출할 것인가.
3. 활용 (Utilization): 에이전트를 과도한 이미지 컨텍스트로 압도하거나 에이전트가 라이브 환경 대신 참조 스크린샷에 과도하게 고정 (over-anchor) 되게 함 없이 추론 시 다중 모달 기술 증거를 어떻게 참조할 것인가.

2. 방법론

저자들은 MMSkills를 제안합니다. 이는 다중 모달 기술 패키지, 기술 생성기, 브랜치 로드 (Branch-Loaded) 기술 에이전트라는 세 가지 핵심 구성 요소로 구성된 프레임워크입니다.

2.1 다중 모달 기술 패키지

MMSkill 은 상태 조건부 절차 패키지 $M = (D, P, S, K)$로 정의됩니다:

• $D$ (기술자, Descriptor): 기술에 대한 간결한 설명.
• $P$ (절차, Procedure): 행동 패턴에 대한 재사용 가능한 텍스트 설명.
• $S$ (상태 카드, State Cards): 의사결정 노드로 작용하는 런타임 상태 카드 $S_j$의 집합. 각 카드는 다음을 명시합니다:
  • 사용 시기와 비사용 시기 조건.
  • 점검할 가시적 단서.
  • 진행 또는 완료를 확인하기 위한 검증 단서.
  • 사용 가능한 보기 (views) (예: 전체 프레임, 초점 컷, 전/후).
• $K$ (키프레임, Keyframes): 상태 카드와 정렬된 다중 뷰 이미지 묶음으로, 컨텍스트를 위한 전체 프레임, 특정 단서를 위한 초점 컷, 전환을 위한 선택적 전/후 보기를 포함합니다.

이 구조는 정적 지시를 시각적 증거가 에이전트가 절차를 따를지, 건너뛸지, 또는 검증할지 결정하도록 돕는 동적이고 상태 인식형 가이드로 기술을 변환합니다.

2.2 기술 생성 파이프라인

이 프레임워크는 공개된 비평가 상호작용 궤적을 MMSkill 로 변환하는 자동화된 **궤적 - 기술 생성기 (Trajectory-to-Skill Generator)**를 도입합니다. 이 과정은 다섯 단계로 이루어집니다:

1. 임베딩 및 클러스터링: 광범위한 도메인을 의미론적으로 집중된 클러스터로 그룹화.
2. 클러스터 수준 계획: LLM 기반 에이전트가 워크플로우 경계와 완료 조건을 가진 원자적 기술 (atomic skills) 을 제안.
3. 병합 (Merging): 계획들을 중복 제거하고 일반화하여 병합된 기술 명세로 통합.
4. 텍스트 우선 초안 작성: 이미지를 읽지 않고 기술자, 절차, 상태 카드를 생성.
5. 이미지 그라운딩 및 감사: 선택된 키프레임을 읽어서 초점 영역을 그라운딩하고, 다중 뷰 묶음을 구성하며, **메타 기술 (meta-skills, 재사용 가능한 스크립트 및 품질 게이트)**을 사용하여 최종 패키지를 감사.

2.3 브랜치 로드 에이전트

컨텍스트 과부하 및 시각적 고정 (anchoring) 문제를 해결하기 위해 저자들은 **브랜치 로딩 (branch loading)**을 제안합니다. 전체 기술 패키지 (텍스트 + 여러 이미지) 를 메인 에이전트의 컨텍스트에 주입하는 대신, 시스템은 임시 브랜치 내에서 두 단계로 작동합니다:

1. 1 단계 (게이트된 보기 선택): 브랜치가 라이브 관찰과 기술의 텍스트/상태 카드를 분석하여 시각적 증거가 필요한지 결정합니다. 필요한 경우, 관련 상태 카드와 특정 보기 유형 (예: 전체 프레임 대비 초점 컷) 만 선택합니다.
2. 2 단계 (플래너 안내): 브랜치가 선택된 증거를 라이브 상태와 정렬하여 적용 가능성, 하위 목표, 계획, 제약 조건, 검증 검사 등을 포함하는 컴팩트한 구조화된 안내 튜플 $G_t$를 메인 에이전트에 반환합니다.
   메인 에이전트는 이 정제된 안내를 사용하여 라이브 스크린샷에 기반한 grounded 의사결정을 내리며, 참조 이미지로 인한 방해를 방지합니다.

3. 주요 기여

1. 다중 모달 기술 패키지: 텍스트 절차, 런타임 상태 카드, 다중 뷰 키프레임을 통합한 다중 모달 절차적 지식으로서 범용 시각 에이전트를 위한 재사용 가능 기술의 첫 번째 공식화.
2. 에이전트 생성기: 워크플로우 그룹화, 절차 유도, 시각적 그라운딩, 메타 기술 기반 감사를 통해 공개 상호작용 궤적을 다중 모달 기술 패키지로 변환하는 자동화된 파이프라인.
3. 브랜치 로딩: 기술 - 환경 그라운딩을 임시 브랜치에서 격리하고, 증거를 선택 및 정렬한 후 구조화된 의사결정 지원을 메인 에이전트에 반환하는 런타임 메커니즘.
4. 실증적 검증: 다양한 GUI 및 게임 기반 벤치마크 (OSWorld, macOSWorld, VAB-Minecraft, Super Mario Bros) 와 여러 모델 계열에서 상당한 성능 향상을 입증.

4. 실험 결과

저자들은 프런티어 모델 (예: Gemini 3.1 Pro, Qwen3-VL-235B) 과 소형 모델 (예: Qwen3-VL-8B) 을 사용하여 OSWorld, macOSWorld, VAB-Minecraft, Super Mario Bros에서 MMSkills 를 평가했습니다.

• 성능 향상: MMSkills 는 '기술 없음' 및 '텍스트 전용 기술' 베이스라인 대비 성공률을 일관되게 향상시켰습니다. 예를 들어, OSWorld 에서 MMSkills 는 Qwen3-VL-235B 를 21.34% 에서 39.17% 로, Qwen3-VL-8B 를 10.78% 에서 25.40% 로 향상시켰습니다.
• 애블레이션 연구 (Ablation Studies):
  • 구성 요소: 상태 카드와 다중 뷰 시각적 증거 모두 결정적으로 중요했으며, 어느 하나를 제거해도 성능이 저하되었습니다.
  • 로딩 메커니즘: 브랜치 로딩이 직접 로딩 (전체 기술을 컨텍스트에 삽입) 보다 우수했습니다. 직접 로딩은 컨텍스트 오염과 시각적 고정으로 인해 성능을 해치는 경우가 많았으나, 브랜치 로딩은 텍스트 전용 기술에서도 명확한 향상을 제공했습니다.
• 상호작용 역학:
  • 호출: MMSkills 는 텍스트 전용 기술보다 더 빈번하게 호출되었으며, 이는 상태 카드가 관련성 감지를 용이하게 함을 시사합니다.
  • 효율성: MMSkills 는 평균 상호작용 단계 수를 감소시켰습니다 (예: OSWorld 에서 Qwen3-VL-235B 의 경우 -5.35 단계), 이는 더 짧은 작업 해결 경로를 의미합니다.
  • 행동 변화: MMSkills 를 사용하는 에이전트는 반복적인 행동이 줄어들고, 탐색적 시행착오에서 grounded 상태 인식 실행으로 전환되었습니다. 예를 들어, '클릭' 행동의 비율은 감소한 반면 '키보드' 및 '완료 (DONE)' 행동은 증가하여 더 나은 완료 인식을 시사했습니다.

5. 중요성 및 주장

이 논문은 외부 다중 모달 절차적 지식이 모델 내부의 사전 지식 (priors) 을 보완한다고 주장합니다. 행동 절차를 적용하는 데 필요한 시각적 증거 및 상태 의존적 의사결정과 명시적으로 결합함으로써, MMSkills 는 시각 에이전트가 다음을 가능하게 합니다:

• 시각적 상태를 기반으로 절차의 적용 가능성을 인식.
• 시각적 단서를 사용하여 진행, 실패, 완료를 구분.
• 텍스트 전용 기술의 미묘한 불명확성 (underspecification) 과 원시 시연의 적응력 부족이라는 함정을 피함.

저자들은 이 접근 방식이 명시적인 시각적 절차적 지식이 제한된 내부 사전 지식을 보완할 수 있는 약한 시각 에이전트에게 특히 가치 있다고 강조합니다. 이 연구는 범용 시각 에이전트에게 '기술' 단위가 텍스트/코드에서 시각적 그라운딩을 통해 의사결정을 안내하는 상태 조건부 다중 모달 패키지로 진화해야 함을 시사합니다.

한계점: 저자들은 소스 궤적 커버리지에 대한 의존성, 기술 생성 또는 시각적 그라운딩의 잠재적 오류, 그리고 브랜치 로딩 메커니즘으로 인한 추가 추론 비용을 인정합니다. 또한 이를 안전-중요 (safety-critical) 설정으로 확장하려면 더 강력한 검증 및 온라인 복구 메커니즘이 필요하다고 지적합니다.