기술 요약: MMG2Skill

문제 정의

시각-언어 모델(VLM) 에이전트는 데스크톱 GUI 제어, 오픈 월드 게임, 전략 카드 게임과 같은 상호작용 환경에서 장기적인 절차적 작업을 수행하는 과제를 점점 더 많이 맡고 있습니다. 이러한 도메인에서 성공을 가로막는 주요 장애물은 취약한 절차적 접지(weak procedural grounding), 즉 에이전트가 재사용 가능한 절차를 자신의 런타임 상태에 고정(anchor)하지 못하는 능력입니다. 웹에는 풍부한 멀티모달 절차적 지식(가이드, 튜토리얼, 문서)이 존재하지만, 이 자료들은 인간 실행자를 위해 설계되었습니다. 따라서 이는 종종 멀티모달적이고, 이질적이며, 노이즈가 많고, 인간의 맥락(예: 형제 절차, 전제 조건 가정, 내비게이션 텍스트)을 암묵적으로 가정하고 있습니다.

에이전트에게 가공되지 않은 가이드를 직접 프롬프트로 제공하는 것은 에이전트가 적용 가능한 단계와 무관한 콘텐츠를 쉽게 구별하지 못하거나, 에이전트가 명목상의 경로에서 벗어났을 때 가이드를 적응시키지 못하기 때문에 실패하는 경우가 많습니다. 반대로, 모든 작업에 대해 수동으로 기술(skill)을 작성하는 것은 노동 집약적이며, 에이전트의 탐색을 통해서만 발견된 기술은 에이전트 자신의 실패에 의해 제한됩니다. 이 연구가 다루는 핵심 질문은 다음과 같습니다: VLM 에이전트가 야생의(in-the-wild) 멀티모달 가이드를 스스로의 롤아웃을 통해 개선되는 실행 접지형 기술로 추출할 수 있는가?

방법론: MMG2Skill 프레임워크

저자들은 멀티모달 가이드를 편집 가능하고 실행 가능한 기술로 변환하며, 수정 과정에서 벤치마크 점수에 의존하지 않고 지속적으로 개선하도록 설계된 폐쇄 루프 프레임워크인 MMG2Skill을 제안합니다. 이 프레임워크는 세 단계로 작동합니다:

1. 멀티모달 기술 구축 (Tutorial-to-Skill):
   시스템은 가공되지 않은 멀티모달 가이드(HTML, 이미지, 스크린샷)를 편집 가능한 SKILL.md 표현 방식으로 정규화합니다. VLM 기술 추출기는 가이드를 다음과 같은 구조화된 기술 $S = \{z_i\}$의 집합으로 변환합니다. 각 기술 $z_i$는 다음을 포함합니다:

   • $u_i$: 재사용 가능한 절차.
   • $c_i$: 적용 가능 조건.
   • $v_i$: 기대 상태 단서.
   • $q_i$: 복구 지식.
     이 단계는 비구조화된 인간의 산출물을 더 안전한 절차적 사전 지식(prior)으로 변환합니다.

2. 기술 조건부 실행 (Skill-Conditioned Execution):
   에이전트 롤아웃(시도 $k$) 동안, 현재의 기술 집합 $S_k$는 작업 지침 및 최근 이력과 함께 에이전트의 컨텍스트에 주입됩니다. 에이전트의 정책 $\pi_\theta$는 고정되어 있으며, 작업, 이력, 그리고 현재의 기술에 따라 행동을 조건화합니다: $a_t \sim \pi_\theta(a_t | h_t, I, S_k)$. 기술 집합은 도메인 특화 액션 인터페이스를 변경하지 않으면서 절차적 컨텍스트 역할을 합니다.

3. 궤적 기반 기술 수정 (Trajectory-Driven Skill Revision):
   시도가 끝난 후, **분석기(Analyzer)**는 오직 작업 지침과 에이전트에게 보이는 궤적만을 읽습니다(벤치마크 점수나 숨겨진 상태는 제외). 분석기는 무엇이 작동했거나 실패했는지에 대한 증거인 $e_k$와 결과 평가인 $r_k$(예: likely_success)를 포함하는 진단 $\rho_k = (e_k, r_k)$를 생성합니다.
   그 후 **정제기(Refiner)**는 원래의 가이드, 현재의 기술, 그리고 축적된 진단을 사용하여 기술 집합을 업데이트합니다: $S_{k+1} = \text{REFINE}(G, I, S_k, \rho_{1:k})$. 정제기는 누락된 체크를 추가하거나, 상태 단서를 날카롭게 하거나, 오해의 소지가 있는 조언을 제거함으로써 SKILL.md 파일을 편집하며, 이전 시도에서 검증된 동작들을 보존합니다.

프레임워크에는 분석기의 likely_success 신호를 기반으로 하는 조기 종료 메커니즘이 포함되어 있으며, 이는 궤적이 작업을 충족하는 것으로 보일 때 루프를 중단하여 후기 단계의 성능 퇴보를 방지합니다.

벤치마크: MMG2Skill-Bench

이 능력을 평가하기 위해 저자들은 가이드-투-스킬 학습을 위해 특별히 설계된 최초의 벤치마크인 MMG2Skill-Bench를 도입했습니다.

• 범위: 이 벤치마크는 GUI (OSWorld), 게임 (OpenHA Minecraft), 전략 (RLCard를 통한 Doudizhu 및 Mahjong)의 세 가지 상호작용 레짐을 포괄합니다.
• 구성: 130개의 성공 추론 가능 작업과 그에 해당하는 관련 공개 멀티모달 가이드로 구성됩니다.
• 제약 사항: 결과가 에이전트에게 보이는 궤적이나 공개된 최종 상태로부터 추론될 수 있는 작업들로 선정되었습니다. 이 벤치마크는 가이드에서 정답을 직접 복사할 수 있는 작업을 제외하여, 평가가 단순한 검색이 아닌 절차적 접지 능력을 측정하도록 보장합니다.

주요 결과

프레임워크는 MMG2Skill-Bench에서 6개의 VLM 백본(Claude-Opus, GPT-5.5, Kimi, Gemini, Qwen 포함)을 대상으로 평가되었습니다.

• 전반적인 성능: MMG2Skill은 모든 모델-도메인 설정에서 바닐라 베이스라인 에이전트(기술 없음)와 "Raw Guide" 베이스라인(직접 가이드 주입)보다 일관되게 우수한 성능을 보였습니다. 백본 전반에 걸쳐 거시 평균 이득은 +12.8 ~ +25.3 퍼센트 포인트에 달했습니다.
• 메커니즘 절제 실험(Ablation):
  • Raw Guide 주입: 가공되지 않은 가이드를 직접 프롬프트로 사용하는 것은 신뢰할 수 없었으며, 가이드와 환경 간의 접지 불일치로 인해 종종 성능을 저하시켰습니다(예: 게임 도메인에서 -1.67 pp).
  • 구조화된 추출: 가이드를 구조화된 기술로 변환하는 것(수정 없이)은 더 안전한 절차적 사전 지식을 제공하여 바닐라 에이전트보다 성능을 향상시켰습니다.
  • 궤적 기반 수정: 수정 컴포넌트는 게임 및 전략 도메인에서 이득의 대부분(총 이득의 90% 이상)을 기여했으며, 가이드와 런타임 실행 사이의 간극을 복구했습니다.
• 효율성: MMG2Skill은 점수를 높이는 동시에 평균 표시 시도 단계(displayed-attempt steps)를 줄였으며, 이는 탐색적 우회(exploratory detours)가 줄어들었음을 나타냅니다.
• 조기 종료: 분석기 기반의 조기 종료는 성능의 비단조성(non-monotonicity)을 방지하고, 높은 정밀도(>74%)와 재현율(GUI/게임에서 >95%)을 유지하면서 성공 추론 가능 작업에 대해 **25%~53%**의 시도를 절감했습니다.

의의 및 주장

이 논문은 두 가지 주요 기여를 주장합니다:

1. MMG2Skill-Bench: 성공 추론 가능한 상호작용 작업과 야생의 멀티모드 가이드를 결려한 새로운 벤치마크로서, 가이드-투-스킬 학습을 평가하기 위한 표준을 확립했습니다.
2. MMG2Skill 프레임워크: 공개된 가이드가 수정 과정에서 벤치마크 점수를 요구하지 않고도 에이전트의 롤아웃을 통해 개선되는 편집 가능한 실행 접지형 기술로 변환될 수 있음을 보여주는 폐쇄 루프 시스템입니다.

저자들은 가이드에 대한 접근만으로는 불충분하다는 점을 강조합니다. 가공되지 않은 가이드 프롬프팅은 성능을 해칠 수 있는 반면, 구조화된 기술 구축은 더 안전한 사전 지식을 제공하며, 궤적 기반 수정은 접지 간극을 복구하는 데 필수적입니다. 또한, 수정 이득이 비단조적(non-monotonic)임을 강조하며, 배포 시 정교한 조기 종료가 필수적임을 밝힙히고 있습니다. 이 연구는 가이드 발견이라는 상위 문제와 구별되는, 절차적 자료를 실행 가능한 기술로 변환하는 문제를 분리하여 다룹니다.