Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining

기술 요약: 상호작용 궤적 마이닝을 통한 컴퓨터 사용 에이전트용 SKILL.md 생성 자동화

문제 정의
컴퓨터 사용 에이전트(CUA)는 원시 동작(클릭, 타이핑, 스크롤)을 통해 그래픽 사용자 인터페이스(GUI)를 조작합니다. 이러한 에이전트가 단일 단계 작업에서 복잡한 워크플로우로 전환됨에 따라, 반복되는 패턴이 나타나며 이를 "기술(skills)"로 패키징할 수 있습니다. 기술은 원시 동작보다는 높고 전체 작업 계획보다는 낮은 수준에 위치하는 명명된 절차입니다. 명시적인 기술 라이브러리(SKILL.md 파일로 지칭)는 검사 및 디버깅을 용이하게 하지만, 인터페이스가 진화함에 따라 명명, 범위 지정 및 업데이트를 수행하는 데 있어 수동 작성이 병목 현상을 일으킵니다.

본 연구의 핵심 질문은 명시적인 기술 라이브러리를 상호작용 궤적으로부터 자동으로 마이닝하여 다운스트림 에이전트 정책을 개선할 수 있는지 여부입니다. 저자들은 일관된 동작 클러스터를 발견하는 능력과 해당 클러스터를 새로운 작업을 위한 유용한 정책으로 전이하는 능력을 구분합니다. 그들은 클러스터가 일관성은 갖추고 있더라도 유용하지 않을 수 있으며, 정책의 개선이 전이 가능한 기술 어휘의 습득보다는 데이터 양의 증가에서 기인할 수 있다고 언급합니다.

방법론
본 논문은 InteraSkill(IW) 데이터셋에서 기술을 마이닝하고 그 효용성을 평가하기 위해 3단계 파이프라인을 제안합니다:

1. 1단계: 궤적 세그멘테이션 (경계 탐지)

   • 파이프라인은 "동작 점프(action jumps)"를 기준으로 궤적을 분할합니다. 인접한 동작 벡터 간의 유클리드 거리($\Delta a_t = \|a_t - a_{t-1}\|_2$)를 계산합니다.
   • 경계 F1 점수를 극대화하기 위해 홀드아웃(held-out) IW 데이터에서 임계값 $\theta$를 선택합니다. $\Delta a_t > \theta$인 경우 경계가 표시됩니다.
   • 동작 벡터는 15개의 정규화된 특징(원시 동작 원핫 인코딩, 화면 좌표, 타임스탬프, 텍스트 길이, 스크롤 양)으로 구성되지만, DOM이나 스크린샷 데이터는 제외됩니다.

2. 2단계: 기술 임베딩 (라이브러리 구축)

   • 세그먼트 표현: 각 세그먼트는 동작 벡터의 평균($\mu$)과 대각 분산($\Sigma$)을 사용하는 "bag-of-actions"로 요약됩니다. 이 표현은 길이에 불변하지만 순차적 순서(예: 클릭 후 타이핑 vs 타이핑 후 클릭)는 무시합니다.
   • 클러스터링: 평균/분산 프로필 사이의 제곱 Bures 거리(대각 가우시안에 대한 2-Wasserstein 거리의 특수 사례)를 사용하여 세그먼트를 클러스터링합니다. 응집형 클러스터링(Agglomerative clustering)이 $k=8$에서 $16$ 사이로 수행됩니다.
   • 정교화: 클러스터 할당을 의사 레이블(pseudo-labels)로 사용하는 지도 학습 기반 대조 인코더(MLP)를 훈련합니다. 이는 임베딩을 더 내부적으로 일관되게 정교화하여 30차원 입력을 16차원 잠재 공간으로 매핑합니다.

3. 3단계: 기술 인식 정책 훈련

   • 마이닝된 기술 레이블은 기술-시퀀스 구성(작업 컨텍스트가 주어졌을 때 다음 기술 레이블을 예측)을 위한 정책 훈련에 사용됩니다.
   • 베이스라인: 단순 MLP와 트랜스포머 모델이 학습된 세그먼트 임베딩을 소비합니다.
   • 주요 정책: Qwen3-8B가 베이스 모델으로부터 그룹 상대 정책 최적화(GRPO)를 사용하여 훈련됩니다. 보상 모델은 전체 기술 인식 응답을 점수화하며, 정책은 지도 학습 기반 웜 스타트(warm start) 없이 업데이트됩니다.
   • 평가: 주요 지표는 홀드아웃 벤치마크(WebArena, BrowseComp+)에서의 기술-단계 정확도 및 정확한 시퀀스 일치 여부이며, IW가 소스 도메인 역할을 합니다.

주요 기여

1. 자동 기술 마이닝을 위한 파이프라인: 저자들은 GUI 궤적을 세그먼트하고, 이를 후보 기술으로 클러스터링하며, SKILL.md 스타일의 결과물을 생성하는 재현 가능한 파이닝 파이프라인을 제시합니다.
2. 전이의 진단적 평가: 연구는 마이닝된 기술이 다운스트림 정책 성능을 실제로 개선하는지 엄격하게 평가하며, 학습된 모델을 제로샷 베이스라인 및 사소한 통계적 사전 확률(statistical priors)과 비교합니다.
3. 부정적 결과 및 한계: 논문은 마이닝된 구조가 소스 도메인에서는 읽기 가능하지만, 현재의 파이프라인이 신뢰할 수 있는 교차 도메인 정책 개선을 생성하는 데는 실패한다고 보고합니다.

결과

• 소스 도메인 가독성: 소스 IW 벤치마크에서 마이닝된 클러스터는 매우 읽기 쉽습니다. 8개 클러스터 중 5개가 실제 IW 기술 레이블(예: document_edit, data_transfer)에 대해 $\ge 0.95$의 순도(purity)를 달-성했습니다. 대조 인코더는 정규화된 상호 정보량(NMI)을 Wasserstein 베이스라인의 0.65에서 0.86으로 향상시켰습니다.
• 취약한 전이 성능:
  • GRPO 성능: GRPO를 사용하여 Qwen3-8B를 마이닝된 기술로 훈련했을 때, 소스 도메인(IW)에서 기술-단계 정확도가 18.5%에서 20.5%로 미미하게 증가했을 뿐이며, 홀드아웃 도메인에서는 성능이 저하되거나 변화가 없었습니다(WebArena는 55.8%에서 44.2%로 하락; BrowseComp+는 약 43.3% 유지).
  • 베이스라인 실패: 단순한 빈도 베이스라인(가장 흔한 다음 기술을 예측)이 IW 기술-단계 정확도에서 학습된 MLP와 GRPO 훈련 정책보다 더 높은 성능을 보였습니다(23.3% 및 20.5% 대비 34.9%).
  • 편집 거리: 자동 생성된 SKILL.md 파일은 모든 데이터 크기에 대해 빈도 베이스라인보다 높은 정규화 편집 거리를 가졌으며, 가장 단순한 통계적 사전 확률조차 이기지 못했습니다.
• 경계 탐지 문제: 동작 점프 휴리스틱은 기술을 과하게 분할(낮은 정밀도)하며 도메인 안정성이 없습니다. IW에서 유도된 임계값을 WebArena에 적용하면 F1 점수가 급격히 떨어져(0.119), 경계 신호가 전이되지 않음을 보여줍니다.
• 표현의 한계: "bag-of-actions" 표현(평균/분산)은 GUI 기술에서 결정적인 순차적 순서를 무시합니다(예: 붙여넣기 전 복사). 이는 정책이 복잡한 구성 규칙을 학습하는 데 기여하지 못하는 주요 원인으로 보입니다.

의의 및 주장
저자들은 이 작업을 성공 사례가 아닌 명시적인 진단 연구로 프레임화합니다. 의의는 현재의 궤적 마이닝 접근 방식의 한계를 명확히 하는 데 있습니다:

• 검사 가능성 vs 효용성: 궤적 마이닝은 소스 도메인에서 검사 가능한 기술 구조를 드러낼 수는 있지만, 가독성이 곧 전이 가능성을 의미하지는 않습니다.
• 파이프라인의 불충분함: $\ell_2$ 경계 탐지기, 순서가 없는 세그먼트 표현, 그리고 오프라인 보상 모델의 현재 조합은 신뢰할 수 있는 교차 도메인 정책 개선을 달성하기에 불충분합니다.
• 강력한 통제 장치의 필요성: 향후 기술 발견 연구는 개선 사항이 단순히 데이터 불균형이나 출력 형식의 적응에 의한 것이 아님을 보장하기 위해 빈도 및 전이 사전 확률과 비교해야 한다고 주장합니다.
• 교차 도메인 이득 부재: 본 연구는 현재 학습된 구성 요소들이 사소한 통계적 베이스라인이나 수동 설계보다 우수하다는 증거를 찾지 못했습니다.

결론적으로, 마이닝된 기술은 보상 모델을 위한 유용한 검사 구조 및 훈련 신호로 기능할 수는 있지만, 견고한 컴퓨터 사용 에이전트를 구축하기 위한 통계적 베이스라인이나 수동 설계를 대체할 만큼 신뢰할 수 있는 도구는 아직 아닙니다.