기술 요약: RESOURCE2SKILL

문제 정의

대규모 언어 모델(LLM) 에이전트는 고품질의 결과물(예: 슬라이드 데크, 3D 장면, 오디오 프로젝트)을 생성하기 위해 복잡한 소프트웨어를 운용하는 과업을 점점 더 많이 맡고 있습니다. 이러한 도메인에서의 성공은 고립된 사실적 지식보다는, 목표를 분해하고, 도구 패턴을 선택하며, 중간 상태를 검사하고, 실패로부터 복구하는 방법을 정의하는 재사용 가능한 절차적 지식(reusable procedural knowledge)—즉, 기술(skill)—에 달려 있습니다.

기존의 기술 라이브러리는 세 가지 주요 한계점을 가집니다:

1. 생성 편향(Creation Bias): 이들은 주로 전문가에 의해 수기로 작성되거나 에이전트 상호작용 트레이스에서 채굴되므로, 방대한 양의 인간 전문성이 충분히 활용되지 못하고 있습니다.
2. 모달리티 격차(Modality Gap): 창의적인 소프트웨어 작업을 위한 인간의 학습은 종종 멀티모달 리소스(튜토리얼 영상, 화면 녹화, 저장소)를 통해 이루어집니다. 이러한 리소스는 정적인 텍스트가 완전히 포착할 수 없는 시간적 순서, 시각적 효과, 암묵적인 디자인 선택을 포함하고 있습니다.
3. 추론 비효율성(Inference Inefficiency): 원시 멀티모달 데이터(예: 전체 영상)를 에이전트의 컨텍스트에 직접 주입하는 것은 비용이 많이 들고 중복적이며, 이를 평문 텍스트 요약으로 압축하는 것은 실행에 필수적인 동적 및 시각적 신호를 버리는 결과를 초래합니다.

핵래 핵심 과제는 이러한 멀티모달 인간 생성 리소스를 에이전트가 추론 시점에 효과적으로 사용할 수 있는 구조화되고 실행 가능한 형식으로 자동 증류(distill)하는 것입니다.

방법론

RESOURCE2SKILL은 멀티모달 리소스를 계층적 Skill Wiki로 증류하고 이를 에이전트 실행에 활용하도록 설계된 프레임워크입니다. 이 시스템은 구축(construction), 조직(organization), 선택(selection), 실행(execution)을 포함하는 통합 파이프라인을 통해 작동합니다.

1. 계층적 멀티모달 스킬 위키 (Hierarchical Multimodal Skill Wiki)

시스템은 기술을 다음과 같은 구조화된 튜플 $s = (p, x_{text}, x_{visual}, x_{code}, m)$로 조직합니다:

• $p$ (Path): 도메인 특화 분류 체계 내의 위치 (예: 기하학, 조명, 재질별로 정리된 Blender 기술).
• $x_{text}$: 메커니즘, 적용 가능성, 입력 및 기대 효과를 설명하는 구조화된 텍스트.
• $x_{visual}$: 썸네일, 스크린샷, 렌더링된 프리뷰 또는 다이어그램을 포함한 시각적 예시.
• $x_{code}$: 실행 가능하거나 적응 가능한 코드 조각 (또는 참조 전용 패턴).
• $m$ (Metadata): 필터링 태그, 출처 및 검증 상태.

이 설계는 텍스트가 개념적 근거를 제공하고, 코드가 실행 가능한 패턴을 제공하며, 시각 자료가 텍스트만으로는 불충분하게 명시될 수 있는 레이아웃, 스타일 및 모션 정보를 보존하도록 보장합니다.

2. 리소스-투-스킬 구축 (Resource-to-Skill Construction)

구축 연산자 $(f_\theta, A_D)$는 원시 리소스를 위키 엔트리로 변환합니다:

• 입력: 튜토리얼 영상, 소스 저장소, 기사 및 참조 아티팩트를 포함한 멀양한 멀티모달 리소스.
• 증류: 시각 능력을 갖춘 언어 모델($f_\theta$)이 모달리티별 증거(핵심 프레임, 코드 영역, 산문 구절)를 추출하고 구조화된 스킬 페이로드를 생성합니다.
• 검증: 도메인 특화 술어($A_D$)가 다섯 가지 결정론적 체크 항목인 완전성(completeness), 추적 가능한 출처(traceable provenance), 중복 제거(deduplication), 모달리티 일관성(modality consistency), 그리고 **구조적 실행 가능성(structural executability, 코드 필드용)**을 강제합니다.
• 온라인/오프라인 통합: 동일한 연산자가 대규모 오프라인 라이브러리를 구축하고, 오프라인 풀에 커버리지가 부족할 때 새로운 기술을 온라인으로 획득하는 데 사용되어 라이브러리가 점진적으로 확장 가능하도록 보장합니다.

3. 선택 및 구성 (METABROWSE)

기술을 효율적으로 검색하기 위해 시스템은 2단계 선택 프로세스를 채택합니다:

1. 어휘 점수 산정(Lexical Scoring): BM25 스코어가 엔트리의 이름, 태그, 적용 가능성, 그리고 결정적으로 그 **분류 체계 경로($p$)**를 검색하여 후보 집합을 좁힙니다. 이는 라이브러리를 단순한 평면 목록으로 취급하는 대신, 계층적 구조를 활용하여 주제적으로 관련 있는 서브트리를 선호하도록 합니다.
2. LLM 선택(LLM Selection): 언어 모델은 상위 후보들의 구조화된 증거(텍キスト, 시각, 코드)를 읽고 구성할 하위 집합을 선택합니다. 모델은 적합한 후보가 없을 경우 제로(zero) 개의 기술을 선택할 수 있어, 강제적인 구성을 방지합니다.

4. 실행 (Execution)

선택된 기술은 모델 컨텍스트 프로토콜(MCP) 인터페이스를 통해 적용됩니다. 코드가 존재하면 도메인 백엔드에 직접 실행됩니다. 참조 전용 기술은 에이전트가 시각적 및 텍스트적 증거를 바탕으로 자체 코드를 작성하도록 가이드합니다.

주요 기여

1. 리소스-투-스킬 학습: 본 논문은 멀티모달 인간 리소스로부터 재사용 가능한 실행 가능 기술을 증류하는 문제를 정식화하며, 튜토리얼 영상을 절차적 및 지각적 지식의 핵심적이고 미활용된 소스로 식별했습니다.
2. 계층적 멀티모드 스킬 라이브러리: 각 기술이 텍스트, 코드, 시각 자료를 통합하는 위키 기반 조직 방식을 제안하여, 에이전트가 평면 텍스트 검색보다 다양한 도메인에서 기술을 더 효과적으로 검색하고 구성할 수 있게 합니다.
3. 통합 오프라인-온라인 파이프라인: 프레임워크는 대규모 오프라인 라이브러리를 구축하는 것과 제어된 온라인 갭 필링(gap-filling)을 수행하는 데 단일 구축 연산자를 사용하여, 스킬 라이브러리를 유지 관리 가능하고 확장 가능하게 만듭니다.
4. 광범한 경험적 평가: 시스템은 PPT, Web, Excel, Blender, Reaper, CAD, UE5의 7가지 실질적인 저작 도메인에서 평가되었습니다.

실험 결과

평가는 7개 도메인과 4개 에이전트 백엔드(GPT-5.5, GPT-5.4, GPT-5.4 Mini, GPT-5.4 Nano)를 대상으로 수행되었으며, W SKILLS(RESOURCE2SKILL)를 W/O SKILLS(기술 없음 베이스라인) 및 두 가지 기성 에이전트 하네스(CLAUDECODE-H, CODEX-H)와 비교했습니다.

• 성능 향상: RESOURCE2SKILL은 기술이 없는 에이전트에 비해 평균 전체 점수를 11.9 퍼센트 포인트 향상시켰습니다. 또한 28개의 주요 집계 모델-도메인 셀 중 26개에서 강력한 에이전트 하네스 베이스라인을 능가했습니다.
• 도메인 편차: 성능 향상은 관습이 밀집되어 있고 복잡한 시각적/시간적 요구사항이 있는 도메인에서 가장 두드러졌습니다 (예: UE5는 +30 ~ +40 pp 향상, Blender 및 Excel도 유의미한 개선을 보임). 향상은 Reaper에서 가장 작았는데, 이는 기술이 없는 사전 지식(no-skill prior)이 이미 상대적으로 유능했기 때문입니다.
• 어블레이션 연구(Ablation Studies):
  • 멀티모달 형식: 시각적 또는 코드 필드를 제거하면 성능이 크게 저하되어, 텍스트만으로는 실행을 충분히 명시할 수 없음을 확인했습니다.
  • 소스 다양성: 비디오는 대체 불가능한 소스로 식명되었습니다. 비디오를 제거하면 평균 점수가 68.9%에서 59.4%로 떨어집니다.
  • 조직화: 계층적 위키 인터페이스는 평면 텍스트 검색보다 2.5~8.2 퍼센트 포인트 더 높은 성능을 보였으며, 특히 구조적 맥락이 필요한 도메인에서 그러했습니다.
  • 선택 전략: 계층 구조 후 LLM을 사용하는 선택 전략(METABROWSE)이 순수 어휘(BM25) 또는 밀집(Embedding) 검색 베이스라인보다 우수했습니다.
  • 온라인 획득: 온라인 획득은 효과적인 갭 필러 역할을 하여, 오프라인 풀에 없는 새로운 작업에 대해 점수를 +21.6 pp 향상시키는 동시에 표준 작업에는 무시할 만한 노이즈만을 추가했습니다.

의의 및 주장

본 논문은 RESOURCE2SKILL이 멀티모달 인간 리소스를 증류하는 것이 소프트웨어 에이전트에게 기술 없는 에이전트나 강력한 에이전트 하네스보다 훨씬 뛰어난 재사용 가능한 절차적 지식을 제공한다는 것을 입증한다고 주장합니다.

저자들이 강조하는 핵심 사항은 다음과 같습니다:

• 비디오는 필수적이다: 튜토리얼 영상은 텍스트가 대체할 수 없는 시간적 및 시각적 신호를 제공하며, 이는 창의적 도메인의 고품질 스킬 증류에 필수적입니다.
• 구조가 중요하다: 기술의 계층적 조직은 평면 검색보다 우월한데, 이는 도메인 구조를 인코딩하고 탐색 공간을 좁혀주기 때문입니다.
• 확장성: 시스템은 고정된 프롬프트 모음이 아니라, 능력 격차가 식별될 때 온라인으로 확장할 수 있는 성장하고 유지 관리 가능한 절차적 메모리입니다.
• 일반화 가능성: 이 접근 방식은 다양한 소프트웨어 저작 작업에 걸쳐 검증되었으며, 이는 복잡하고 도구 중심적인 환경에서 에이전트 역량을 향상시키는 일반화 가능한 경로를 제시합니다.

저자들은 일반화에 대해 겸손한 입장을 유지하며, 시스템이 프로그래밍 가능한 도구 인터페이스와 절차적 콘텐츠의 공개 스트림의 존재에 의존한다는 점을 언급했습니다. 또한 판정자-인간 일치도(judge-human agreement)는 수용 가능한 수준이지만 완벽하지는 않다고 명시했습니다. 이 연구는 모든 에이전트 작업에 대한 보편적 적용 가능성을 주장하기보다는, 증류 및 검색 프레임워크의 효능에 초점을 맞추고 있습니다.