기술 요약: SKILL-DISCO

문제 정의

대규모 언어 모델(LLM) 에이전트는 유사한 대화형 작업을 수행할 때마다 처음부터 다시 해결하려는 경향이 있어, 중복된 추론, 과도한 실행 트레이스, 그리고 취약한 일반화 문제를 야기합니다. 기존 연구들이 워크플로우를 재사용하거나 실행 가능한 기술을 유도하는 방법을 탐구해 왔으나, 근본적인 격차가 존재합니다. 즉, 어떤 작업 시나리오가 재사용 가능한 절차적 기술을 허용하는지, 그리고 다양한 성공적인 트레이스 간의 공유된 구조적 논리를 어떻게 표현할 것인지가 불분명합니다. 기존 방식들은 명시적인 공유 구조에 대한 개념 없이 LLM을 사용하여 트레이스로부터 직접 기술을 합성하며, 이로 인해 라이브러리가 파편화되고 중복되며 표면적인 패턴에 종속되는 결과를 초환합니다.

방법론: SKILL-DISCO 프레임워크

저자들은 FSM-정의 시나리오(유한한 상태, 유한한 행동, 결정론적 전이를 가진 시나리오)에서 재사용 가능한 절차적 기술을 발견하도록 설계된 distillation-and-compilation 프레임워크인 SKILL-DISCO를 제안합니다. 핵심 통찰은 성공적인 에이전트 트레이스를 미지의 전이 그래프 내의 경로로 보고, 절차적 기술을 해당 그래프 내의 재사용 가능한 매개변수화된 제어 흐름 서브그래프(parameterized control-flow subgraphs)로 간주하는 것입니다.

이 프레임워크는 두 가지 주요 단계로 작동합니다.

1. Distillation(증류) 단계

이 단계는 원시 트레이스를 재사용 가능한 매개변수화된 유한 상태 기계(PFSM) 서브그래프로 매핑하는 잠재적 리프팅 함수(lifting function)를 근사합니다. 이는 세 단계로 구성됩니다:

• Trace Normalization (트레이스 정규화): 추론, 행동, 관찰이 혼재된 원시 에이전트 로그를 구조화되고 실행 가능한 중간 단계의 Python 프로그램으로 변환합니다. 이 단계는 제어 흐름(루프, 분기)과 매개변수화된 엔티티(객체, 위치)를 명시적으로 만드는 동시에 원시 연산자의 순서를 보존합니다.
• Subgoal-level Operation Extraction (하위 목표 수준 연산 추출): 정규화된 프로그램들을 중간 규모의 연산 단위로 분해합니다. 이는 하위 목표(예: "탐색 및 회수")에 대응하는 일관된 단계들의 시퀀스이며, 단일 원시 행동이나 지나치게 구체적인 전체 트레이스 루틴은 필터링합니다.
• Procedural Skill Consolidation (절차적 기술 통합): 추출된 연산들은 공유된 매개변수화된 실행 구조를 기반으로 클러스터링됩니다. 구체적인 객체나 위치가 다르더라도, 동일한 제어 흐름 로직(예: 객체를 찾을 때까지 위치를 탐색하는 루프)을 공유하는 연산들은 하나의 그룹으로 묶입니다. 높은 커버리지를 가진 클러스터가 후보 절차적 기술로 식별됩니다.

2. Compilation(컴파일) 단계

이 단계는 구조적 후보들을 호출 가능하고 실행 가능하며 검증 가능한 산출물로 변환합니다.

• Skill Specification (기술 명세): 각 후보는 타입ed 시그니처, 자연어 설명, 행동 요구 사항(전제/후제 조건), 메타데이터를 포함하는 공식적인 정의와 함께 보강됩니다. 이는 에이전트를 위한 도메인 불가지론적 어휘를 제공합니다.
• Synthesis and Verification (합성 및 검증): 시스템은 원시 행동들을 사용하여 명시된 동작을 구현하는 Python 코드를 합성합니다. 이 후보들은 런타임 정확성, 후제 조건 만족 여부, 행동 절감 효과를 확인하기 위해 홀드아웃(held-out) 작업에서 검증 과정을 거칩니다. 검증(제한된 재시도 포함)을 통과한 기술만이 최종 라이브러리에 포함됩니다.

주요 기여

1. 명시적 범위 정의: 본 논문은 성공적인 트레이스가 미지의 그래프 내의 경로이고 기술이 잘 정의된 전이 구조인 FSM-정의 시나리오 내에서의 절차적 기술 발견을 정식화합니다.
2. 구조적 정식화: 기술을 재사용 가능한 매개변수화된 유한 상태 기계(PFSM) 서브그래프로 정식화합니다. 이를 통해 매개변수 바인딩 하에서 여러 성공적인 트레이스를 매칭할 수 있으며, 각 트레이스를 독립적인 루틴으로 취급하는 것을 넘어섭니다.
3. SKILL-DISCO 프레임워크: 트레이스로부터 콤팩트하고 높은 커버리지를 가진 PFSM 서브그래프를 증류하고, 이를 검증된 실행 가능 기술로 컴파일하는 새로운 파이프라인을 제시합니다.
4. 실증적 검증: 광범한 실험을 통해 구조적으로 근거한 기술이 다양한 벤치마크와 모델 규모에 걸쳐 성공률과 효율성을 개선함을 입증했습니다.

실험 결과

프레임워크는 ALFWorld(텍스트 기반 가사 작업)와 WebArena(웹 네비게이션 작업)에서 평가되었습니다.

• 성능 향상: SKILL-DISCO는 모든 벤치마크에서 가장 높은 성공률(SR)을 달est했습니다. ALFWorld의 경우, SKILL-DISCO를 CodeAct와 결합했을 때 SR이 96.3%에서 99.3%로 향상되었습니다. WebArena에서는 ReAct SR을 23.9%에서 29.1%로 개선하여 기존의 오프라인 기술 유도 방식들을 능가했습니다.
• 효율성: 프레임ک워크는 평균 에이전트 턴 수를 크게 줄였습니다 (예: ALFWorld에서 ReAct 기준 -54.5%). 이는 에이전트가 반복적인 저수준 시퀀스를 신뢰할 수 있는 기술에 위임하기 때문입니다.
• 교차 모델 전이: 강력한 모델(GPT-4o)에 의해 유도된 기술 라이브러리는 약한 모델(예: Qwen3.5-4B/9B, GPT-4o-mini)로 성공적으로 전이되었습니다. 특히, GPT-4o에 의해 유도된 기술을 갖춘 Qwen3.5-9B는 ALFWorld에서 유도 모델 자체의 성능(96.3%)을 넘어선 98.5%를 기록하며 효과적인 절차적 지식 증류를 보여주었습니다.
• 신뢰성 및 콤팩트함: SKILL-DISCO는 ALFWorld의 베이스라인(110개)에 비해 훨씬 작은 기술 라이브러리(5개)를 생성하면서도 더 높은 단계 압축률을 보였습니다. 결정적으로, 검증된 기술은 임의로 생성된 기술보다 오류가 적기 때문에 ALFWorld에서의 실행 오류를 75.3%에서 0.0%로 줄였습니다.

의의 및 한계점

본 논문은 공유된 경험을 텍스트 루틴이나 인스턴스별 스크립트가 아닌 **재사용 가능한 실행 구조(PFSM 서브그래프)**로 표현하는 것이 견고한 에이전트 개선의 핵심이라고 주장합니다. 기술을 검증된 코드로 컴파일함으로써, 시스템은 신뢰성을 확보하고 모델 제품군 및 규모 간의 전이를 가능하게 합니다.

저자들은 다음과 같은 특정 한계점을 인정합니다:

• 도메인 범위: 이 접근 방식은 재사용 가능한 절차적 구조(네비게이션, 자동화, 도구 사용)가 있는 작업에는 효과적이지만, 실행 가능한 절차가 없는 순수 NLP 작업(텍스트 생성, 독해)에는 이점이 없습니다.
• 모델 능력에 대한 의존성: 파이프라인의 품질은 컴파일러 LLM의 추론 및 코드 생성 능력에 달려 있습니다. 능력이 부족할 경우 잘못되거나 지나치게 구체적인 기술이 생성될 수 있습니다.
• 성공 여부에 대한 요구: 증류 신호는 전적으로 성공적인 트레이스에 의존합니다. 최첨단 모델조차 성공하기 어려운 도메인에서는 추출을 위한 코퍼스가 너무 희소할 수 있습니다.