💻 computer science

SkillRevise: Improving LLM-Authored Agent Skills via Trace-Conditioned Skill Revision

SkillRevise는 실행 궤적(execution traces)으로부터 결함을 진단하고, 수리 원칙을 검색하며, 최적의 버전을 경험적으로 선택함으로써 불완전한 초기 에이전트 기술을 반복적으로 정교화하는 실행 기반 프레임워크로, 이를 통해 원샷 생성 방식에 비해 에이전트의 성공률과 교차 모델 전이성을 크게 향상시킨다.

원저자: Yuxuan Liu, Zhaochen Su, Lingyun Xie, Yuhao Zhang, Qing Zong, Jiahe Guo, Zhongwei Xie, Yiyan Ji, Yauwai Yim, Hongyu Luo, Xiyu Ren, Ruan Chenyu, Haoran Li, Yangqiu Song

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuxuan Liu, Zhaochen Su, Lingyun Xie, Yuhao Zhang, Qing Zong, Jiahe Guo, Zhongwei Xie, Yiyan Ji, Yauwai Yim, Hongyu Luo, Xiyu Ren, Ruan Chenyu, Haoran Li, Yangqiu Song

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 일상적인 언어와 비유를 사용하여 SKILLREVISE 논문을 설명한 내용입니다.

큰 그림: 로봇에게 "실수로부터 배우는 법"을 가르치기

당신이 매우 똑똑하지만 경험이 부족한 인턴(AI 에이전트)을 고용하여 거대한 창고를 정리하거나 컴퓨터 프로그램을 디버깅하는 것과 같은 복잡한 업무를 맡겼다고 상상해 보세요.

보통 당신은 인턴에게 매뉴얼(이를 "기술(Skill)"이라고 부릅니다)을 제공합니다.

문제점: 만약 매뉴얼이 인간 전문가에 의해 작성되었다면, 비용이 많이 들 뿐만 아니라 인턴이 실제로 사고하는 방식과 일치하지 않을 수 있습니다. 그렇다고 인턴에게 한 번에 스스로 매뉴얼을 작성하라고 시킨다면, 서류상으로는 완벽해 보이지만 실제 작업을 수행할 때는 무너져 내리는 매뉴얼을 작성할 수도 있습니다.
기존 방식: 이전의 방법들은 인턴이 많은 연습을 통해 매뉴얼을 천천히 "진화"시키도록 하여 매뉴얼을 수정하려고 했습니다. 하지만 이는 시간이 너무 오래 걸리며, 시작 단계의 매뉴얼이 좋지 않을 경우(이른바 "콜드 스타트" 문제) 제대로 작동하지 않습니다.

SKILLREVISE는 엄격하지만 유능한 코치 역할을 하는 새로운 시스템입니다. 인턴이 몇 달 동안 배우기를 기다리는 대신, 초안 형태의 매뉴얼을 가져와서 인턴이 직접 해보게 하고, 정확히 어디에서 실패하는지 관찰한 뒤, 그 특정 실패를 바탕으로 즉시 매뉴얼을 수정합니다.

작동 원리: "코치의 루프(Coach's Loop)"

이 논문은 매뉴얼을 완벽하게 만들기 위해 반복적으로 발생하는(보통 세 번) 4단계의 순환 과정을 설명합니다.

1. 시연 (Execution)

인턴이 현재 버전의 매뉴얼을 사용하여 작업을 시도합니다.

비유: 인턴이 책장을 만들려고 시도합니다. 지침을 따랐지만, 책장이 흔들거리다 넘어집니다.

2. 부검 (Diagnosis)

시스템은 단순히 "실패했다"라고 말하는 데 그치지 않습니다. 마치 탐정처럼 행동합니다. 증거(흔들리는 책장)를 살펴보고 다음과 같이 질문합니다.

무엇이 잘못되었나? (잘못된 나사를 사용했는가?)
무엇이 잘 되었나? (나무는 완벽하게 잘렸으니 이 부분은 수정하지 마라.)
비유: 코치는 이렇게 말합니다. "나무를 잘못 측정한 것이 아니라, 바닥의 수평을 확인하는 단계를 건너뛴 것이 문제구나. 또한 나무를 샌딩하는 부분은 좋았으니 그대로 유지해라."

3. 지혜의 도서관 (Principle Memory)

시스템은 일반적인 수리 규칙이 담긴 "도서관"을 확인합니다. 이 단계에서 특정 책장에 대한 답을 찾는 것이 아니라, 흔들리는 책장을 고치는 일반적인 방법에 대한 규칙을 찾습니다.

비유: 코치는 "규칙 #4: 프레임을 만들기 전에 항상 기초를 확인하라"라고 적힌 카드를 덱에서 꺼냅니다.

4. 재작성 (Revision)

시스템은 탐정의 보고서와 일반적인 규칙을 결합하여 매뉴얼을 다시 씁니다. 여기서 핵심은 **"앵커(Anchors)"**를 추가하는 것입니다.

앵커란 무엇인가? 이것은 구체적인 체크포인트입니다. 단순히 "주의해서 만들어라"라고 말하는 대신, 새로운 매뉴얼은 "여기서 멈추고, 바닥의 수평을 확인하라. 만약 수평이 맞지 않으면 멈춰라"라고 말합니다.
비유: 이제 매뉴얼에는 빨간색 포스트잇이 붙어 있습니다: "못을 박기 전에 반드시 바닥 수평을 확인할 것."

5. 최종 결정 (Utility Gate)

인턴이 새로운 매뉴얼로 시도합니다.

만약 새로운 매뉴얼이 더 효과적이라면, 시스템은 이를 유지합니다.
만약 새로운 매뉴얼이 상황을 더 악화시킨다면, 시스템은 이를 버리고 이전 버전으로 돌아갑니다.
비유: 코치가 새로운 지침을 시험해 봅니다. 만약 책장이 여전히 흔들린다면, 코치는 "좋아, 방금 그 아이디어는 별로였어. 예전 지침으로 돌아가서 다음에는 다른 해결책을 찾아보자"라고 말합니다.

왜 특별한가?

이 논문은 이 접근 방식이 기존 방식보다 더 나은 세 가지 주요 이유를 강조합니다.

작게 시작하기 (콜드 스타트 친화적): 시작할 때 1,000개의 완벽한 매뉴얼 라이브러리가 필요하지 않습니다. 단 하나의 불완전한 매뉴얼만 있으면 되며, SKILLREVISE는 이를 빠르게 수정할 수 있습니다.
단순히 "더 많은 연습"이 아니다: 기존 방식은 AI가 학습할 수 있도록 수천 번 연습하게 합니다. 반면 SKILLREVISE는 정밀한 수술과 같습니다. 우연히 깨닫기를 기다리는 대신, 지침의 특정 결함을 찾아내어 직접 수정합니다.
단순한 요령이 아닌 일반적인 규칙을 배운다: 시스템은 AI가 이 특정 테스트를 위해 속임수를 쓰도록 가르치지 않도록 주의합니다. 대신 AI에게 유형별 문제를 처리하는 법을 가르칩니다.
- 나쁜 기술: "빨간 버튼을 묻는다면, 빨간 버튼을 누르세요." (이것은 해당 테스트에서만 작동합니다.)
- 좋은 기술 (SKILLREVISE): "버튼을 누르기 전에 도표와 대조하여 색상을 항상 확인하세요." (이것은 어떤 테스트에서도 작동합니다.)

결과: 정말 효과가 있는가?

저자들은 서로 다른 AI 모델(GPT-5.5, Qwen, DeepSeek 등)을 사용하여 세 가지 다른 "시험실"(벤치마크)에서 테스트했습니다.

점수: 아무런 도움 없이 AI는 작업의 약 **36%**를 수행했습니다. (한 번 작성하고 수정하지 않는 "원샷 매뉴얼"을 사용했을 때는 약 **39%**를 수행했습니다.)
SKILLREVISE 점수: 이 "코치의 루프"를 단 세 번 거친 후, AI는 작업의 **61%**를 성공적으로 수행했습니다.
핵심 요점: 이 시스템은 평범한 매뉴얼을 매우 빠르게 매우 효과적인 매뉴얼로 바꾸어 놓았습니다. 또한, 이렇게 개선된 매뉴얼들이 매뉴얼을 작성한 모델뿐만 아니라 다른 AI 모델들에 의해서도 사용될 수 있음을 보여주었으며, 이는 습득된 기술이 단순한 요령이 아닌 진정한 일반 지식임을 입증합니다.

요약

SKILLREVISE는 AI의 "기술"을 정적인 지침이 아니라 살아있는 문서로 취급하는 프레임워크입니다. 이 시스템은 시도 $\rightarrow$ 진단 $\rightarrow$ 일반 규칙 검색 $\rightarrow$ 재작성 $\rightarrow$ 테스트의 순환 과정을 사용하여, 나쁜 지침을 훌륭한 지침으로 바꾸어 AI가 단순히 답을 암기하는 것이 아니라 실제로 일을 올바르게 수행하는 법을 배우도록 보장합니다.

기술 요약: SKILLREVISE

문제 정의

대규모 언어 모델(LLM) 에이전트는 다단계 워크플로를 실행하고, 제약 조건을 충족하며, 실패로부터 복구하는 능력이 성공의 핵심인 검증기 기반 환경에서 점점 더 많이 작동하고 있습니다. "에이전트 스킬"(재사용 가능한 절차적 산출물)은 원자적 도구(atomic tools)와 고수준 프롬프트 사이의 간극을 메우기 위해 설계되었지만, 기존의 스킬 습득 방식은 특히 초기 상태의 불완리한 스킬만을 사용할 수 있는 콜드 스타트(cold-start) 설정에서 심각한 한계에 직면해 있습니다.

현재의 접근 방식은 세 가지 범주로 나뉘며, 각각 뚜렷한 단점을 가집니다:

검색 기반 방식(Retrieval-based methods): 타겟 작업과 완전히 일치하지 않는 스킬을 선택하여 실행 흐름을 방해하는 경우가 많습니다.
자기 진화 방식(Self-evolution methods): 누적된 궤적(trajectory)과 경험을 필요로 하므로, 아무것도 없는 상태에서 시작하거나(콜드 스타트) 과적합(overfitting)에 빠지기 쉽습니다.
직접 저술(전문가 또는 원샷 LLM): 전문가의 저술은 비용이 많이 들며 실제 에이전트의 실행 동작과 일치하지 않을 수 있습니다. 원샷 LLM 생성은 문법적으로는 정확하지만, 실행 흔적(execution traces)에 대한 검증이 부족하여 행동 측면에서는 취약한 스킬을 생성하는 경우가 많습니다.

핵심 과제는 스킬이 원자적 도구만큼 신뢰성 있게 에이전트 성능을 향상시키지 못한다는 점입니다. 저품질이거나 부적절한 스킬은 오히려 성능을 저하시킬 수 있습니다. 따라서 방대한 양의 성공적인 궤적 코퍼스 없이도, 실행 증거를 사용하여 초기 단계의 불완전한 LLM 저술 스킬을 반복적으로 개선할 수 있는 방법이 필요합니다.

방법론: SKILLREVISE

저자들은 제한된 수정 루프를 통해 초기 스킬( $S_0$ )을 반복적으로 정교화하도록 설계된 실행 기반 프레임워크인 SKILLREVISE를 제안합니다. 이 프레임워크는 광범위한 사전 경험 없이도 가능한 방식으로, 수정 과정을 작업별 진단(diagnosis)과 일반적 수리 지식(general repair knowledge)으로 분해합니다.

핵심 구성 요소

진단 ( $D_i$ ): 원시 실행 증거를 수리 제약 조건으로 변환하는 작업별 컴포넌트입니다. 각 수정 시도 $i$ 는 다음으로 구성됩니다:
- 검증 사양 ( $V_i$ ): 관찰 가능한 요구 사항(출력 경로, 스키마, 형식, 통과/실패 단언문 등).
- 실패 귀인 ( $A_i$ ): 실패한 체크 항목, 관찰된 동작, 추정 원인 및 결함 레이블의 요약.
- 보존 제약 조건 ( $K_i$ ): 회귀(regression)를 방지하기 위해 반드시 통과했거나 유지해야 할 선택 사항에 대한 기록.
원리 메모리 ( $M$ ): 작업별 솔루션이 아닌 재사용 가능한 수리 원칙들의 저장소입니다. 각 원칙은 반복되는 스킬 설계 결함을 운영 가능한 수리 패턴으로 추상화하며, 적용 시점, 해결하는 결함 유형, 수리 검증 방법을 명시합니다. 시스템은 7개의 원칙(예: "출력을 검증기에 노출하라", "올바른 동작을 보존하라")으로 초기화됩니다.
수정 연산자 ( $R_\phi$ ): 현재 스킬( $S_i$ ), 진단( $D_i$ ), 그리고 검색된 원칙( $P_i$ )을 새로운 스킬 후보( $\hat{S}_{i+1}$ )와 수정 흔적( $z_i$ )으로 매핑하는 모듈입니다. 결정적으로, 이 모듈은 실행 앵커(execution anchors)—텍스트 편집이 실행기의 동작을 어떻게 변화시켜야 하는지에 대한 구체적인 지침(예: "파일을 다시 로드하라", "JSON을 파싱하라", "키를 확인하라")—를 적용하여 편집이 실행 가능한 단계에 기반하도록 보장합니다.
제한된 수정 에피소드: 프레임워크는 유한한 예산(예: $B=3$ 라운드) 하에 작동합니다.
- 실행 및 진단: 현재 스킬을 실행합니다. 실패가 발생하면 진단이 생성됩니다.
- 검색 및 바인딩: $M$ 에서 관련 원칙을 검색하여 현재 진단에 결합합니다.
- 수정 및 재실행: 후보 스킬을 생성하고 다시 실행합니다.
- 유틸리티 게이트 선택(Utility-Gated Selection): 시스템은 관찰된 후보군을 유지합니다. 최종 출력은 반드시 마지막으로 생성된 수정본이 아니라, 유틸리티 함수 $U(S, T)$ 를 기준으로 한 최적의 관찰된 스킬( $S^*$ )입니다. 이 함수는 성공률, 실행 효율성, 전이 성능, 간섭 비용 사이의 균형을 맞추며, 효율성 이득은 작업이 성공적으로 완료되었을 때만 보상받도록 합니다.

주요 기여

본 논문은 세 가지 주요 기여를 합니다:

정식화: 콜드 스타트 스킬 개선을 검색이나 개방형 자기 진화와 구별되는, 기존 LLM 저술 스킬의 제한된 실행 기반 수정으로 재정의했습니다.
프레임워크: 최적의 스킬 버전을 체계적으로 유지하기 위해 작업별 진단, 재사용 가능한 원리 메모리, 실행 앵커 기반 수정 및 유틸리티 게이트 선택을 통합한 SKILLREVISE를 도입했습니다.
평가: 세 가지 벤치마크(SkillsBench, SkillLearnBench-Random, SWE-Skills-Bench-Hard)와 ALFWorld 연구를 통해 광범적이고 실증적인 검증을 수행하여, 다양한 실행기 모델에 대해 '스킬 없음' 및 '원샷' 베이스라인보다 일관된 성능 향상을 입증했습니다.

실험 결과

프레임워크는 5개의 LLM(GPT-5.5, Opus-4.7, Kimi-2.6, Qwen-3.6plus, DeepSeek-V4-Pro)을 대상으로 공유된 검증기 기반 하네스를 통해 평가되었습니다.

성능 향상: 표준 SkillsBench에서 SKILLREVISE는 GPT-5.5 에이전트의 성공률을 단 3번의 수정 라운드 만에 36.05%(스킬 없음) 및 39.53%(원샷 생성)에서 **61.63%**로 끌어올렸습니다. SkillLearnBench-Random 및 SWE-Skills-Bench-Hard에서도 유사한 상당한 개선이 관찰되었습니다.
교차 모델 전이성: 수정된 스킬은 강력한 전이성을 보였습니다. GPT-5.5에 의해 수정된 고정 스킬을 다른 실행기(예: Opus-4.7, DeepSeek-V4-Pro)에 적용했을 때, 종종 "스킬 없음" 베이스라인보다 높은 성능을 보였으며, 이는 스킬이 모델 특정 아티팩트가 아닌 일반화된 절차적 지식을 포착하고 있음을 시사합니다. 다만, 실행기 특화 수정이 일반적으로 가장 높은 성능을 냈습니다.
절제 연구(Ablation Studies): 진단(Diagnosis) 컴포넌트를 제거했을 때 성능 하락이 가장 컸으며(SkillsBench 기준 53/86에서 28/86으로 감소), 이는 검증 증거와 스킬 수준의 결함 사이를 명시적으로 연결하는 것의 필요성을 강조합니다. **보존 장부(Preserve Ledger)**와 실행 앵커(Execution Anchors) 또한 회귀를 방지하고 편집이 구체적인 동작을 유도하도록 하는 데 필수적이었습니다.
ALFWorld 연구: 원리 흡수(principle-absorption) 연구에서, 25개의 캘리브레이션 작업을 통해 학습된 10개의 압축된 원리 뱅크는 100개의 홀드아웃 작업 세트에서 71/100개의 작업을 해결하며 성능을 개선하였고, 이는 국소적 실패를 재사용 가능한 수리 패턴으로 추상화하는 능력을 입증했습니다.

의의 및 주장

본 논문은 실행 기반 수정이 자동화된 스킬 저술, 특히 콜드 스타트 시나리오에서 신뢰할 수 있는 패러다임임을 주장합니다. 본 연구의 의의는 다음과 같습니다:

스킬은 정적인 조언이 아니라, 관찰된 실패에 의해 정교화되는 테스트 가능한 절차적 메모리일 때 가장 효과적이라는 점을 보여줍니다.
진단, 일반 원리, 유틸리티 게이트 선택을 결합한 구조적 접근 방식은 원샷 생성의 취약성과 자기 진화의 데이터 갈증 문제를 극복할 수 있습니다.
본 프레임워크는 초기 초안을 검증기 피드백을 통해 반복적으로 개선함으로써 전문가 저술(비용 높음)과 원샷 생성(신뢰도 낮음) 사이의 간극을 성공적으로 메웁니다.

저자들은 테스트가 희소할 경우 오버핏(overfitting)이 발생할 수 있는 검증기 가시적 피드백에 대한 의존성, 그리고 스킬이 지속적으로 성능을 저하시킬 때 "스킬 없음" 상태로 돌아가지 않는다는 점을 포함한 한계점을 겸허히 언급했습니다. 이들은 SKILLREVIS를 에이전트의 행동을 작업 제약 조건 및 검증 기준에 정렬시키는 견고하고 자동화된 스킬 습득을 향한 단계로 포지셔닝하고 있습니다.