🤖 AI

SKILL.nb: Selective Formalization and Gated Execution for Durable Agent Workflows

SKILL.nb는 선택적 정형화와 게이트 실행을 감사 가능한 노트북 내에서 활용함으로써, 환경 드리프트에 대한 동적 적응을 허용하는 동시에 다양한 웹 자동화 벤치마크 전반에서 우수한 성능과 안정성을 달성하여 재사용 가능한 AI 에이전트 워크플로의 내구성과 신뢰성을 향상시키는 프레임워크이다.

원저자: Amine El Hattami, Nicolas Chapados, Christopher Pal

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amine El Hattami, Nicolas Chapados, Christopher Pal

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 비서에게 비행기 표 예약이나 웹사이트에서의 프로젝트 관리와 같은 복잡한 업무를 가르치고 있다고 상상해 보십시오. 과거에는 로봇이 한 번 성공한 기술(trick)을 배우면, 그 기술이 영원히 작동할 것이라 믿고 단순히 저장해 두곤 했습니다. 하지만 웹사이트는 변합니다. 버튼이 이동하고, 메뉴가 사라지며, 레이아웃이 바뀝니다. 만약 로봇이 새로운 웹사이트에서 예전의 기술을 그대로 사용하려 한다면, 종종 충돌이 발생하거나 멈춰버리게 됩니다.

이 논문은 이러한 로봇의 "기술"이 세상이 변해도 망가지지 않도록 관리하는 새로운 방법인 SKILL.nb를 소개합니다. 이것은 정확히 언제 엄격한 지침을 따라야 하고, 언제 유연하게 대처해야 하는지를 아는 스마트하고 스스로 업데이트되는 레시피 북이라고 생각하면 됩니다.

작동 방식은 다음과 같은 간단한 비유를 통해 설명할 수 있습니다.

1. 문제점: "설정 후 방치(Set-and-Forget)"의 함정

당신이 케이크를 만드는 레시피를 작성했다고 상상해 보십시오. 오늘 작성한 레시피는 완벽하게 작동합니다. 하지만 다음 주에 가게에서 파는 밀가루 브랜드가 바뀌고 오븐 온도가 약간 달라졌습니다. 만약 당신이 맹목적으로 예전 레시 finales를 따른다면, 케이크는 탈 수도 있습니다.

현재의 AI 에이전트들이 바로 이와 같습니다. 그들은 작업을 수행하기 위한 워크플로(일련의 단계들)를 학습합니다. 만약 웹사이트가 변하면(즉, "밀가루 브랜드"가 바뀌면), 에이전트는 실패합니다. 기존 시스템들은 단순히 예전의 지침을 다시 읽어 들임으로써 이를 해결하려 하지만, 레시피의 어떤 부분이 여전히 유효하고 어떤 부분이 다시 작성되어야 하는지를 결정하는 좋은 방법을 가지고 있지 않습니다.

2. 해결책: "스마트 노트" (SKILL.nb)

저자들은 SKILL.nb라는 시스템을 만들었습니다. 단순히 텍스트 파일을 저장하는 대신, 그들은 살아있는, 버전이 관리되는 노트(디지털 실험 일지와 같은 형태)를 저장합니다.

이 노트에는 세 가지 특별한 기능이 있습니다:

선택적 정형화 (Selective Formalization - "경화(Hardening)"의 선택):
로봇에게 버튼을 클릭하는 법을 가르치고 있다고 상상해 보십시오.
- 유연한 부분: 일부 단계는 평이한 영어로 작성됩니다 (예: "로그인 버튼을 찾으시오"). 이는 유연합니다. 버튼이 이동하더라도 로봇은 AI 시각 기능을 사용하여 버튼을 찾아낼 수 있습니다.
- 경화된 부분: 다른 단계들은 엄격한 컴퓨터 코드(예: "element ID #login-btn을 클릭하시오")로 변환됩니다. 이는 빠르고 정밀하지만, 취약합니다. 만약 ID가 변경되면 코드가 깨집니다.
- 마법 같은 기능: SKILL.nb는 어떤 단계가 엄격한 코드가 되어야 하고, 어떤 단계가 유연한 영어로 남아 있어야 하는지를 결정합니다. 시스템은 발생하는 상황을 관찰함으로써 이를 학습합니다. 만약 코드 단계가 계속해서 실패한다면, 시스템은 자동으로 해당 단계를 유연한 영어로 "강등(downgrade)"시켜 로봇이 적응할 수 있게 합니다. 반대로 영어 단계가 매우 안정적이라면, 속도를 위해 이를 코드로 "승격(upgrade)"시킵니다.
"문지기" (Gated Execution):
로봇은 단계를 실행하기 전에 **게이트(Gate)**를 확인합니다.
- 게이트를 클럽의 보안 요원이라고 생각해 보십시오. 로봇은 엄격한 코드를 실행하려고 시도합니다. 보안 요원은 확인합니다: "버튼이 아직 같은 위치에 있는가? 페이지가 로드되었는가?"
- 게이트가 열리면: 로봇은 빠른 코드를 실행합니다.
- 게이트가 닫히면: 로봇은 충돌하지 않습니다. 즉시 "플랜 B"(유연한 영어 지침)로 전환하여 다른 접근 방식을 시도합니다.
- 이는 작은 변화 하나 때문에 전체 프로세스가 멈춰버리는 "전부 아니면 전무(all-or-nothing)" 식의 실패를 방지합니다.
"감사 추적" (Evidence-Based - 증거 기반):
로봇이 단계를 시도할 때마다, 노트는 스크린샷, 에러 메시지 또는 성공 로그와 같은 결과를 기록합니다.
- 만약 특정 단계가 자주 실패한다면, 노트는 그 증거를 보고 이렇게 판단합니다: "알겠다, 이 특정 코드는 너무 취약하다. 이제 이 코드를 사용하지 말고 다시 유연한 지침으로 돌아가자."
- 노트는 무엇이 작동했고, 무엇이 깨졌으며, 왜 그랬는지에 대한 이력을 유지하므로, 로봇은 매번 인간의 수정 없이도 자신의 실수를 통해 배울 수 있습니다.

3. 실제 결과: "GitLab 마이그레이션" 테스트

연구진은 이 시스템을 실제 시나리오인 소프트웨어 플랫폼의 구버전(GitLab 15)에서 신버전(GitLab 16 및 18)으로 작업을 마이그레이션하는 테스트에 적용했습니다. 이 버전들은 서로 다른 레이아웃과 버튼을 가지고 있었습니다.

기존 방식: 다른 AI 시스템들은 자신들의 "기억"(예전 레시피)을 새로운 웹사이트에 사용하려고 시도했습니다. 그들은 예전 레이아웃에 갇혀 있었기 때문에 처참하게 실패했습니다. 성공률이 약 10~14포인트 하락했습니다.
SKILL.nb 방식: "문지기"와 "유연함/엄격함" 스위치를 가진 SKILL.nb는 기존 코드가 새로운 웹사이트에 맞지 않는다는 것을 알아차렸습니다. 그리고 자동으로 유연한 지침으로 전환했습니다.
- 결과: SKILL.nb는 완전히 새로운, 변경된 웹사이트에서도 성공률을 거의 동일하게 유지했습니다. 처음부터 다시 배울 필요 없이, 단지 전략을 조정했을 뿐입니다.

4. 이것이 중요한 이유

이 논문은 AI 에이전트가 장기적으로 진정 유용해지려면, 그들의 기억을 단순히 정적인 파일로 취급해서는 안 된다고 주장합니다. 우리는 그것을 **관리되는 산출물(managed artifacts)**로 취급해야 합니다.

라이프사이클 관리: 소프트웨어 엔지니어가 코드 업데이트를 관리하는 것처럼, SKILL.nb는 에이전트의 기술 "라이프사이클"을 관리합니다. 시스템은 기술을 승격할 때(엄격한 코드로 만들기), 강등할 때(유연하게 만들기), 그리고 은퇴시킬 때(너무 망가져서 버릴 때)를 알고 있습니다.
신뢰성: 이는 에이전트를 더 내구성 있게 만듭니다. 그들은 단 한 번 성공하는 것에 그치지 않고, 환경이 변하더라도 계속해서 성공을 유지합니다.

요약하자면: SKILL.nb는 AI 에이전트에게 "자기 수정형" 레시피 북을 제공하는 프레임워크입니다. 이 시스템은 언제 엄격한 대본을 따라야 하고 언제 즉흥적으로 대처해야 하는지를 알기에, 주변 세상이 변하더라도 로봇이 계속 작동할 수 있도록 보장합니다.

기술 요약: SKILL.nb

문제 정의

AI 에이전트는 과거의 경험을 재사용하기 위해 코드, 워크플로우, 절차적 메모리와 같은 내구성이 있는 외부 아티팩트(artifact)를 점점 더 많이 생성하고 있습니다. 그러나 이러한 재사용은 결정적인 라이프사이클 신뢰성 문제를 야기합니다. 즉, 한 맥락에서 성공했던 아티팩트가 환경 변화(예: 웹 자동화에서의 UI 변경), 불충분하게 명시된 작업, 또는 변화하는 작업 분포로 인해 실패할 수 있다는 점입니다. 기존 시스템들은 일반적으로 에이전트의 경험을 정적인 프롬프트 컨텍스트로 취급하거나 버전 관리 및 검증을 위한 고립된 프리미티브(primitive)를 제공하지만, 언제 재사용 가능한 워크플로우를 승격, 공식화, 수리 또는 은퇴시킬지를 규정하는 통합된 **라이프사이클 정책(lifecycle policy)**은 결여되어 있습니다.

웹 환경에서 이 과제는 매우 심각합니다. 버전이 고정된 데스크톱 애플리케로스나 명시적인 계약(contract)이 존재하는 API와 달리, 웹 인터페이스는 자동화 앵커(셀렉터, 레이아웃)를 보존하지 못한 채 변할 수 있습니다. 이는 트레이드오프를 강요합니다. 단계를 코드로 경화(hardening)하면 제어력은 향용되지만 드리프트(drift)에 취약해질 위험이 있고, 단계를 자연어(NL) 가이드에 의존하게 하면 유연성은 유지되지만 아티팩트 수준의 제어력은 약화됩니다. 핵심 문제는 실행 증거(execution evidence)에 기반하여 단계를 자연어 가이드에서 실행 가능한 코드로 전환하는 시점과, 워크플로우를 복구하거나 은퇴시켜야 하는 시점을 결정하는 것입니다.

방법론: SKILL.nb

저자들은 **증거 기반의 보정된 라이프사이클 정책(evidence-calibrated lifecycle policies)**을 통해 재사용 가능한 에이전트 워크플로우를 관리하는 프레 framework인 SKILL.nb를 소개합니다. 이 시스템은 온라인-오프라인 루프로 작동하며, 자연어 가이드, 다중 언어 실행 셀, 검증 게이트(validation gates), 폴백 경로(fallback paths), 그리고 멀티모달 증거(출력, 스크린샷, 에러 트레이스)가 혼합된, 감사 가능한 버전 관리형 주피터 노트북(Jupyter notebook) 형태로 워크플로우를 저장합니다.

핵심 메커니즘

선택적 공식화 (Selective Formalization):
시스템은 실행 증거에 따라 각 워크플로우 단계의 표현 방식을 결정합니다. 단계는 다음과 같이 구성될 수 있습니다:
- NL 가이드 ( $z_i=0$ ): 자연어 절차 또는 순수한 의도에 의해 실행됩니다.
- 실행 가능 ( $z_i=1$ ): 사전/사후 검증 게이트를 갖춘 코드로 경화됩니다.
- 강등 (Demoted): 코드 구현이 불안정해지면 자연어 가이드로 되돌아갑니다.
- 은퇴 (Retired): 워크플로우에서 과도한 수리 비용이 발생하면 활성 검색에서 제거됩니다.
게이트 조건부 실행 (Gate-Conditioned Execution):
"전부 아니면 전무(all-or-nothing)" 방식의 스크립트와 달리, SKILL.nb는 조건부로 단계를 실행합니다. 런타임 시 시스템은 검증 게이트(DOM 구조, URL, 폼 값 등 관찰 가능한 환경 상태에 대한 술어)를 확인합니다.
- 게이트가 유효하면 실행 가능한 코드가 실행됩니다.
  ।
- 게이트가 실패하면(드리프트 발생 시), 시스템은 **로컬 수리(local repair)**를 시도합니다.
- 수리에 실패하거나 게이트가 여전히 유효하지 않으면, 시스템은 NL 절차나 단계의 의도로 폴백(fallback)합니다.
- 이를 통해 베이스 모델의 즉각적인 재학습 없이도 인터페이스 변화에 견고하게 대응할 수 있습니다.
라이프사이클 정책 및 적응형 임계값 (Lifecycle Policy & Adaptive Thresholds):
본 프레임워크는 라이프사이클 동작(생성, 공식화, 강등, 은퇴)을 제어하기 위해 임계값 기반 정책 $\pi_\theta$ 를 사용합니다. 이러한 임계값은 고정되어 있지 않으며, 오프라인 리플레이(offline replay)를 통해 적응적으로 보정됩니다:
- 증거 집계: 시스템은 트레이스를 집계하여 생성/공식화를 위한 트레이스 지지(trace support)와 강등/은퇴를 위한 수락된 수리 횟수/토큰 가중치 수리 부담을 계산합니다.
- 그룹 특화: 임계값은 역사적 로그를 사용하여 그룹별(예: 사이트 패밀리, 작업 유형)로 추정됩니다.
- 리플레이 보정 안전성: 임계값은 유지보수 비용을 최소화하면서 위반율(안전하지 않은 행동을 허용할 확률)이 예산 범위 내에 머물도록 선택되며, 이는 역사적 리플레이 데이터에 대한 일방향 윌슨 상한 신뢰 구간(one-sided Wilson upper confidence bound)을 사용하여 추정됩니다.
- 축소 (Shrinkage): 데이터가 희소한 그룹의 경우, 작은 샘플 크기로 인한 과적합을 방지하기 위해 추정치를 풀링된 글로벌 임계값 쪽으로 축소합니다.
아티팩트 표현 (Artifact Representation):
워크플로우는 버전 관리되는 노트북(.ipynb)으로 저장됩니다. 이 형식이 표준 마크다운(예: SKILL.md) 대신 선택된 이유는 다음을 네이티브하게 지원하기 때문입니다:
- 명시적 경계를 가진 실행 가능한 코드 셀.
- 임베디드 실행 증거(출력, 스크린샷, 로그).
- 동일한 아티팩트 내의 검증 게이트 및 폴백 로직.
- 어떤 코드가 실행되었고, 어떤 게이트가 통과되었으며, 어떤 증거가 생성되었는지에 대한 감사 가능한 이력.

주요 기여

내구성 있는 자동화의 정식화: 본 논문은 내구성 있는 웹 에이전트 자동화를 단순한 메모리가 아닌, 가정이 실패함에 따라 능동적으로 관리(승격, 수리, 은퇴)되어야 하는 선택적 공식화 및 라이프사이클 거버넌스의 문제로 정의합니다.
SKILL.nb 프레임워크: 선택적 공식화와 게이트 조건부 실행을 결 결합하여, NL 가이드, 실행 가능한 코드, 멀티모달 증거를 단일한 버전 관리 객체 내에 결합한 노트북 네이티브 시스템을 제안합니다.
경험적 검증: SKILL.nb가 단순한 원샷(one-shot) 작업 성공뿐만 아니라, 더 중요하게는 반복 사용 신뢰성, 수리 회복력, 그리고 지속적 메모리 베이스라인 대비 환경 드리프트에 대한 강건성을 개선함을 종합적인 평가를 통해 입증했습니다.

실험 결과

저자들은 WebArena-Verified, Mind2Web, 그리고 통제된 GitLab 버전 드리프트 프로토콜을 통해 SKILL.nb를 평가했습니다.

원샷 성능 (WebArena-Verified):
- **53.7%**의 단일 라운드 성공률을 달-성하여, 가장 강력한 베이스라인인 ReasoningBank보다 3.9 퍼센트 포인트 앞섰습니다 ( $p=0.029$ ).
- 복잡한 멀티 사이트 작업에서 유의미한 이득을 보였습니다 (베이스라인의 11.3% 대비 17.5%).
라이프사이클 신뢰성 (반복 실행):
- 재사용 일관성: 세 번의 재실행 동안 초기 성공 작업의 **91.7%**를 유지했으며, 이는 차순위 방법보다 15.5 포인트 높은 수치입니다.
- 수리 vs 퇴보 (Repair vs. Regression): 제한된 수리 하에서, SKILL.nb는 후속 실패의 **72.9%**를 회복하는 동시에 수리 후 퇴보를 **4.2%**로 제한했습니다. 반면, 지속적 메모리 베이스라인들은 15.0~17.0%의 퇴보율을 보였습니다.
- 안정성: 베이스라인들이 반복되는 라운드에 따라 성능이 저하되는 것과 달리, SKILL.nb는 5회의 섭동(perturbed) 라운드 동안 성공률이 53.7%에서 55.7%로 향상되었습니다.
일반화 능력 (Mind2Web):
- 교차 웹사이트 및 교차 도메인 분할에서 모든 비교 대상 방법들을 앞서며 각각 38.1% 및 **39. de 39.7%**의 단계 성공률을 달성했습니다.
실제 환경 드리프트 (GitLab 마이그레이션):
- GitLab 15.7에서 학습된 동결된 상태를 GitLab 16.11 및 18.9에서 재사용하는 테스트 결과:
  - SKILL.nb: 성능을 유지했습니다 (v18.9에서 61.7%로, 신선한 상태의 61.1%와 유사). 이는 **-1.7에서 +0.6 포인트 사이의 낮은 부정적 전이(negative transfer)**를 보여줍니다.
  - 베이스라인: 오래된 인터페이스 특정 가설으로 인한 "부정적 전이"로 인해 심각한 성능 저하를 겪었습니다 (예: AWMonline은 14.4 포인트 하락, ReasoningBank는 11.1 포인트 하락).

의의 및 주장

본 논문은 라이프사이클 거버넌스와 게이트 조건부 실행이 단순한 원샷 작업 성공을 넘어 필수적인 신뢰성 축임을 주장합니다. 에이전트 아티팩트를 단순한 메모리가 아닌 라이프사이클이 관리되는 객체로 취급함으로써, SKILL.nb는 다음을 입증했습니다:

증거 기반 거버넌스는 에이전트가 치명적인 망각이나 조용한 퇴보 없이 환경 드리프트에 적응할 수 있게 합니다.
선택적 공식화는 취약한 코드와 구조화되지 않은 NL 사이의 유연한 중간 지대를 제공하여, 코드가 유효하지 않을 때 "우아하게 폴백"할 수 있게 합니다.
감사 가능한 노트북은 실행 경계와 증거를 추적할 수 있는 필요한 구조를 제공하여, 비구조화된 프롬프트 컨텍스트 재사용으로는 불가능한 안전한 롤백과 유지보수를 가능하게 합니다.

저자들은 이 접근 방식이 런타임 결정을 위해 숨겨진 평가자 라벨(evaluator labels)에 의존하는 것이 아니라 실행에 근거한 증거에 의존하며, 그 안전성 보장이 절대적인 보장이 아닌 리플레이 상대적(replay-relative)(역사적 로그에 의해 제한됨)임을 강조합니다. 이 연구는 역동적이고 실제적인 환경에서 작동할 수 있는 더 강력하고 자기 수정이 가능한 에이전트를 향한 경로를 제시합니다.