기술 요약: SKILLAUDIT

문제 정의

본 논문은 전문적인 워크플로우 내에서 동결된(frozen) 대규모 언어 모델(LLM) 에이전트의 기술 진화(skill evolution) 문제를 다룹니다. "에이전트 기술"(구조화된 절차적 지침 패키지)은 에이전트를 효과적으로 가이드하지만, 도구, API 및 예외 사례가 변화함에 따라 배포 후 성능이 저하되는 경우가 많습니다.

기존의 기술 정교화 방식은 다음과 같은 **특권적 정답 피드백(privileged ground-truth feedback)**에 의존합니다:

• 홀드아웃 검증 점수 또는 숨겨진 테스트 결과.
• 오라클(Oracle)의 통과/실패 신호.
• 환경 보상 또는 전문가 참조 응답.

그러나 실제 배포 환경에서 실무자들이 보유하는 것은 오직 작업 설명($T$), 워크스페이스 데이터($W$), 그리고 **초기 기술($S_0$)**뿐인 경우가 많습니다. 이들은 외부 스코어링 함수, 참조 솔루션 또는 테스트 스크립트에 접근할 수 없습니다. 핵심 문제는 다음과 같습니다: 최적화 과정 중에 외부의 정답 피드백 없이 어떻게 에이전트 기술을 개선할 수 있는가?

저자들은 이를 정답 피드백이 없는 제약 조건($C_{gtf}$) 하에서 잠재적 작업 보상 $R(\tau)$를 최대화하는 것을 목표로 하는 제약 최적화 문제로 공식화하며, 이 제약 조건은 진화 루프의 어느 시점에서도 $R$이나 그 대리 지표에 접근하는 것을 금지합니다.

방법론: SKILLAUDIT

저자들은 작업 설명, 워크스페이스 데이터, 실행 트레이스만을 사용하여 기술을 진화시키는 프레임워크인 SKILLAUDIT를 제안합니다. 핵심 메커니즘은 동일한 작업에 대한 두 번의 실행을 비교하여 기술의 구체적인 영향을 격리하는 **쌍 기반 궤적 감사(Paired Trajectory Auditing)**입니다:

1. 기술 포함($\tau_w$): 후보 기술이 주입된 상태에서 에이전트가 작업을 수행합니다.
2. 기술 미포함($\tau_{wo}$): 에이전트가 해당 기술 없이 동일한 작업을 수행합니다.

시스템은 이 두 궤적 사이의 행동적 괴리(divergence)로부터 최적화 신호를 도출합니다. 아키텍처는 네 가지 핵심 구성 요소로 이루어져 있습니다:

1. 쌍 기반 궤적 감사 및 PACE

단순한 궤적 차이는 편집하기에 불충분합니다. 이를 실행 가능한 가이드로 변환하기 위해 SKILLAUDIT는 **프로세스 정렬 대조 평가(Process-Aligned Contrastive Evaluation, PACE)**를 사용합니다. PACE는 네 가지 차원에 걸쳐 작동하는 12개의 평가기 클러스터입니다:

• 프로세스 준수(Process Adherence): 에이전트가 기술에 규정된 단계를 따랐는가?
• 아티팩트 증거(Artifact Evidence): 출력 파일이 기술에 선언된 제약 조건을 충족하는가?
• 일관성(Consistency): 기술의 워크플로우가 작업의 데이터 스키마와 일치하는가?
• 효과 차이(Effectiveness Delta): 기술 포함 궤적이 괴리 지점에서 기술 미포함 궤적보다 우수한 성능을 보이는가?

결정적으로, PACE는 **세그먼트 앵커 진단 신호(segment-anchored diagnostic signals)**를 출력합니다. 전역적인 "통과/실패" 대신, 특정 문구(예: "이 단락으로 인해 에이전트가 X 단계에서 잘못된 행동을 취함")가 행동 변화를 일으킨 기술 문서의 특정 구간을 식별합니다.

2. 앵커 검증기 (Anchor Verifier)

평가기의 드리프트(drift)를 방지하고 구조적 무결성을 보장하기 위해, 작업 명세($T$)로부터 한 번 컴파일되어 전체 진화 과정 동안 고정되는 구조적 검증기가 사용됩니다. 이는 $T$와 $W$로부터 유도 가능한 하드 제약 조건(예: 파일 존재 여부, 형식 준수, 재계산 가능한 값)을 인코딩합니다.

• 역할: 이는 결정론적인 게이트 역할을 합니다. 만약 업데이트가 앵커 검증기를 실패하게 만들면, PACE의 소프트 신호와 관계없이 해당 업데이트는 무조건 롤백됩니다.

3. 이중 전략 진화 (Dual-Strategy Evolution)

$S_0$와 $T$ 사이의 초기 호환성 평가에 따라 시스템은 작업을 두 가지 파이프라인 중 하나로 라우팅합니다:

• 정교화 파이프라인 (Refine Pipeline): 기술이 대체로 효과적이지만 노이즈, 중복 또는 미세한 공백을 포함하고 있는 경우입니다. 전략은 **'뺄셈 우선(subtraction-first)'**으로, 도움을 주는 세그먼트는 보호하면서 주의를 분산시키는 내용을 제거합니다.
• 수리 파이프라인 (Repair Pipeline): 핵심 워크플로우가 작업과 충돌하거나 에이전트를 능동적으로 오도하는 경우입니다. 전략은 **'진단 기반 교체(diagnosis-driven replacement)'**로, 해로운 문구를 찾아내어 (잠재적으로 기술 미포함 궤적에서 유도된) 올바른 지침으로 교체합니다.

4. 결정 로직 (Decision Logic)

각 반복(iteration)에서 시스템은 PACE 신호와 앵커 검증기 체크를 종합하여 세 가지 판정을 내립니다:

• 도움됨 (Helped): 업데이트를 확정(commit)합니다.
• 해로움 (Hurt): 즉시 롤백합니다 (단 하나라도 "해로움" 신호를 보고하면 거부됨).
• 무효 (Inert): 다음 반복으로 미룹니다.

루프는 기술이 안정적인 상태(최근 반복에서 "해로움" 판정이 없고, 검증기를 통과하며, 더 이상 실행 가능한 대상이 남지 않음)에 도달할 때 종료됩니다.

주요 기여

1. 정답 없는 기술 진화 (Ground-Truth-Free Skill Evolution): 숨겨진 테스트, 참조 솔루션 또는 오라클 신호가 없는 현실적인 제약 조건 $C_{gtf}$ 하에서의 기술 진화 형식을 제시했습니다.
2. 쌍 기반 궤적 감사: 제어된 대조 실행을 통해 기술이 에이전트의 행동에 미치는 영향을 격리함으로써 최적화 신호를 도출하는 메커니즘을 구축했습니다.
3. 프로세스 정렬 진단: 궤적의 괴리를 특정 기술 문구에 매핑하는 PACE와 구조적 안정성을 보장하기 위한 고정된 앵커 검증기를 개발했습니다.
4. 이중 전략 라우팅: 노이즈 감소(Refine)가 필요한 기술과 핵심 교체(Repair)가 필요한 기술을 구분하는 메커니즘을 제공했습니다.

실험 결과

본 프레임워크는 SkillsBench 벤치마크를 사용하여 8가지 전문 도메인(소프트웨어 공학, 자연 과학, 금융 포함)에 걸친 89개의 컨테이너화된 작업에 대해 평가되었습니다.

• 성능: SKILLAUDIT는 평균 작업 보상 **73.9%**를 달お성했습니다.
• 비교:
  • 기술이 없는 에이전트(40.9%)보다 33.0 퍼센트 포인트 높았습니다.
  • 벤치마크에 포함된 정적 전문가 기술(56.7%)보다 17.2 퍼센트 포인트 높았습니다.
• 도메인별 편차: 시스템은 소프트웨어 공학(+33.0 pp)과 사무 및 화이트칼라 업무(+26.7 pp)에서 가장 큰 이득을 보였습니다. 금융 및 경제 분야에서는 정적 베이스라인과 일치했으나 이를 초과하지는 못했습니다.
• 복구 능력: 시스템은 초기 기술이 실패했던(보상 < 0.5) 작업의 43%를 성공적으로 복구했으며, 이미 작동 중이던 작업의 92%를 완벽하게 보호했습니다.

의의 및 한계

본 논문은 작업의 정답이 **관찰 가능한 구조적 흔적(observable structural trace)**을 남길 수 있다면, 외부 정답 없이도 에이전트 기술을 자율적으로 개선할 수 있음을 입증한다고 주장합니다.

• 관찰 가능성의 경계: 저자들은 성공 여부가 도메인이 아닌 관찰 가능성에 의해 결정된다고 밝힙니다. "실행 가능하고 관찰 가능한 지식"(예: API 사용법, 수학 공식)을 인코딩하는 기술은 오류가 가시적인 흔적(스택 트레이스, 잘못된 숫자 등)을 남기기 때문에 잘 진화합니다. 반면, "도메인 절차"를 인코딩하는 기술(단계 하나를 제거해도 구조적 흔적이 남지 않는 경우)은 정답 없이 진화하기 어렵습니다.
• 편집의 성격: 분석 결과, 성공적인 진화는 기술을 "튜토리얼"에서 "검증 가능한 실행 계약(verifier-observable execution contracts)"으로 변환하는 경향이 있습니다. 이는 주로 도메인 외 내용을 제거하고, 경로의 하드코딩을 해제하며, 누락된 I/O 계약을 추가하는 과정을 포함합니다.
• 겸손한 주장: 저자들은 오디터가 결과를 검증할 수 없는 경우(예: 숫자의 정확성을 검증할 수는 없지만 파일의 존재는 확인할 수 있는 경우, 금융 모델의 정확성을 수정할 수는 없음)에는 누락된 도메인 지식을 합성할 수 없다는 점을 인정합니다. 시스템은 도메인 지식을 발명하는 것이 아니라, 기술의 계약을 관찰 가능하게 만듦으로써 실패를 복구합니다.

요약하자면, SKILLAUDIT는 외부 검증 인프라를 사용할 수 없는 실제 배포 환경에서, 작업 자체의 내부 일관성과 구조적 제약을 활용하여 에이전트 기술을 유지하고 진화시킬 수 있는 실질적인 경로를 제공합니다.