기술 요약: 계획보다 증거: 기술 증류를 위한 온라인 궤적 검증

문제 정의

대형 언어 모델 (LLM) 에이전트가 인간이 작성한 절차적 기술을 사용하여 작업 성공률을 향상시킬 수 있지만, 환경 기반 검증 없이는 이러한 기술의 품질을 평가하기 어렵습니다. 기존 기술 생성 방법은 종종 환경과의 직접적인 상호작용 대신 선호도 로그나 이전 계획에 의존합니다. 이는 근본적인 병목 현상을 초래합니다. 기술이 종종 "선입관 기반 (prior-based)"이 되어, 실행을 통해 발견된 경험적 증거가 아니라 일반적인 휴리스틱이나 모델의 초기 의도를 인코딩하게 됩니다. 그 결과, 이러한 방법들은 실제 작업 실행 중에만 나타나는 특정 제약 조건, 의존성, 실패 모드를 결여하고 있어 서로 다른 능력을 가진 모델 간에 기술을 전이할 때 미미하거나 심지어 역효과를 낳는 경우가 많습니다.

방법론: SPARK 및 PDI

저자들은 환경 검증 증거에 기반한 기술을 생성하고 이를 증류하는 궤적의 품질을 분석하도록 설계된 SPARK(Autonomous Runnable tasks and sKill generation 을 위한 구조화된 파이프라인) 프레임워크를 제안합니다.

1. SPARK 파이프라인

SPARK 는 두 개의 상호 연결된 파이프라인을 통해 작동합니다.

• 기술 생성 파이프라인: "교사" 에이전트가 최대 $N_{max}$번의 시도를 위해 Docker 환경과 상호작용합니다.
  • 탐색 메모 (Exploration Memo): 에이전트는 원시 로그를 전달하는 대신 시도, 명령, 검증된 사실, 현재 오류 패턴, 다음 전략을 요약하는 구조화된 "탐색 메모"를 유지합니다. 이 메모는 컨텍스트 희석을 방지하기 위해 각 실패 후 추가 (append) 되는 것이 아니라 다시 작성 (rewrite) 됩니다.
  • 증거 조립: 성공 시, 시스템은 작업 패턴, 실행 체인, 검증 기록, 교훈 (실패 패턴), 환경 컨텍스트, 원시 지원 꼬리 (Raw Support Tail) 의 여섯 가지 구조화된 증거 블록을 조립합니다.
  • 증류: 이러한 블록들은 재사용 가능한 SKILL.md 문서로 증류됩니다.
• 작업 구성 파이프라인: 엄격한 평가를 보장하기 위해 SPARK 는 자연어 프롬프트를 구조화된 작업 청사진으로 변환합니다. 이러한 청사진은 반복적인 비판, 수정, 그리고 pytest 를 사용한 결정론적 오라클 검증을 거쳐 자체 완결형 실행 가능한 벤치마크 인스턴스를 생성합니다.

2. 사후 증류 지수 (Posterior Distillation Index, PDI)

기술이 계획이 아닌 사후 증거 (환경 상호작용) 에 기반하는지 정량화하기 위해 저자들은 **사후 증류 지수 (PDI)**를 도입합니다. PDI 는 세 가지 z-score 신호의 등가 가중 선형 결합으로 계산된 궤적 수준 지표입니다.

1. 실행 기반 (Execution Grounding, $\phi_{exec}$): 에이전트의 성공적인 실행 명령과 최종 기술 간의 분포적 유사성을 측정합니다. 높은 값은 기술이 환경에 의해 검증된 작업에 초점을 맞추고 있음을 나타냅니다.
2. 계획 복사 (Plan Copying, $\phi_{plan}$): 탐색 메모의 "다음 전략" 섹션과 최종 기술 간의 유사성을 측정합니다. 낮은 값이 바람직하며, 이는 기술이 에이전트의 초기 계획과 달라지고 새로운 증거를 반영하고 있음을 나타냅니다.
3. 메모 경화 (Memo Ossification, $\phi_{oss}$): 시도 전반에 걸쳐 "검증된 사실"과 실패한 테스트 세트의 안정성을 측정합니다. 낮은 값이 바람직하며, 이는 에이전트의 이해가 진화하여 동일한 실패 패턴을 반복하지 (인지적 정체) 않음을 나타냅니다.

$$PDI = z(\phi_{exec}) - z(\phi_{plan}) - z(\phi_{oss})$$

3. 온라인 개입

주요 혁신 중 하나는 PDI 의 프록시를 온라인 진단 신호로 사용하는 것입니다. 기술 탐색 중 프록시-PDI 가 임계값 아래로 떨어지면 SPARK 는 개입을 트리거합니다.

• 소프트 개입: 더 넓은 가설 수정을 장려합니다.
• 강력 개입: 이전 전략을 보류하고 에이전트가 검증된 사실과 오류 패턴에 근거하도록 강제하여 에이전트가 낡은 계획에 집착하는 것을 방지합니다.

주요 기여

1. 궤적 검증 지표 (PDI): 환경 증거에 기반한 기술과 검증되지 않은 선입관 기반 계획을 구분하는 원칙적이고 해석 가능한 지표입니다. 이는 어떤 궤적이 전이 가능한 기술을 산출하는지에 대한 기계적 평가를 제공합니다.
2. 투명한 기술 생성 (SPARK): 실행 로그, 검증기 신호, 메모 기록을 보존하여 전체 궤적 수준 분석을 가능하게 하고 증류 과정을 분석 가능하게 만드는 프레임워크입니다.
3. 온라인 개입 메커니즘: PDI 프록시를 사용하여 기술 탐색 과정에서 모니터링하고 개입하여 증류 완료 전에 생성된 기술의 품질을 능동적으로 향상시키는 방법입니다.
4. 궤적 벤치마크: 전체 실행 추적, 검증기 신호, 증류된 기술을 갖춘 86 개의 실행 가능한 작업 (300 개의 변형으로 확장) 데이터셋으로, 환경 상호작용을 통한 기술 전이 평가가 가능합니다.

실험 결과

저자들은 SkillsBench 벤치마크의 86 개 작업과 300 개의 생성된 작업 변형, 그리고 ALFWorld 환경에서 SPARK 를 평가했습니다.

• 성능 향상: SPARK 가 생성한 기술은 GPT-5.4-nano 에서 DeepSeek-Chat 에 이르는 일곱 가지 학생 모델 전반에 걸쳐 "기술 없음" 베이스라인과 인간이 작성한 기술보다 일관되게 우수한 성능을 보였습니다. 특히 SPARK 기술을 탑재한 작은 학생 모델들은 종종 기술을 생성하는 데 사용된 강력한 교사 모델의 무보조 성능을 능가했습니다.
• 비용 효율성: 교사 탐색은 비용이 많이 들지만, 증류된 기술은 약한 학생 모델이 교사의 탐색 비용보다 최대 1,000 배 더 저렴한 추론 비용으로 작업을 해결할 수 있게 합니다.
• PDI 예측력:
  • PDI 와 기술 향상 사이에는 유의미한 양의 상관관계 ($\rho \approx 0.36$) 가 있습니다.
  • 고 PDI 궤적에서 생성된 기술이 가장 높은 통과 향상률을 달성했습니다.
  • 낮은 실행 기반과 결합된 "계획 복사"(높은 $\phi_{plan}$) 는 거의 제로 또는 음의 향상을 초래하여 증거 없이 계획을 요약하는 것은 비효율적임을 확인시켰습니다.
  • "메모 경화"(높은 $\phi_{oss}$) 는 기술 품질과 음의 상관관계를 보였으며, 이는 인지적 정체가 전이에 해롭다는 것을 나타냅니다.
• 온라인 개입: 제거 연구 (Ablation studies) 는 PDI 기반 온라인 개입을 활성화하면 하류 통과율이 크게 향상됨을 보여주었습니다 (예: 특정 하위 집합에서 DeepSeek-Chat 의 통과율을 9.1% 에서 42.4% 로 증가).
• 일반화: SPARK 기술은 작업 변형은 물론 분포 외 (out-of-distribution) 인 ALFWorld 환경으로도 일반화되어 성공률을 16.7% 에서 40.0% 로 향상시켰습니다.

중요성 및 주장

이 논문은 에이전트를 위한 효과적인 절차적 지식은 **사후 기반 (posterior-based)**이어야 한다고 주장합니다. 즉, 환경 상호작용을 통해서만 발견 가능한 제약 조건과 실패 모드를 인코딩해야 한다는 것입니다. 저자들은 다음과 같이 주장합니다.

• 타이밍의 중요성: 견고한 기술은 선입관 계획이 아닌 경험적 상호작용에서 증류되어야 합니다.
• 계획보다 증거: 기술의 품질은 에이전트의 초기 계획의 복잡성이 아닌 검증된 증거에 대한 기반 여부에 의해 결정됩니다.
• 전이 가능성: PDI 를 사용하여 증류를 필터링하고 안내함으로써 SPARK 는 효율적이고 전이 가능하며, 이러한 구체적이고 환경 기반의 통찰력이 부족한 더 강력한 모델들보다 약한 모델들이 더 나은 성과를 내도록 할 수 있는 기술을 생성합니다.
• 기계적 이해: 이 프레임워크는 블랙박스 기술 생성을 넘어, 왜 일부 궤적 (발산적 탐색, 낮은 경화) 은 유용한 기술을 산출하고 다른 궤적은 그렇지 않은지에 대한 기계적 이해를 제공합니다.

저자들은 자율적 기술 생성이 에이전트가 필수적인 지식을 생성하고 미래 에이전트들이 검증 가능하게 상속하고 실행할 수 있도록 하는 데 있어 환경으로부터 배우는 것이 사후 고려 사항이 아닌 전제 조건일 때 가장 효과적으로 작동한다고 결론지었습니다.