기술 요약: 기술-의-의사코드 (SaP)

문제 제기

현대 LLM 기반 에이전트는 기술 라이브러리 (대부분 마크다운인 절차적 문서의 집합) 에 의존하며, 에이전트는 작업 수행 중 이를 검색하고 따릅니다. 그러나 이러한 라이브러리는 현재 자유 형식의 산문으로 작성됩니다. 이 표현 방식은 상당한 병목 현상을 초래합니다. 에이전트는 매번 검색 시 입력 스키마 (기술이 무엇을 하는지) 와 구체적인 호출 구문 (어떻게 호출하는지) 을 모두 다시 유도해야 하기 때문입니다.

저자들은 이 산문 중심 형식이 "혼란 → 재검색 → 여전히 혼란"이라는 루프를 유발한다고 관찰합니다. 에이전트가 산문 설명에 기반하여 부분적으로 올바른 행동을 취할 때, 환경은 종종 "아무 일도 일어나지 않음"과 같이 정보 제공이 부족한 피드백을 반환합니다. 에이전트는 그런 다음 동일한 산문을 재검색하고 누락된 세부 사항을 추출하지 못해 이 사이클을 반복합니다. 이 루프는 작업 실패와 LLM 호출 비용의 증가를 모두 초래합니다. OpenAPI 와 같은 타입 지정 카탈로그가 존재하지만, 에이전트 기술의 표준 배포 표면은 여전히 마크다운에 머물러 있습니다.

방법론: 기술-의-의사코드 (SaP)

저자들은 마크다운 기술 라이브러리를 결정론적 품질 통제를 갖춘 타입 지정 의사코드로 변환하는 자동 파이프라인인 **기술-의-의사코드 (SaP)**를 제안합니다. 핵심 통찰력은 두 가지 특정 신호가 검색 - 행동 루프를 단축한다는 것입니다:

1. 타입 지정 계약: 트리거, 입력/출력 스키마, 사전/사후 조건을 노출하는 구조화된 시그니처.
2. 구체적 행동 템플릿: 환경이 허용하는 정확한 토큰 시퀀스 (예: move {obj} to {target}) 로, 추상적 계약과 구별됩니다.

파이프라인

SaP 파이프라인은 5 단계와 2 개의 LLM 인지 사후 검증자 통과를 통해 부모 기술 (마크다운 문서) 라이브러리를 처리합니다:

1. 파서: 마크다운 문서를 절차적 단위 (제목 아래의 섹션) 로 분할합니다.
2. 후보 제안자: 임베딩 기반 클러스터링을 사용하여 공유 동사, 객체, 코드 링크를 기반으로 하나 이상의 부모에서 단위들을 후보 클러스터로 그룹화합니다.
3. 계약 추출기 (LLM): 각 클러스터에 대해 단일 LLM 호출이 엄격한 JSON 타입 지정 계약 ($\kappa$) 초안을 작성합니다.
4. 검증자 (결정론적): 4 가지 확인을 수행하는 결정론적 검증자가 초안 계약을 평가합니다. 계약은 다음을 통과할 때만 승격됩니다:
   • 커버리지: 계약의 트리거 및 I/O 문자열이 부모 단위 텍스트에 존재해야 합니다.
   • 바인딩: 계약의 모든 필수 입력은 부모 텍스트에 해당하는 스패너를 가져야 합니다.
   • 대체: 부모 단위는 제어 흐름을 깨뜨리지 않고 invoke(κ, args) 플레이스홀더로 문법적으로 대체 가능해야 합니다.
   • 위험: 계약은 rm -rf나 선언되지 않은 네트워크 유출과 같은 안전하지 않은 부작용을 포함해서는 안 됩니다.
5. 리팩토링: 검증된 계약은 부모 기술에 인라인됩니다.
   • 바인딩 추출 (BE): 특정 단위가 계약의 진정한 인스턴스인지 확인하고 구체적인 인수 바인딩을 추출하는 LLM 통과입니다. 위양성 매칭은 제외됩니다.
   • 재작성 정리 (RC): 검증된 계약과 정렬되도록 잔여 산문 충돌 (예: 환경이 move를 요구할 때 put과 같은 동사를 사용하는 예제 블록) 을 감지하고 재작성하는 LLM 통과입니다.

검색 시 대체

추론 시, 에이전트는 원시 산문이 아닌 대체된 기술 번들을 검색합니다. 검색된 부모 기술에 대해 시스템은 원래 콘텐츠를 다음으로 대체합니다:

1. 행동 템플릿: 추출된 바인딩이 포함된 구체적이고 실행 가능한 명령 시퀀스 (먼저 배치).
2. 재작성된 스키레톤: invoke(κ, args) 플레이스홀더가 포함된 부모 구조.
3. 인라인 계약: 호출된 자식 기술에 대한 타입 지정 시그니처 및 스키마.

중요하게도, 시스템은 계층적 전용 검색 풀을 사용합니다. 승격된 자식 계약은 내부에 저장되며 부모의 invoke 플레이스홀더를 통해서만 접근 가능합니다. 자식을 독립적인 최상위 결과로 노출하는 것은 피하는데, 이는 에이전트에게 필요한 컨텍스트 (부모의 행동 템플릿) 를 박탈하기 때문입니다.

주요 기여

1. 기술 개선의 재정의: 이 논문은 기술 라이브러리 최적화를 기존 계약이 이미 존재한다고 가정하는 기존 타입 지정 라우팅 작업을 보완하는, 결정론적 품질 통제를 갖춘 산문-타입-의사코드 변환 문제로 재정의합니다.
2. SaP 파이프라인: 4 가지 확인 결정론적 검증자와 2 개의 LLM 인지 사후 검증자 통과 (BE 및 RC) 를 특징으로 하는 새로운 아키텍처로, 각 단계는 안전성과 일관성을 보장하기 위해 결정론적 사후 확인으로 보호됩니다.
3. 계층적 검색 인터페이스: 호출당 구조화된 번들 (타입 지정 계약 + 구체적 템플릿) 을 전달하는 검색 메커니즘으로, "무엇 (계약)"과 "어떻게 (템플릿)"를 분리합니다.
4. 실증적 검증: Graph-of-Skills (GoS) 기준에 비해 SaP 가 작업 성공률을 동시에 향상시키고 토큰/LLM 호출 비용을 감소시킨다는 것을 입증했습니다.

결과

실험은 gpt-4o-mini를 사용한 ALFWorld보지 못한 분할 (134 개 게임) 과 gpt-5-codex를 사용한 SkillsBench의 하위 집합 (10 개 작업) 에서 수행되었습니다.

• ALFWorld 성능: 세 개의 시드 (402 개 페어 게임) 에서 SaP 는 GoS 기준의 47/402게임 대비 82/402게임을 승리했습니다. 이는 74% 의 상대적 보상 증가를 의미합니다 (McNemar $p = 8.2 \times 10^{-5}$).
• 효율성 향상: SaP 는 게임당 입력 토큰을 22.8%, 출력 토큰을 17.3%, LLM 호출을 **14.5%**줄이면서 이러한 이점을 달성했습니다.
• 메커니즘 분석: 개선은 "검색 - 행동 루프"를 깨뜨린 데 기인합니다. SaP 에이전트는 "아무 일도 일어나지 않음" 오류와 재검색 요청을 훨씬 적게 발생시켰습니다. 검색 후 행동 정확도는 GoS 의 20.5% 에서 SaP 의 29.3% 로 향상되었습니다.
• 절제 실험: 계층적 분리를 제거 (자식을 독립적인 결과로 노출) 하면 보상이 27% 감소하여 부모 - 자식 번들 구조의 필요성을 확인했습니다. BE 및 RC 통과가 각각 위양성 클러스터 멤버십과 구문 충돌과 같은 고유한 실패 모드를 수리하는 것으로 나타났습니다.

중요성 및 주장

이 논문은 기술 라이브러리를 소비하는 LLM 에이전트의 주된 병목 현상은 분해 부족이 아니라 산문 표현 자체라고 주장합니다. 결정론적 검증을 통한 산문을 타입 지정 의사코드로의 자동 변환을 통해 SaP 는 에이전트에 단일 응답으로 "무엇 (계약)"과 "어떻게 (템플릿)" 신호를 제공합니다.

저자들은 SaP 를 타입 지정 라우팅 문제에 대한 공급자 측 솔루션으로 위치시킵니다. 기존 작업은 계약이 수기로 작성된다고 가정하는 반면, SaP 는 이를 산문에서 복원합니다. 이 방법론은 모든 LLM 추출이 블랙박스 출력이 아닌 결정론적 규칙으로 확인된 가설인 규율 있는 접근 방식으로 제시됩니다.

이 논문은 파이프라인이 타입 지정 API (OpenAPI) 를 위해 아키텍처적으로 지원되지만, 현재 실증적 평가는 마크다운 라이브러리에 국한된다고 겸손하게 언급합니다. 또한, 대체 메커니즘은 동적 (런타임 확장) 이 아닌 정적 (구문적) 이며, 요청 시 자식 계약을 제공하기 위해 검색 인터페이스에 의존합니다. 결과는 정적 기술 라이브러리의 경우 산문 - 구조 변환 비용이 매 검색 시가 아닌 인덱싱 시에 지불될 수 있음을 시사하며, 이는 에이전트의 효율성과 신뢰성을 크게 향상시킵니다.