기술 요약: 지식 기반 도구 사용 워크플로우 내 AI 에이전트를 위한 선언적 기술(Declarative Skills)

문제 정의

본 논문은 비정형 지식 베이스(KB)에 의존하는 현실적이고 복잡한 고객 서비스 워크플로우에서 AI 에이전트의 오케스트레이션 문제를 다룹니다. 특히 저자들은 에이전트가 대화형 상호작고, 절차적 작업 실행(주문 제약 조건, 검증 등), 그리고 검색된 문서에 대한 추론이라는 세 가지 뚜렷한 역량을 수행해야 하는 핀테크 고객 서비스 도메인인 $\tau$-Knowledge 벤치마크에 초점을 맞춥니다.

핵심 과제는 에이전트가 실행 전, 거대한 비정형 KB(예: "계좌 해지"를 위해서는 특정 무작위 접미사와 전제 조건이 필요하다는 사실을 찾아내는 것) 내에서 도구의 기능과 절차적 규칙을 발견해야 한다는 점입니다. 환경은 **분산 부분 관측 마르코프 결정 과정(Dec-POMDP)**으로 모델링되며, 여기서 에이전트는 데이터베이스 상태에 대한 불완전한 뷰를 가지며 목표 상태를 달성하기 위해 도구 출력과 사용자 메시지에 의존해야 합니다. 저자들은 현재의 에이전트들이 다음과 같은 문제로 어려움을 겪고 있음을 식별했습니다:

1. 멀티 홉(multi-hop) 추론을 요구하는 복잡한 상호 의존성.
2. 암시적인 하위 작업 순서(예: 데이터 변경 전 신원 확인)를 준수하지 못함.
3. 도구 검증 없이 사용자의 주장을 과도하게 신뢰함.
4. 탐색 효율성 저하 및 부적절한 가정.

방법론

본 연구는 다섯 가지 대규모 언어 모델(LLM)에 걸쳐 두 가지 검색 체계(Golden retrieval 및 Embedding-based retrieval) 하에서 구현된 세 가지 뚜렷한 정책 클래스(오케스트레이션 패러다임)를 비교합니다.

1. 베이스라인 에이전트 ($\pi_B$)

정적인 시스템 프롬프트와 대화 이력에만 조건화된 표준 스캐폴딩 없는 LLM 에이전트입니다. 명시적인 제어 흐름이나 절차적 사전 지식(prior)을 가지고 있지 않습니다.

2. 선언적 에이전트 ($\pi_D$)

시스템 프롬프트에 **자연어 기술 파일(natural-language skill files)**을 추가하여 베이스라인을 확장한 에이전트입니다. 이 파일들은 다음과 같은 절차적 사전 지식 역할을 합니다:

• 뱅킹 절차: 전제 조건, 도구 발견 요구 사항, 순서 제약 조건(예: "신용 한도 증액은 진행 중인 분쟁이 없어야 함").
• 고객 상호작용: 묘사적인 4단계 대화 구조(인사, 분류, 검증, 실행).
• 지식 발견: KB를 검색하는 전략으로, 도구 발견가 상태 변경 도구의 필수 전제 조건임을 강조함.
  LLM은 런타임 시 이 파일들을 읽고, 명시적인 상태 머신 없이도 동적으로 워크플로우, 도구 및 검증 전략을 결정합니다.

3. 명령형 에이전트 ($\pi_I$)

**결정론적 유한 상태 머신(외부화된 제어)**을 구현한 에이전트입니다. 이는 인사 $\to$ 분류 $\to$ 검증 $\to$ 계획 $\to$ 실행 $\to$ 확인의 엄격한 단계 그래프를 강제합니다.

• 제어 흐름: 단계 전환은 LLM이 아닌 코드에 의해 계산됩니다.
• 제약 조건: 각 턴마다 액션 공간이 제한됩니다 ($A_{\phi_t} \subset A$). 예를 들어, 상태를 변화시키는 도구는 성공적인 검증 플래그에 의해 게이트가 열리는 실행 단계에서만 허용됩니다.
• 메커니즘: Kahn의 알고리즘을 이용한 명시적 작업 큐(위상 정렬용), 결정론적인 에스컬레이션(Escalate) 단계로의 에스컬레이션을 포함한 도구별 재시도 정책, 그리고 엄격한 응답 유형 강제를 포함합니다.

이론적 프레임워크

저자들은 에이전트들을 Dec-POMDP 프레임워크 내에서 공식화하고 네 가지 이론적 명제를 제안합니다:

• 명제 1: 기술 파일은 절차적 역량 격차가 있는 모델에 대해 정보 우위(액션의 조건부 엔트로피 감소)를 제공합니다.
• 명제 2: 명령형 제한은 정책 클래스를 축소시키며, 성공 여부는 컴플라이언스 이득이 모델 용량의 손실을 상쇄할 수 있는지에 달려 있습니다.
• 명제 3: 명령형 에이전트는 재시도 제한을 통해 궤적 길이를 제한함으로써 비용을 줄여야 합니다.
• 명제 4: 검색 노이즈는 관측 채널을 저하시키며, 채널이 너무 노이즈가 심하면 기술 파일의 이점이 붕괴됩니다.

주요 결과

1. 오케스트레이션이 성능에 미치는 영향

• 선언적 우위: Golden Retrieval(고품질 증거) 환경에서, Declarative Agent는 다섯 가지 모델 중 네 가지에서 Baseline보다 일관되게 우수한 성능을 보였으며, 모델의 절차적 역량 격차가 클수록 이득이 커졌습니다. 이는 Pass1(작업 성공률)과 Write-Argument 정확도를 개선했습니다.
• 명령형 성능 저하: Imperative Agent는 모든 모델과 검색 설정에서 Baseline보다 낮은 성능을 보였습니다. 액션 공간의 제한이 모델의 용량을 줄였으며, 이것이 컴플라이언스 이득을 제공하기에는 충분하지 않았습니다.
• 병목으로서의 검색: Embedding Retrieval(노이즈가 있는 환경) 하에서 모든 에이전트의 성능이 급격히 떨어졌으며, 이는 기술 파일이 근본적으로 틀리거나 누락된 증거를 보완할 수 없음을 확인시켜 줍니다.

2. 컴플라이언스 및 효율성

결정론적 게이트가 안전성을 향상시킨다는 가설과 달리:

• 무단 쓰기(Unauthorized Writes): Imperative Agent는 Baseline과 비교했을 때 무단 쓰기(검증 전 쓰기) 발생률을 줄이지 못했습니다. 일부 경우(embedding retrieval), 오히려 검증 전 쓰기 발생률이 더 높았습니다.
• 취약성(Brittleness): Imperative Agent는 현저히 높은 과도한 재시도율(Baseline/Declarative보다 4~7배 높음)과 긴 궤적 길이를 보였습니다. 이는 코드 기반의 경직된 단계 전환이 취약함을 시사합니다. 즉, LLM이 단계를 잘못 분류하면 게이트를 우회하거나 무한 루프에 빠질 수 있는 반면, 적응형 LLM 기반 에이전트는 오류를 더 유연하게 처리합니다.
• 비용: Imperative Agent는 증가된 궤적 길이와 재시도 루프로 인해 예측된 비용 절감을 달ей하지 못했습니다.

의의 및 주장

본 논문은 다음과 같은 기여와 통찰을 주장합니다:

1. 효과적인 사전 지식으로서의 선언적 기술: 자연어 기술 파일은 도구를 사용하는 에이전트를 위한 효과적인 오케스트레이션 패러다임이며, 특히 기초 모델에 절차적 역량 격차가 있을 때 유용합니다. 이는 상태 머신의 취약성 없이 정확도를 높이고 오케스트레이션 오류를 줄여줍니다.
2. 명령형 오케스트레이션의 한계: 본 연구는 복잡하고 비정형적인 환경에서 결정론적 상태 머신이 컴플라이언스를 보장한다는 가정을 경험적으로 반박합니다. 코드 기반 제어의 경직성은 단계 오분류를 초래하거나 오류로부터 회복하는 능력을 저하시켜, 적응형 에이전트에 비해 안전성 이득을 제공하지 못합니다.
3. 검색의 지배력: 검색 품질은 AI 에이전트의 지배적인 병목 구간입니다. 어떤 오케스트레이션 패러다임(선언적 또는 명령형)도 관측 채널(검색된 증거)이 노이즈가 심하거나 불완전할 때 성능을 회복할 수 없습니다.
4. 엔지니어링적 시사점: 규제 대상 도메인에서 컴플라이언스 보장을 위해 결정론적 게이트에 의존하는 것은 오해의 소지가 있을 수 있습니다. 기술이 강화된 프롬프트는 검색 품질이 높다는 전제하에 에이전트의 행동을 향상시키는 유지보수가 용이하고 저비용인 방법을 제공합니다.

저자들은 선언적 오케스트레이션이 측정 가능한 정확도 향상을 제공하지만, 에이전트 시스템의 상업적 잠재력을 실현하기 위해서는 오케스트레이션과 더불어 검색 분야의 발전을 우선시해야 한다고 결론짓습니다.