기술 요약: LedgerAgent: 정책 준수 도구 호출 에이전트를 위한 구조화된 상태 관리

문제 정의

고객 서비스 도메인에서 언어 에이전트는 사용자 상호작용, 기록 검색 및 도구 실행을 수행하는 동안 여러 턴에 걸쳐 작업 상태를 유지해야 합니다. 이러한 에이전트는 현재 상태에 따라 달라지는 엄격한 도메인 정책(예: 환불 자격, 취소 가능 시간)을 준수해야 합니다.

표준 도구 호출 에이전트는 관찰 결과, 도구 반환값, 정책 지침이 점진적으로 늘어나는 대화 트랜스크립트 내에 인터리빙(interleaved)되는 프롬프트 전용 설계에 의존합니다. 이 설계는 두 가지 주요 실패 모드를 생성합니다:

1. 암시적 상태 접지(Implicit State Grounding): 에이전트는 행동을 결정할 때마다 원시 트랜스크립트로부터 관련 사실을 재구성해야 합니다. 이는 에이지가 이전에 올바른 기록을 검색했더라도, 오래되거나 누락되었거나 잘못 재구성된 정보에 기반하여 결정을 내리게 만드는 원인이 됩니다.
2. 정책 경계 위반(Policy Boundary-Violations): 에이전트는 도메인 정책을 위반하는 구문적으로 유효한 도구 호출을 생성할 수 있습니다. 이는 정책 체크가 현재 상태와 분리되지 않았기 때문에 발생합니다. 예를 들어, 에이전트가 예약 날짜와 현재 날짜를 히스토리에서 교차 참조하는 데 실패하여 허용된 시간 범위를 벗어난 예약을 취소하려고 시도할 수 있습니다.

기존 솔루션은 모델 자체를 개선하거나(파인튜닝 또는 강화 학습), 추론 시 스캐폴딩(계획/성찰)을 추가하는 데 집중합니다. 그러나 이러한 접근 방식은 대부분 프롬프트 내의 암시적인 상태 표현 방식을 그대로 유지하므로, 에이전트가 비구조화된 트랜스크립트로부터 상태를 복구하도록 남겨둡니다.

방법론: LedgerAgent

저자들은 상태 관리를 원시 프롬프트 히스토리로부터 분리하는 추론 시점 방법론인 LedgerAgent를 소개합니다. 이는 모델 가중치를 수정하거나 상태 구축을 위해 추가적인 LLM 호출을 요구하지 않는 두 가지 결정론적 구성 요소를 도입합니다.

1. 스키마 고정형 레저 (Schema-Anchored Ledger)

에이전트는 관찰된 작업 상태를 저장하는 별도의 타입 지정 딕셔너리(레저)를 유지합니다.

• 메커니즘: 읽기 도구(read-tool)가 성공적으로 반환되면, 반환값은 사전 정의된 도메인 특화 도구 경로 맵(예: orders.1234, reservations.UX789)을 기반으로 파싱되어 레저에 투영됩니다.
• 특성: 레저는 관찰된 사실, 식별자 및 조건의 압축된 타입 지정 표현입니다. 이는 요약이나 장기 기억이 아니라, 에이전트에 의해 관찰된 외부 시스템 상태의 구조화된 뷰입니다.
• 업데이트 규칙: 레저는 성공적인 읽기 도구 반환으로부터만 업데이트됩니다. 쓰기 도구(write-tool)의 반환은 레저를 업데이트하지 않습니다. 에이전트는 새로운 상태를 관찰하기 위해 후속 읽기 호출을 발행해야 하며, 이를 통해 레저가 외부 시스템에 근거하도록 보장합니다.
• 통합: 각 모델 생성 전에 전체 레저가 결정론적으로 렌더링되어 프롬프트에 주입됩니다. 이를 통해 모델은 트랜스크립트 히스토리를 검색하는 대신 안정적인 경로를 통해 현재 상태를 조회할 수 있습니다.

2. 정책 게이트 (Policy Gate)

정책 게이트는 환경을 변경하는 도구 호출(예: 환불, 취소, 업데이트)이 실행되기 직전에 작동합니다.

• 기능: 게이트는 현재 레저 필드에 대해 정의된 실행 가능한 술어($\Pi$)를 기준으로 제안된 도구 호출을 평가합니다.
• 결과:
  • 허용(ALLOW): 호출이 레저 및 정책과 일치하면 변경 없이 진행됩니다.
  • 수정(REVISE): 호출이 정책을 위반하는 경우(예: 증거 부족). 호출이 제거되고, 모델은 위반된 술어를 식별하는 피드백을 받습니다.
  • 차단(BLOCK): 호출이 명시적으로 금지된 경우(예: 정책 위반 행동 시도). 동작이 거부되며, 에이전트는 환경을 변경할 수 없도록 차단됩니다.
• 구현: 정책은 프롬프트 내의 자연어 추론에 의존하는 것이 아니라, 레저 필드에 대한 코드 술어(예: 비행 날짜가 현재 시간으로부터 24시간 이내인지 확인)로 인코딩됩니다.

에이전트 루프

이 방법은 표준 에이전트 루프를 래핑합니다. 도구 반환값을 레저에 흡수하고, 레저를 렌더링하여 프롬프트에 주입하며, 응답을 생성하고, 환경 변경 호출을 정책 게이트를 통해 필터링합니다. 결정적으로, 이는 프로세스에 추가적인 LLM 호출을 전혀 더하지 않습니다. 오버헤드는 결정론적인 문자열 포매팅 및 술어 평가로 제한됩니다.

주요 기여

1. 상태 접지를 실패 모드로 식별: 본 논문은 에이전트가 기록을 검색하지 못해서가 아니라, 상태가 프롬프트 내에 암시적으로 남아 있을 때 오래되거나 잘못 재구성된 상태에 따라 행동하기 때문에 실패한다는 점을 식서합니다.
2. LedgerAgent 프레임워크: 상태 표현(타입 지정 레저를 통한)과 작업 실행(정책 게이트를 통한)을 분리하여, 환경 변화 전 관찰된 증거를 바탕으로 상태 의존적 정책을 체크하는 새로운 추론 시점 방법을 제시합니다.
3. 경험적 검증: 모델 가중치를 변경하지 않고도 다양한 고객 서비스 도메인에서 일관성 중심 메트릭($pass^k$)을 개선함을 입증했습니다.

실험 결과

저자들은 네 가지 도메인(항공, 리테일, 통신, 텔레헬스)에 대해 오픈 및 클로즈 웨이트 모델(GPT-4.1, GPT-5.2, Kimi K2.5, GLM-5, MiniMax M2.5, Qwen3 포함)을 사용하여 LedgerAgent를 평가했습니다.

• 성능 향상: LedgerAgent는 표준 함수 호출 베이스라인보다 평균 $pass^1$ 및 $pass^4$ 점수를 일관되게 개선했습니다.
  • 비-GPT 백본(예: Kimi-K2.5)의 경우, 평균 $pass^1$은 3.4포인트, $pass^4$는 5.6포인트 향상되었습니다.
  • GPT 백본의 경우 개선이 더욱 두드러졌으며, 평균 $pass^1$ 이득은 GPT-4.1에서 12.2, GPT-5.2에서 15.5포인트였습니다.
• 일관성: 가장 큰 이득은 $pass^4$(4회의 독립적인 시행 간 일관성)에서 관찰되었으며, 이는 LedgerAgent가 에이전트 행동의 분산을 크게 줄임을 나타냅니다.
• 환경 변경 작업: 이 방법은 특히 쓰기 작업(예: 취소, 환불)이 필요한 작업에서 강점을 보였으며, 여기서 정책 위반을 방지하는 것이 매우 중요합니다. 통신 도메인(이중 제어 설정)에서 LedgerAgent는 행동 수준의 신뢰성을 실질적으로 높였습니다.
• 효율성: 헬퍼 에이전트를 사용하고 50% 이상의 토큰 오버헤드를 유발하는 IRMA와 같은 컨텍스트 엔지니어링 방법과 달리, LedgerAgent는 추가적인 LLM 호출을 하지 않으므로 베이스라인 대비 0.0%의 토큰 오버헤드로 더 높은 성능을 달성했습니다.

오류 분석

LedgerAgent의 실패 궤적 분석 결과, 남은 오류는 주로 다음과 같습니다:

• 필수 작업 누락 (70.3%): 에이전트가 초기 조회를 완료하지만, 이후 필요한 단계(예: 유효한 부분 이행을 시도하는 대신 인간 지원팀으로 조기 전환)를 실행하지 못함.
• 잘못된 작업 인자 (20.4%): 특히 텔레헬스와 같이 복잡한 스키마를 가진 도메인에서 인자를 추출하거나 포맷팅할 때 발생하는 오류.
• 도메인 특수성: 실패 양상은 도메인마다 다릅니다(예: 통신 실패는 거의 전적으로 누락된 작업이며, 텔레헬스는 더 높은 인자 오류율을 보임). 이는 LedgerAgent가 상태 접지는 해결하지만, 도메인 특화 계획 및 스키마 인지 능력은 여전히 과제로 남아 있음을 시사합니다.

의의 및 주장

본 논문은 LedgerAgent가 도구 호출 에이전트의 근본적인 아키텍처적 격차, 즉 성장하는 프롬프트 내의 암시적 상태에 대한 의존성을 해결한다고 주장합니다. 이 방법은:

• 실패 경계를 사후 교정(오류 발생 후 수정)에서 예방(정책 위반 전 차단)으로 전환합니다.
• 모델의 추론 능력을 보완하면서 모델 재학습이나 복잡한 멀티 에이전트 오케스트레이션 없이도 정책 준수를 위한 시스템 수준의 메커니즘을 제공합니다.
• 동적인 정책 제약 환경에서 신뢰할 수 있는 도구 사용을 위해 상태 표현이 모델 역량만큼 중요하다는 것을 입증합니다.

저자들은 LedgerAgent가 계획이나 견고한 인자 구축의 필요성을 대체하는 것은 아니지만, 오래되거나 근거가 없는 상태에 기반해 행동하는 주요 불확실성 요인을 효과적으로 제거한다고 결론짓습니다. 이 접근 방식은 상태를 스키마에 매핑할 수 있고 정책을 실행 가능한 술어로 인코딩할 수 있는 구조화된 도구 사용 도메인에서 가장 효과적입니다.