기술 요약: STOCKTAKE – LLM 에이전트의 인식과 행동 사이의 간극 측정

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 공급망 관리와 같이 시간이 흐름에 따라 노이azy한 관측으로부터 숨겨진 상태(예: 수요 변화, 공급업체 실패)를 추론해야 하는 장기 의사결정 과제에서 점점 더 많이 평가되고 있습니다. 현재 평가 방식의 결정적인 한계는 두 가지 뚜렷한 실패 모드를 구분하지 못한다는 점입니다:

1. 인식 실패 (Perception Failure): 에이전트가 숨겨진 상태를 올바르게 추론하지 못함 (상태 추정 오류).
2. 행동 실패 (Action Failure): 에이전트가 상태를 올바르게 추론했으나 적절하게 행동하지 못함 (제어 오류), 이는 "아는 것과 행하는 것 사이의 간극(knowing-doing gap)"이라 알려진 현상입니다.

기존 벤치마크는 종종 에이전트가 가질 수 없는 특권 정보(실제 참값)를 보유한 참조 정책(오라클)에 의존합니다. 이러한 혼재는 특정 실패 모드에 대한 비용을 귀속시키는 것을 불가능하게 만듭니다. 즉, 성과 저하가 에이전트가 진실을 알지 못해서인지, 혹은 알면서도 행동하지 못해서인지 구분할 수 없습니다. 또한, 많은 벤치마크는 에이전트의 명시된 믿음과 그에 따른 행동을 함께 등급 매기는 메커니즘이 부족합니다.

2. 방법론: STOCKTAKE 벤치마크

저자들은 이러한 실패 모드를 분리하여 측정하기 위해 설계된 26주간의 공급망 보충(replenishment) 벤치마크인 STOCKTAKE를 소개합니다.

2.1 환경 설계

• 과업: 에이전트는 노이즈가 섞인 대시보드의 증상들을 바탕으로 매주 주문 결정을 내리는 전자제품 수입업자의 보충 관리자 역할을 수행합니다.
• 숨겨진 상태 (요인화된 POMDP): 이 환경은 수요 체제, 공급업체 건전성, 화물 시장, 항만 혼잡도, 배치 품질, 운하 상태라는 6개의 독립적인 숨겨진 요인 프로세스를 가진 부분 관측 마르코프 결정 과정(POMDP)입니다.
• 관측: 에이전트는 노이즈가 섞인 주간 증상(예: 선석 대기 시간, 결함 보고서)을 받지만, 숨겨진 상태를 직접적으로는 보지 못합니다.
• 행동 독립성: 결정적으로, 숨겨진 상태의 역학은 행동과 독립적입니다. "이벤트 테이프"(숨겨진 상태 변화와 노이즈의 시퀀스)는 에이전트가 행동하기 전에 고정된 시드로 생성됩니다. 이를 통해 어떤 정책을 실행하더라도 동일한 충격에 직면하게 되어 공정한 비교가 가능해집니다.
• 스트레스 프로필: 벤치마크는 세 가지 스트레스 프로필로 분류된 50개의 큐레이션된 시드를 사용합니다:
  • ISOLATED (고립형): 짧고 중첩되지 않는 단일 요인 충격.
  • PERSISTENT (지속형): 다주간 중첩되는 현상 (예: 항만 혼잡과 수요 증가가 동시에 발생).
  • COMPOUND (복합형): 세 개 이상의 요인 에피소드가 동시에 발생하는 누적 상황.

2.2 공정한 오라클 (The Fair Oracle)

인식과 행동을 분리하기 위해, STOCKTAKE은 **공정한 베이즈 오라클(Fair Bayes Oracle)**을 채택합니다:

• 조건화: 특권 정보를 가진 오라클과 달리, 이 참조 정책은 LLM 에이전트가 받는 것과 동일한 관측 스트림에 조건화됩니다. 이 오라클은 숨겨진 상태를 절대 보지 못합니다.
• 메커니즘: 각 6개 요인에 대해 정확한 베이즈 필터(Bayes filter)를 사용하여 숨겨진 상태에 대한 사후 믿음을 유지합니다. 그 후 미래를 샘플링하고 비용을 최소화하는 행동을 선택함으로써 롤아웃 정책을 구동합니다.
• 비대칭성: 공개된 유일한 비대칭성은 오라클이 실제 생성 파라미터(전이 확률, 체제 평균)를 사용한다는 점입니다. LLM 에이전트는 질적인 설명만을 받습니다. 따라서 오라클은 전지전능한 것이 아니라, 실제 모델을 기반으로 한 베이즈 최적 정책을 나타냅니다.

2.3 지표

이 벤치마크는 상태 추정과 제어를 분리하기 위한 일련의 지표를 도입합니다:

1. 기술 점수 (Skill Score): 0에서 1 사이(그리고 그 이상도 가능)의 정규화된 점수입니다.
   • 0 (바닥/Floor): 모든 증상을 무시하는 증상 불감형 기본 재고 정책(base-stock policy).
   • 1 (오라클): 공정한 베이즈 오라클의 평균 비용.
   • 해석: 점수가 0보다 크면 에이전트가 증상을 무시하는 것보다 개선되었음을 의미하며, 0보다 작으면 무작위 규칙보다 성능이 떨어졌음을 의미합니다.
2. 탐지 지연 (Detection Lag): 숨겨진 스트레스 체제가 시작된 시점부터 에이전트가 작성한 근거(rationale)에서 해당 요인을 처음 언급할 때까지의 주(week) 수입니다.
3. 아는-행하는 비율 (Knowing-Doing Rate): 에이전트가 스트레스 요인을 올바르게 진단한 주에 품절(stockout)이 발생할 확률입니다. 이는 올바른 믿음을 바탕으로 행동하는 데 실패하는 정도를 측정합니다.

2.4 실험 설정

• 모델: Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro, Grok 4.5.
• 프로토콜: 각 모델은 전략 플레이북이나 예시 없이 "규칙 전용" 프롬프트 하에서 50개 시드 전체(총 200개 에피소드)를 실행합니다.
• 믿음 등급 산정: 보조 LLM이 에이전트의 주간 서술형 근거를 채점하여 특정 요인이 올바르게 식별되었는지 판단합니다.

3. 주요 결과

4개의 프런티어 모델에 대한 200개 에피소드 평가 결과, 몇 가지 반직관적인 발견이 도출되었습니다:

3.1 균일한 인식, 갈라지는 행동

• 상태 추정: 네 모델 모두 거의 동일한 상태 추정 능력을 보여주었습니다. 이들은 숨겨진 스트레스 에피소드의 8488%를 탐지했으며, 일반적으로 발생 후 0.320.42주 이내에 탐지했습니다.
• 제어 실패: 탐지 능력은 균일했음에도 불구하고, 기술 점수는 0.62(GPT-5.4)에서 -0.23(DeepSeek-V4-Pro)까지 극명하게 갈렸습니다.
• 바닥의 역설 (The Floor Paradox): 두 모델(DeepSeek-V4-Pro, Grok 4.5)은 음수의 기술 점수로 종료되었습니다. 약 절반의 시드에서, 증상을 무시하는 기본 재고 규칙이 이들의 (대체로 정확한) 진단에 근거해 행동하는 것보다 더 저렴한 비용을 기록했습니다.

3.2 두 가지 양상의 간극

논문은 "아는-행하는 간극"이 두 가지 상반된 방향으로 나타남을 확인했습니다:

1. 과소 대응 (품절): 올바른 진단을 내렸음에도 불구하고, 모델들은 품절을 방지하지 못합니다. PERSISTENT 시드에서, 올바르게 진단된 스트레스 주간 중 34~43%가 여전히 품절로 끝났습니다.
2. 과잉 대응 (과도한 비용): 모델들이 올바른 진단에 따라 행동하되 과도한 비용을 발생시킬 수 있습니다. 음의 기술 점수를 기록한 모델들(DeepSeek, Grok)은 진단된 주간의 품절률은 가장 낮았으나, 총 비용은 가장 높았습니다. 이들은 증상의 가치를 초과하는 방식으로 보호 조치(예: 화물 운임 고정, 항공 급송)에 "과다 투여"했습니다.

3.3 스트레스 프로필 민감도

• GPT-5.4는 COMPOUND 스트레스(Skill 0.86)에서 최고의 성능을 보였으나, ISOLATED 스트레스에서는 고전했습니다.
• Claude Sonnet 5는 PERSISTENT 스트레스(Skill 0.70)에서 가장 우수했으나, COMPOUND에서 가장 취약했습니다.
• 전반적으로 가장 낮은 성과를 보인 모델들(DeepSeek, Grok)은 탐지 지연 시간이 가장 짧았으며, 이는 실패의 원인이 보는 데 있는 것이 아니라 그 시각으로부터 도출된 정책에 있음을 확인시켜 줍니다.

4. 기여

1. 공정한 오라클 벤치마크: 에이전트의 정확한 관측 스트림에 조건화된 계산 가능한 공정 베이즈 필터 오라클을 갖춘 6요인 공급망 POMDP를 도입했습니다. 이를 통해 비용을 "모르는 단계"가 아닌 "행동하는 단계"에 구체적으로 귀속시킬 수 있습니다.
2. 통제된 스트레스 축: 세계 모델을 일정하게 유지하면서 독립 변수로 작동하는 고정된 숨겨진 스트레스 프로필(ISOLATED, PERSISTENT, COMPOUND)을 생성하는 방법론을 제시합니다.
3. 분리된 지표: 상태 추정(탐지 지연)과 제어(기술 점수, 아는-행하는 비율)를 별도로 측정하는 프레임워크를 제공하여, 현재의 프런티어 에이전트들이 주로 인식이 아닌 제어에서 실패함을 밝혀냈습니다.

5. 의의 및 주장

본 논문은 STOCKTAKE가 LLм 에이전트의 장기 과제 수행 능력 저하가 상태 추정(추론)이 아닌 **제어(정책 도출)**에 집중되어 있다는 엄밀한 첫 번째 증거를 제공한다고 주장합니다.

• 병목 구간: 현재 에이전트의 주요 병목 지점은 올바른 진술된 믿음과 그에 따른 비용이 발생하는 행동 사이의 간극에 있습니다.
• 기존 평가의 한ator: 특권 정보를 가진 오라클을 사용하는 벤치마크는 "모르는 것"과 "알면서도 행동하지 않는 것"을 혼동하여, 에이전트 실패의 구체적인 성격을 가린다고 저자들은 주장합니다.
• 제한된 범위: 저자들은 이 벤치마크가 단일 도메인(수입 보충), 단일 SKU, 4개의 모델만을 다루고 있음을 인정합니다. 이 결과가 모든 에이전트 과제에 일반화될 수는 없으나, 부분 관측 하의 순차적 의사결정에서의 특정 실패 모드를 강조한다는 점을 명시합니다.
• 향후 방향: 논문은 이러한 에이전트를 개선하기 위해서는 다른 개입이 필요하다고 제안합니다. 추론 스캐폴딩(inference scaffolding)을 강화하는 것은 해결책이 아닙니다(이미 인지 능력은 강력하기 때문). 대신, 더 나은 정책 도출(policy elicitation)과 비용 민감형 행동 선택에 집중해야 합니다.

결론적으로, 본 논문은 에이전트들이 숨겨진 세계를 "보는" 능력은 점차 향상되고 있으나, 그 비전을 바탕으로 무엇을 "할" 것인가에 대해서는 여전히 일관성이 없으며, 과소 대응(품절 유발)과 과잉 대응(과도한 비용 발생) 사이를 오가는 양상을 보인다고 지적합니다.