기술 요약: 도구가 실패할 때: LLM 에이전트의 동적 재계획 및 이상 복구 벤치마킹

1. 문제 정의

현재의 도구 통합 추론(Tool-Integrated Reasoning, TIR)을 위한 대규모 언어 모델(LLM) 벤치마크는 주로 "해피 패스(happy path)" 조건 하에서 에이전트를 평가하며, 이는 도구 환경이 완벽하게 안정적이고 진실하다는 것을 암묵적으로 가정합니다. 이는 실제 현실 세계의 도구 실행이 복잡하고 실패 가능성이 높은 의존성 그래프를 포함한다는 사실을 간과합니다. 에이전트는 흔히 두 가지 유형의 실패에 직면합니다:

• 명시적 실패(Explicit Failures): 실행을 명확히 차단하는 기계 판독 가능한 예외 상황 (예: HTTP 404, 429, 타임아웃).
• 암묵적 실패(Implicit Failures): 구조적으로는 유효하지만 의미론적으로 손상된 응답 (예: 지연된 업데이트로 인한 음수 재고 수량)으로, 이를 식별하기 위해 자율적인 이상 탐지가 필요함.

기존의 평가 방식은 체계적인 재계획과 맹목적인 시행착오를 구분하지 못하며, 무작위로 섭동(perturbation)을 도입할 뿐 사전에 지정된 노드에서 발생시키지 못합니다. 결과적으로, 에이절트가 장애물에 부딪혔을 때 이상을 탐지하고, 백트래킹(backtrack)하며, 동적으로 재계획하는 능력을 측정할 엄격한 메트릭이 부족한 실정입니다.

2. 방법론: TOOLMAZE 프레임워크

저자들은 평가의 초점을 정적인 단일 궤적 실행에서 동적인 상태 공간 탐색으로 전환하기 위해 설계된 벤치마크인 TOOLMAZE를 소개합니다. 이 프레임워크는 **위상적 복잡도(Topological Complexity, C)**와 **섭동 모드(Perturbation Mode, P)**라는 두 개의 직교하는 축으로 정의된 2차원 평가 그리드 위에 구축되었습니다.

2.1 도구 코퍼스 및 태스크 생성

• 코퍼스: 금융, 여행, 사무, 쇼핑, IoT, 일반의 6개 도메인에 걸친 270개의 큐레이션된 도구 세트로, 각각 소스(Source), 프로세서(Processor), 액션(Action) 도구로 분류됩니다.
• DAG 기반 구축: 태스크는 도구 호출을 나타내는 노드와 데이터 흐름 의존성을 나타내는 엣지로 구성된 유향 비순환 그래프(Directed Acyclic Graph, DAG)로 생성됩니다. 이는 의미론적 일관성을 보장하며, 유효한 복구 경로의 완전한 열거(ground truth)를 가능하게 합니다.
• 자연어화(Naturalization): DAG는 2단계 파이프라인을 통해 문맥이 풍부한 자연어 쿼리로 변환되며, 생성된 쿼리가 기저의 도구 의존성과 엄격하게 일치하도록 역검증 과정을 거칩니다.

2.2 C × P 평가 매트릭스

• 축 1: 위상적 복잡도 (C): 태스크는 증가하는 네 단계의 복잡도로 구조화됩니다:
  • C1 (선형): 단일 경로, 대안 없음.
  • C2 (1-to-N): 단일 단계 교체가 필요한 기능적으로 동등한 대체재 도입.
  • C3 (Many-to-Many): 상호 작용하는 서브 그래프 전반에 걸쳐 조합 가능한 유효 복구 경로 생성.
  • C4 (통합 다중 분기): 여러 C2 및 C3 패턴을 결합하여, 여러 분기 노드에 대한 추론을 요구함.
• 축 2: 섭동 모드 (P): 오류 발현 방식(명시적 vs 암묵적)과 시간적 지속성(일시적 vs 영구적)을 교차시킨 2 × 2 분류 체계입니다:
  • P1: 명시적-일시적 (예: 일시적인 타임아웃).
  • P2: 명시적-영구적 (예: 도구 삭제).
  • P3: 암묵적-일시적 (예: 일시적인 의미론적 손상).
  • P4: 암묵적-영구적 (예: 지속적인 의미론적 손상).
• 섭동 엔진: 런타임 엔진이 특정 도구 노드에 결정론적이고 사전에 지정된 합성 응답(오류 또는 손상된 데이터)을 주입합니다. 이를 통해 모든 평가 모델에 대해 동일한 결함 조건을 보장합니다.

2.3 평가 메트릭

표준 태스크 성공률(TSR)을 넘어, TOOLMAZE는 복구 능력을 격리하기 위한 메트릭을 도입합니다:

• 섭동 복구율 (Perturbation Recovery Rate, PRR): 직면한 섭동을 해결(재시도, 대안 경로 탐색 또는 우아한 중단 등을 통해)할 조건부 확률.
• 복구 비용 (Recovery Cost, RC): 복구 과정에서의 비효율성을 정량화하는 페널티 메트릭으로, 이론적 최소치 대비 불필요한 도구 호출 횟수를 측정합니다.

3. 주요 기여

1. 새로운 2차원 벤치마크: TOOLMAZE는 DAG 복잡도와 섭동 모드라는 직교하는 축을 사용하여 동적 경로 발견 및 오류 복구를 체계적으로 평가하는 최초의 벤치마크입니다.
2. 고품질, 확장 가능한 합성 패러다임: 저자들은 쿼리 자연화 이전에 DAG 토폴로지를 먼저 구축하는 데이터 합성 파이프라인을 설계했습니다. 이는 의미론적 일관성을 보장하고 그라운드 트루스 복구 경로의 완전한 열거를 가능하게 합니다.
3. 포괄적인 경험적 분석: 최첨단 오픈 웨이트 및 독점 모델에 대한 실험을 통해, 에이전트의 강건성(robustness)에 대한 세밀한 분석을 제공하며 특정 실패 모드와 스케일링 동작을 밝혀냅니다.

4. 실험 결과

평가는 (GPT-5.5, Claude-Sonnet-4-6, Gemini-3.1-Pro-Preview, Qwen 시리즈, GLM-5.1 등의 모델을 대상으로 표준 및 실패 인지 프롬프트 하에서 수행되었습니다.

• 성능 저하: 거의 모든 모델이 섭동이 없는 베이스라인에서 섭동 모드로 전환될 때 상당한 성능 저하를 보였습니다. 높은 베이스라인 성공률을 가진 프런티어 모델들조차 섭동 하에서는 TSR, PRR의 급격한 하락과 RC의 증가를 경험했습니다.
• 암묵적 vs 명시적: 가장 가파른 성능 저하는 암묵적 의미론적 실패(P3/P4)에서 발생했습니다. 모델들은 심각한 "신뢰 격차(trust gap)"를 보였으며, 암묵적 시나리오에서의 섭동 복구율(PRR)이 명시적 시나리오에 비해 약 37% 급감했습니다. 이는 손상된 출력에 대한 체계적인 과잉 신뢰를 나타냅니다.
• 복잡도 영향: 복잡도가 C2(대안이 존재하는 경우)일 때 회복력이 가장 높았으나, 복잡도가 C3 및 C4로 확장됨에 따라 악화되었습니다. 에이전트들은 긴 의존성 체인과 조합적으로 확장된 탐색 공간에서 어려움을 겪었으며, 종종 헛된 시행착오 루프에 갇히는 모습을 보였습니다.
• 스케일링 격차: 중요한 발견은 에이전트의 결함 허용 능력(fault-tolerance)이 기본 태스크 실행 능력보다 3.66배 느린 속도로 모델 규모에 따라 개선된다는 점입니다. 태스크 성공률(TSR)은 파라미터 수에 따라 크게 성장하는 반면, 섭동 복구율(PR로 PRR)은 미미한 이득만을 보여, 동적 재계획이 단순한 스케일링만으로는 자연스럽게 해결되지 않는 별개의 능력임을 시사합니다.
• 프롬프팅의 한계: 실패 인지 프롬프트(잠재적 실패를 명시적으로 경고)가 성능을 향상시키기는 했으나, 그 효과는 부분적이었습니다. 모델들은 명시적인 가이드가 있음에도 불구하고 여전히 견고한 동적 재계획 능력이 부족했습니다.

5. 의의 및 주장

본 논문은 해당 분야의 만연한 "해피 패스" 평가 오류를 지적합니다. 이 연구의 주요 의의는 강건성이 일반적인 지시 이행 능력이나 모델 스케일링으로부터 자연스럽게 발현되지 않는다는 점을 입증한 데 있습니다.

저자들은 현재의 LLM 에이전트들이 내재적인 이상 인지 능력이 부족하며, 동적 재계획은 단순히 더 큰 모델이나 피상적인 프롬프팅이 아닌, 타겟팅된 학습 신호를 필요로 하는 별개의 근본적인 능력이라고 주장합니다. 이 벤치마크는 진정으로 회복 탄력적인 에이전트를 구축하기 위해, 선형적 실행에서 벗어나 의도적인 "System 2 스타일"의 자율적 이상 탐지 및 재계획으로 평가 패러다임을 전환해야 할 시급함을 강조합니다.

본 연구는 수학적 그라운드 트루스를 보장하기 위해 제어된 절차적 생성 DAG 토폴로지에 국한되어 있으며, 향-후 연구에서 이러한 원칙을 더 구조화되지 않은 개방형 도메인 워크플로우로 확장할 수 있음을 인정합니다.