기술 요약: SIMMER - LLM 실행 계획에서의 잠재적 실패 벤치마킹

문제 정의

대규모 언어 모델(LLM)은 가사 환경을 위한 자율 에이전트의 플래너로서 점점 더 많이 배치되고 있습니다. 그러나 기존의 평가 패러다임은 결정적인 사각지대를 가지고 있습니다. 바로 **잠재적 실패(latent failures)**를 탐지하지 못한다는 점입니다.

현재의 벤치마크는 일반적으로 다음 두 가지 범주에 속합니다:

1. 가상 환경 (예: TextWorld, ALFWorld, VirtualHome): 이들은 형식적인 상태 추적에 의존하지만, 오염, 온도 전파, 또는 화학적 변형과 같은 암시적 상태 변화를 모델링할 수 있는 복잡성이 부족하여 지나치게 단순화되어 있습니다. 이들은 주로 즉각적인 전제 조건 위반만을 탐지합니다.
2. 의미적 유사성 지표 (Semantic Similarity Metrics): 이들은 참조 텍스트와의 표면적 유사성을 기준으로 계획을 평가합니다. 개별 행동은 고립된 상태에서 타당해 보일 수 있으나, 나중에 나타나는 암시적 상태 의존성(예: 교차 오염)을 위반하는 오류는 탐지할 수 없습니다.

본 논문은 잠재적 실패—모든 명시적 전제 조건을 충족하지만 암시적 상태 변화를 통해 조용히 전파되는 오류—가 심각한 위험을 초래한다고 주장합니다. 특히 이러한 오류는 되돌릴 수 없는 결과(예: 되돌릴 수 없는 박테리아 오염)로 이어질 때 더욱 치명적입니다. 즉각적인 실패와 달리, 이러한 실패는 실행을 중단시키지 않으므로 "계획-실행-재계획" 루프에서는 보이지 않습니다.

방법론: SIMMER

이 간극을 메우기 위해 저자들은 상징적 세계 모델(symbolic world model)에 대한 실행을 통해 LLM 계획을 평가하도록 설계된 벤치마크인 SIMMER를 도입합니다. SIMMER는 세 가지 통합된 구성 요소로 이루어져 있습니다:

1. 상징적 세계 모델 (Symbolic World Model)

주방 도메인을 기반으로 하는 이 모델은 wikiHow와 Instructables에서 수집된 실제 요리 스크립트로부터 파생되었습니다.

• 규모: 이 모델은 77개의 행동과 262개의 고유 객체를 정의하며, 약 46,800개의 의미론적으로 현실적인 상호작용을 지원합니다.
• 구조: PDDL 패러다임을 따라, 행동은 <인자, 전제 조건, 효과>의 튜플로 정의되며, 객체는 <속성, 상태, 위치>로 정의됩니다.
• 풍부함: 약 2,100개의 상호작용을 가진 이전 환경(예: VirtualHome)과 달리, SIMMER는 "생고기"에서 "도마"로, 그리고 다시 "채소"로 "더러움(dirty)" 상태가 어떻게 전파되는지와 같은 미세한 상태 의존성을 모델링합니다.

2. 실패 분류 (Failure Taxonomy)

이 벤치마크는 계획 실패를 세 가지 유형으로 분류합니다:

• 즉각적 실패 (Immediate Failures): 실행을 차단하는 명시적 전제 조건 위반 (예: 칼을 들지 않은 채로 썰려고 시도함).
• 잠재적 실패 (Latent Failures): 전제 조건은 위반하지 않지만 나중에 목표 달성을 저해하는 오류 (예: 베이킹 파우더를 넣는 것을 잊음).
• 되돌릴 수 없는 잠재적 실패 (Irreversible Latent Failures): 잠재적 실패의 핵심 하위 집합으로, 후속 행동으로는 결과를 되돌릴 수 없는 경우 (예: 음식의 교차 오염).

3. 상태 머신 계획 실행기 (State Machine Plan Executor)

커스텀 실행기는 단계별로 계획 실행을 시뮬레이션하여 전통적인 지표로는 보이지 않는 실패를 탐지합니다.

• 1단계 (실행): 전제 조건을 확인하고 상태 전이를 적용하며, 여기에는 잠재적 상태 변화(예: 오염 확산)의 전파가 포함됩니다.
• 2단계 (실행 후 감사): 개별 단계에서 식별되지 않은 미결 해결 문제(예: 익히지 않은 음식, 켜져 있는 가전제품)를 스캔하기 위해 최종 상태를 검사합니다.

주요 기여

1. SIMMER 벤치마크: 대규모의 인간 큐레이션 상징적 세계 모델을 사용하여 LLM 계획의 잠재적 및 되돌릴 수 없는 실패를 명시적으로 평가하는 최초의 벤치마크입니다.
2. 체계적 분석: GPT-5.4와 같은 프런티어 독점 모델과 Llama 3.3과 같은 오픈 웨이트 모델을 포함한 6개의 LLM을 포괄적으로 평가하여 만연한 계획 실패를 밝혀냈습니다.
3. 완화 전략: 각 행동 전에 명시적인 상태 추론을 강제하는 프롬프팅 전략인 **역사실적 예견 시뮬레이션 (Counterfactual Foresight Simulation)**을 제안하고 평가했습니다.

실험 결과

저자들은 12가지 기법에 걸친 100개의 요리 과업에 대해 6개의 LLM을 평가했습니다.

• 높은 실패율: 가장 성능이 좋은 프런티어 모델조차 오류 없는 계획을 생성한 비율이 17% 미만이었습니다 (모든 모델의 평균은 약 7.2%).
• 잠재적 실패: 최대 **56%**의 계획에 잠재적 실패가 포함되어 있었습니다. 결정적으로, 상당 부분(계획의 20~45%)은 되돌릴 수 없는 실패를 포함하고 있었습니다.
• 실패 모드:
  • 잠재적 실패는 주로 상태 전파(오염과 같은 상태가 객체 간에 어떻게 전달되는지 추적하지 못함)와 암시적 전제 조건 무시(지침에 명시적으로 언급되지 않은 안전 필수 단계를 누락함)에 의해 발생했습니다.
  • 즉각적 실패는 체화된 접지 결핍(물건을 잡는 능력과 같은 물리적 제약을 무시함)과 상태 추적 오류가 주 원인이었습니다.
• 완화 효과:
  • Self-Refine (사후 비판 파이프라인)은 프런티어 모델의 총 실패를 40% 이상 줄였으나, 성능이 낮은 모델에게는 미미하거나 오히려 부정적인 효과를 보였습니다.
  • 역사실적 예견 시뮬레이션 (생성 중 단계별 상태 예측)이 가장 효과적이었습니다. 이는 프런티어 모델에서 잠재적 실패를 최대 72%, **되돌릴 수 없는 실패를 최대 75%**까지 줄였습니다. 이는 명시적 추론을 통해 상태 추적을 외재화하는 것이 계획의 신뢰성을 크게 향상시킨다는 것을 시사합니다.

의의 및 주장

본 논문은 현재의 평가 방식이 표면적인 정확성에 집중함으로써, 상태를 통해 조용히 전파되는 오류를 놓치고 LLM의 계획 능력을 실질적으로 과대평가하고 있다고 주장합니다.

SIMMER의 의의는 다음과 같습니다:

1. 결정적 격차 노출: 최첨단 모델조차 암시적 상태 의전성에 어려움을 겪으며, 이는 종종 되돌릴 수 없는 안전 위반으로 이어진다는 점을 입증합니다.
2. 진단 도구 제공: 즉각적, 잠재적, 되돌릴 수 없는 실패를 구분하는 구조화된 분류 체계와 실행기를 제공하여 보다 표적화된 개선을 가능하게 합니다.
3. 미래 연구 가이드 제시: 명시적 상태 추론(역사실적 예견을 통한)이, 특히 조용한 실패가 돌이킬 수 없는 해를 끼칠 수 있는 고위험 도메인에서 더 견고한 LLM 플래너를 구축하기 위한 유망한 방향임을 제안합니다.

저자들은 LLM이 잠재력을 보여주고 있지만, 조용한 실패가 돌이킬 수 없는 피해를 줄 수 있는 가사 환경과 같은 안전 중심 도메인에 배치하기 위해서는 상태 전파와 되돌릴 수 없는 결과의 전체 복잡성을 고려하는 상징적 세계 모델을 통한 엄격한 평가가 필요하다고 결론짓습니다.