Agentic LLM Planning via Step-Wise PDDL Simulation: An Empirical Characterisation

이 논문은 PDDL 시뮬레이션 엔진을 통해 LLM 이 단계별 상호작용 방식으로 계획을 수립하는 방식을 평가한 결과, 고전적 기법보다 성공률은 약간 높았으나 비용 효율성은 낮았으며, 특히 외부 검증이 부재한 PDDL 환경에서는 에이전트적 접근의 이점이 제한적임을 실증적으로 규명했습니다.

핵심

1. 배경: 로봇과 인공지능의 미로 찾기

로봇이 어떤 목표를 달성하려면 (예: "블록을 쌓아 탑을 만들어라"), 어떤 순서로 행동을 해야 할지 계획을 세워야 합니다.

• 전통적인 방법 (Fast Downward): 이건 완벽한 지도를 가진 수학 천재입니다. 미로 전체를 한눈에 보고, 가장 빠른 길을 계산해서 딱딱 정해줍니다. 빠르고 정확하지만, 계산하는 데 시간이 걸릴 수 있습니다.
• 새로운 방법 (LLM, 대형 언어 모델): 이건 책만 많이 읽은 상상력 풍부한 친구입니다. 수학 공식은 잘 모지만, 세상에 대한 지식이 많아서 "아, 이런 상황엔 보통 이렇게 하더라"라고 추측합니다.

2. 실험: 두 가지 전략의 대결

연구자들은 이 '상상력 친구 (LLM)'에게 두 가지 방식으로 미로 찾기를 시켰습니다.

A. 한 번에 다 외우기 (Direct Planning)

• 상황: 친구에게 "미로 지도를 보여줄 테니, 시작부터 끝까지 가는 길 전체를 한 번에 말해봐"라고 합니다.
• 결과: 친구가 "아, 이거 내가 본 적이 있어!"라고 외워서 답을 내놓으면 성공. 하지만 틀리면, "아, 다시 생각해 볼게"라고 처음부터 다시 시작합니다.
• 비유: 시험지 한 장을 보고 답안지를 한 번에 다 채우는 방식입니다. 틀리면 지우고 다시 씁니다.

B. 한 걸음씩 확인하기 (Agentic Planning, 이 연구의 핵심)

• 상황: 친구에게 "한 걸음만 먼저 가봐. 그다음 내가 '여기서 막혔다'거나 '이쪽으로 가'라고 알려줄게. 그걸 보고 다음 걸음을 정해"라고 합니다.
• 도구 (PyPDDLEngine): 연구자들은 친구가 한 걸음씩 움직일 수 있게 해주는 새로운 게임 도구를 만들었습니다. 이 도구는 친구가 한 행동을 실행하고, 그 결과를 바로바로 알려줍니다.
• 비유: 미로에 들어가서 한 걸음씩 걸으며, "아, 여기 벽이 있네? 그럼 뒤로 한 발 물러서 다른 길로 가자"라고 실시간으로 수정하는 방식입니다.

3. 실험 결과: 어떤 게 더 잘했을까?

연구진은 102 개의 미로 (블록 월드 문제) 를 풀게 했고, 180 초라는 시간 제한을 두었습니다.

• 수학 천재 (전통적 방법): 85% 성공. 매우 안정적입니다.
• 한 번에 외우기 (LLM 직접): 64% 성공.
• 한 걸음씩 확인하기 (LLM 에이전트): 67% 성공.

결론: "한 걸음씩 확인하기" 방식이 "한 번에 외우기"보다 조금 더 (3% 포인트) 잘했습니다. 하지만 그 대가로 비용 (토큰 사용량) 은 5.7 배나 더 들었습니다.

4. 놀라운 발견: 왜 '한 걸음씩'이 더 잘할까? (그리고 왜 더 이상하지 않을까?)

여기서 가장 재미있는 부분이 나옵니다.

① 계획의 질은 비슷했다?
두 LM 방식이 모두 성공한 경우를 비교해보니, 한 걸음씩 확인하는 방식이 더 짧은 길을 찾지 못했습니다. 오히려 전통적인 수학 천재가 "시간이 걸려도 더 짧은 길을 찾아보자"라고 노력했을 때, LLM 들은 그보다 더 짧은 길을 찾아내기도 했습니다.

• 이유: LLM 이 미로를 '생각'해서 찾은 게 아니라, 과거에 본 비슷한 미로의 답을 기억해낸 (기억력) 것일 가능성이 큽니다. 그래서 한 걸음씩 확인해도, 이미 기억해둔 답을 그대로 따라가는 것이었습니다.

② 왜 '한 걸음씩' 확인하는 게 coding(코딩) 에서는 대박인데 여기선 실패?

• 코딩 에이전트: 코드를 짜고 실행하면 "에러가 났다!"라는 명확한 신호가 옵니다. "이 줄이 틀렸어"라고 알려주니까 고치기 쉽습니다.
• 미로 찾기 (PDDL): 한 걸음 움직였을 때, "벽에 부딪혔다"는 신호는 오지만, **"지금 목표에서 얼마나 멀어졌는지", "이 길이 맞는지"**에 대한 명확한 신호는 오지 않습니다.
• 비유: 코딩은 "이제 100m 남았어, 10m 더 가면 돼"라고 알려주는 나침반이 있는 반면, 미로 찾기는 "벽에 부딪혔어"라는 소리만 들을 뿐, "너 지금 목표에서 멀어지고 있어"라는 말은 듣지 못합니다. 그래서 친구가 "아, 내가 잘못했나?"라고 스스로 판단해야 하는데, 그 판단이 틀리는 경우가 많았습니다.

5. 핵심 교훈: "스스로 판단하는 것"은 위험하다

이 연구는 우리에게 중요한 메시지를 줍니다.

"인공지능이 스스로 한 걸음씩 걸어가면서 계획을 세우려면, 단순히 '지금 상태'만 알려주는 게 아니라, '지금 목표에 가까워지고 있는가?'라는 명확한 피드백이 필요합니다."

로봇을 만들 때, 인공지능에게 "지금 어디에 있니?"라고만 묻는 게 아니라, **"지금 목표에 가까워지고 있어, 잘하고 있어!"**라고 알려주는 센서나 시스템이 함께 있어야 한다는 뜻입니다.

요약

1. 실험: 인공지능이 미로를 풀 때, 한 번에 다 외우는 게 나을까, 한 걸음씩 확인하며 가는 게 나을까?
2. 결과: 한 걸음씩 확인하는 방식이 조금 더 잘했지만, 비용은 훨씬 비쌌습니다.
3. 이유: 인공지능은 미로를 '생각'해서 푼 게 아니라, 과거에 본 답을 기억해서 푼 것 같습니다.
4. 교훈: 인공지능이 스스로 길을 찾게 하려면, "너 지금 잘하고 있어/틀렸어"라는 명확한 외부 신호가 꼭 필요합니다. 그렇지 않으면 스스로 판단하다가 길을 잃기 쉽습니다.

이 연구는 인공지능이 로봇으로 실생활에 적용될 때, 단순히 "똑똑한 두뇌"만 있는 게 아니라, **그 두뇌가 상황을 올바르게 판단할 수 있도록 도와주는 '눈'과 '귀' (피드백 시스템)**가 얼마나 중요한지를 보여줍니다.

기술 요약

이 논문은 "Agentic LLM Planning via Step-Wise PDDL Simulation: An Empirical Characterisation" (단계별 PDDL 시뮬레이션을 통한 에이전트형 LLM 계획: 실증적 특성화) 이라는 제목으로, 대규모 언어 모델 (LLM) 이 고전적 기호 계획 방법 (Classical Symbolic Methods) 과 비교하여 자율 로봇 시스템의 작업 계획 (Task Planning) 에 얼마나 유효한지, 특히 단계별 상호작용 (Step-wise Interaction) 을 통해 에이전트 방식으로 작동할 때 성능이 어떻게 변화하는지를 실증적으로 분석한 연구입니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 정의

• 문제: 자율 로봇 시스템은 초기 상태에서 목표 상태에 도달하기 위한 행동 시퀀스를 생성하는 '작업 계획' 능력이 필수적입니다. 기존에는 고전적 계획기 (Classical Planners) 가 형식적 도메인 모델을 기반으로 체계적인 기호 탐색을 통해 이를 해결했습니다.
• 가설: LLM 이 인터넷 규모의 학습 데이터를 바탕으로 추론하여 계획을 생성할 수 있는지, 그리고 에이전트 방식 (Interactive Agent) 으로 환경과 상호작용하며 한 번에 한 행동씩 실행하고 피드백을 받는 방식이 일괄 생성 (Direct Generation) 방식보다 계획 성공률을 높일 수 있는지가 불분명했습니다.
• 한계: 기존 LLM 계획 연구는 주로 텍스트 기반의 일괄 생성이나 재시도에 집중했으며, PDDL(Planning Domain Definition Language) 시뮬레이션 엔진 내에서 LLM 이 실제 상태 전이를 관찰하며 단계적으로 의사결정을 하는 체계적인 연구는 부족했습니다.

2. 방법론 (Methodology)

연구진은 PyPDDLEngine이라는 오픈소스 PDDL 시뮬레이션 엔진을 개발하고, 이를 통해 102 개의 IPC(국제 계획 대회) Blocksworld 문제를 180 초의 시간 제한 하에 네 가지 접근법으로 평가했습니다.

• PyPDDLEngine 및 MCP 인터페이스:

  • PDDL 시뮬레이션을 실행 가능한 환경으로 변환하여 LLM 이 도구 호출 (Tool Call) 을 통해 상호작용하도록 합니다.
  • 7 가지 주요 연산: 세션 초기화, 현재 상태 쿼리, 적용 가능한 행동 조회, 단일 행동 실행, 초기 상태 재설정, 행동 기록 조회, 완전한 계획 검증.
  • 모델 컨텍스트 프로토콜 (MCP) 을 사용하여 LLM 과 엔진 간의 표준화된 인터페이스를 제공합니다.

• 비교 대상 4 가지 접근법:

  1. Fast Downward (lama-first): 고전적 계획기 (탐욕적, 만족형). 단일 계획 생성.
  2. Fast Downward (seq-sat-lama-2011): 고전적 계획기 (반복적 개선, anytime). 시간 내에 계획을 단축 시도.
  3. Direct LLM Planning: Claude Haiku 4.5 모델이 전체 PDDL 설명을 한 번에 받아 완전한 행동 시퀀스를 생성. 실패 시 초기화 후 재시도 (피드백 없음).
  4. Agentic LLM Planning (PyPDDLEngine): Claude Haiku 4.5 모델이 PyPDDLEngine 과 상호작용. 한 행동씩 실행하고 결과 상태를 관찰한 후 다음 행동을 결정하거나, 비생산적인 경로일 경우 초기 상태로 재설정 (Reset) 함.

3. 주요 기여 (Key Contributions)

1. PyPDDLEngine 오픈소스 릴리스: LLM 을 계획 생성기가 아닌 상호작용형 탐색 정책 (Interactive Search Policy) 으로 위치시키는 PDDL 시뮬레이션 엔진과 MCP 인터페이스를 공개하여 재현 가능한 에이전트 계획 연구를 지원합니다.
2. 실증적 특성화 (Empirical Characterisation): 102 개의 Blocksworld 인스턴스에 대한 4 가지 접근법의 비교 평가를 통해 에이전트 방식의 이점 범위, 비용, 난이도 의존성을 정량화했습니다.

4. 실험 결과 (Results)

• 성공률 (Success Rate):
  • Fast Downward: 85.3% (102 개 중 87 개 성공).
  • Direct LLM: 63.7% (65 개 성공).
  • Agentic LLM: 66.7% (68 개 성공).
  • 결과: 에이전트 방식이 직접 생성 방식보다 3% 포인트 더 높은 성공률을 보였으나, 그 차이는 미미했습니다.
• 비용 (Token Cost):
  • 에이전트 방식은 성공당 토큰 비용이 직접 생성 방식보다 5.7 배 더 높았습니다 (약 254,796 토큰 vs 44,705 토큰).
• 계획 품질 (Plan Length):
  • 네 가지 방법 모두 해결한 49 개의 공통 인스턴스 (Co-solved) 에서, LLM 두 방식 모두 고전적 계획기 중 계획 품질을 개선하는 seq-sat-lama-2011 보다 더 짧은 계획을 생성했습니다.
  • 이는 LLM 이 반복적 개선 없이도 학습 데이터에서 최적 패턴을 회상 (Recall) 했음을 시사합니다.
• 실패 모드:
  • 에이전트 방식은 6 건의 '조기 종료 (Early Exit)'를 보였는데, 이는 모델이 문제를 해결 불가능하다고 잘못 판단하여 예산이 소진되기 전에 중단한 경우였습니다. 이 중 4 건은 직접 생성 방식이 성공한 사례로, 에이전트의 자기 평가가 부정확함을 보여줍니다.

5. 논의 및 의의 (Discussion & Significance)

• 피드백의 본질적 차이:
  • 소프트웨어 엔지니어링 에이전트: 컴파일러 오류나 테스트 실패와 같이 외부적으로 근거된 (Externally Grounded) 명확한 피드백을 받아 큰 성능 향상을 보입니다.
  • PDDL 단계별 에이전트: 상태 전이 피드백은 모델이 스스로 평가해야 하는 자기 생성적 (Self-assessed) 정보입니다. 목표까지의 거리나 경로의 생산성을 외부에서 검증해 주지 않기 때문에, 에이전트가 실수를 수정하거나 방향을 잡는 데 한계가 있습니다.
• 메모리 vs 추론:
  • LLM 이 Blocksworld 에서 고전적 계획기보다 짧은 계획을 생성하는 것은 진정한 추론 능력 때문이 아니라, 학습 데이터에 포함된 해결 패턴의 회상 (Training-data Recall) 일 가능성이 높습니다. (행동 이름이 변경되면 성능이 급락한다는 기존 연구 결과와 일치함).
• 로봇 공학적 시사점:
  • 자율 로봇 시스템에서 LLM 을 두뇌로 사용할 때, 단순히 단계별 상호작용만으로는 부족합니다. 목표 달성 여부를 판단할 수 있는 외부적으로 근거된 피드백 (감지 및 상태 추정 신호) 이 필수적입니다. LLM 의 세계 지식만으로는 진행 상황을 올바르게 평가할 수 없습니다.

결론

이 연구는 에이전트형 LLM 이 PDDL 환경에서 단계별 상호작용을 통해 계획 성능을 일부 향상시킬 수 있음을 보였지만, 그 이득은 미미하고 비용이 매우 높음을 입증했습니다. 특히, 외부 검증이 없는 자기 평가 피드백은 에이전트의 성능 향상을 제한하는 핵심 요인이며, LLM 의 계획 능력은 새로운 문제를 추론하는 것보다 익숙한 문제 공간에서 패턴을 회상하는 데 더 의존하고 있을 가능성이 높음을 시사합니다. 이는 로봇 공학 분야에서 LLM 기반 에이전트를 설계할 때 정확한 상태 피드백 메커니즘의 중요성을 강조합니다.