기술 요약: PlanGPT에 관한 보완 연구

문제 정의

인공지능의 하위 분야인 자동 계획 수립(Automated Planning)은 일반적으로 PDDL(Planning Domain Definition Language)을 사용하여 정형화되는 초기 상태에서 목표 상태로 전이하기 위한 일련의 행동(계획)을 생성하는 과정을 포함한다. 전통적인 플래너들이 오랫동안 표준 역할을 해왔으나, 최근 연구에서는 이 작업을 위해 대규모 언어 모델(LLM)을 사용하는 방안을 탐구해 왔다. PlanGPT는 GPT-2에서 영감을 받아 처음부터 구축된 최첨단 LLM 기반 플래너로, 특정 도메인의 계획 문제를 해결하기 위한 일반적인 정책을 학습할 수 있도록 제안되었다.

그러나 기존의 PlanGPT 논문은 그 평가 과정에서 한계를 드러냈다. 해당 논문은 주로 '계획 커버리지'(유효한 계획을 생성하는 비율)에만 집중했을 뿐, 계획 비용(솔루션 품질)이나 계획 생성 시간과 같은 포괄적인 성능 지표를 제공하지 않았다. 또한, 사용된 구체적인 국제 계획 경진대회(IPC) 벤치마크 문제들이 명시적으로 상세히 기술되지 않았으며, 비교 대상이 전통적인 최적 플래너가 아닌 다른 LLM 및 그래프 신경망(GNN)으로 제한되었다. 본 연구는 상당한 계산 자원이 요구되는 상황에서 LLM을 이용한 계획 수립이 과연 적절하고 가치가 있는지를 규명하기 위해, 전통적인 계획 전략들과의 엄격하고 보완적인 평가를 수행함으로써 이 질문에 답하고자 한다.

방법론

저자들은 BlocksWorld, Depot, Driverlog, Logistics, Satellite, Zenotravel, Floortile(Visitall은 제외)의 7개 도메인에 걸친 IPC 벤치마크 문제를 사용하여 PlanGPT를 종합적으로 재평가하였다. 실험 설정에는 세 가지 뚜렷한 전략이 포함되었다:

1. PlanGPT: 행동과 객체에 대응하는 토큰을 예측하여 계획을 생성하는 LLM 기반 플래너.
2. FastDownward (A):* A* 탐색 휴리스틱을 사용하는 전통적인 최적 플래너로, 최적의 계획 비용을 보장하지만 계산 비용이 높을 수 있다.
3. FastDownward (Greedy): 속도를 최우선으로 하여 최적성보다는 속도를 중시하는 그리디(Greedy) 탐색 휴리스틱을 사용하는 전통적인 플래너.

실험 절차:

• 입력 처리: PDDL 문제 파일은 도메인별 쉘 스크립트를 사용하여 정규화되었다. PlanGPT는 :init 및 :goal 섹션의 "플루언트(fluents)"(술어 및 객체)를 토큰화하고, <end> 토큰이 생성될 때까지 행동 토큰을 순차적으로 예측한다.
• 검증: 생성된 계획은 유효한 계획 커버리지를 결정하기 위해 공식 VAL 검증기를 사용하여 검증되었다.
• 지표: 본 연구는 세 가지 핵심 지표를 평가하였다:
  • 계획 커버리지(Plan Coverage): 유효한 계획이 생성된 문제의 비율.
  • 계획 비용(Plan Cost): 생성된 계획 내 총 행동의 수.
  • 계획 시간(Planning Time): 계획을 생성하는 데 소요된 시간.
• 점수 산정: 비용과 시간에 대해 IPC 정규화 점수가 계산되었다. 비용의 경우, 해당 문제에 대해 가장 낮은 비용을 기록한 전략이 1점을 받고 나머지는 그에 비례하여 스케일링되었다. 시간의 경우, 300초 타임아웃을 기준으로 로그 함수가 사용되었다.

실험은 LIG Aker GPU 클러스터에서 수행되었으나, 저자들은 표준 GPU(예: NVIDIA GTX 1080 TI)나 심지어 CPU만으로도 PlanGPT를 실행하기에 충분하다고 언급하였다.

주요 기여

1. 계획 커버리지 검증: 본 연구는 PlanGPT의 계획 커버리지 결과가 매개변수 설정 및 IPC 벤치마크 세트 사용에 따른 약 10%의 미미한 평균 차이를 제외하면, 기존 논문에서 보고된 결과와 대체로 일치함을 확인하였다.
2. 확장된 성능 평가: 기존 연구와 달리, 본 논문은 계획 비용과 계획 생성 시간을 핵심 평가 지표로 도입하여 PlanGPT의 효용성에 대한 보다 총체적인 관점을 제공한다.
3. 전통적 플래너와의 직접 비교: 본 연구는 A*(최적) 및 Greedy(빠른) 휴리스틱을 모두 사용하는 FastDownward와 PlanGPT를 직접 비교함으로써, LLM이 확립된 계획 알고리즘과 경쟁할 수 있는지에 대한 기준점을 제시한다.
4. 자원 분석: 본 논문은 PlanGPT가 지원하는 8개 도메인 각각에 대해 별도의 모델이 필요하다는 점을 강조하며, 이러한 방식이 범용 플래너와 비교했을 때 얼마나 효율적인지에 대한 의문을 제기하며 자원 집약성을 부각한다.

결과

결과는 PlanGPT의 성능이 복합적이며, 전체 지표의 범위를 고려할 때 일반적으로 전통적인 계획 전략을 능가하지 못함을 보여준다.

• 계획 커버리지: PlanGPT는 테스트된 도메인 전반에 걸쳐 평균 79%의 커버리지를 달 기록했다. 이는 Greedy 전략(88%)과는 유사하지만, 일부 도메인(예: Logistics에서 A는 71%를 해결한 반면 PlanGPT는 43%를 해결함)에서는 최적 A 전략보다 현저히 낮았다.
• 계획 비용:
  • BlocksWorld 도메인에서 PlanGPT는 우수한 성능을 보였으며, 종종 A*가 찾은 최적 비용과 일치하거나 Greedy 전략보다 뛰어난 성능을 보였다.
  • Driverlog와 같은 다른 도메인에서는 PlanGPT가 유효한 계획을 찾는 데 자주 실패했다. 계획 생성에 성공하더라도 그 비용이 Greedy 전략보다 높은 경우가 많았다.
  • 종합: Greedy 전략은 총 IPC 비용 점수 측면에서 PlanGPT를 전반적으로 앞질렀다 (5.36 vs 5.02). PlanGPT는 특정 도메인(BlocksWorld, Depot, Floortile)에서 우위를 점했으나, 전역적으로는 효율성이 떨어졌다.
• 계획 시간:
  • Greedy 전략은 가장 빠른 속도를 보였으며, 대부분의 도메인에서 완벽에 가까운 IPC 시간 점수(5.82)를 달성했다.
  • PlanGPT의 생성 시간은 가변적이었다. 때때로 A*보다는 빨랐으나 일반적으로 Greedy보다는 느렸다.
  • 종합: Greedy가 가장 높은 총 IPC 시간 점수(5.82)를 얻었으며, PlanGPT(4.95)가 그 뒤를 이었고, A*(2.46)는 복잡한 문제에서의 타임아웃 문제로 인해 가장 낮은 점수를 기록했다.

IPC 점수 요약 (총계):

• 비용(Cost): Greedy (5.36) > PlanGPT (5.01) > A* (3.26)
• 시간(Time): Greedy (5.82) > PlanGPT (4.95) > A* (2.46)

의의 및 주장

본 논문은 자동 계획 수립 분야에서 현재 LLM의 상태에 대해 신중한 평가를 내리며 마무리된다. 저자들은 자신들의 연구 결과가 LLM이 현재 유능한 플래너인지 여부를 확정적으로 긍정하거나 부정하지 않는다고 밝힌다.

• 한계점: 본 연구는 PlanGPT가 전반적인 효율성과 솔루션 품질 측면에서 현재 Greedy 탐색 전략보다 나을 것이 없다는 점을 강조한다. 각 도메인마다 별도의 모델이 필요하다는 점과 객체 수의 고정된 제한은 이러한 방식의 확장성과 적용 가능성을 제한한다.
• 자원 효율성: 저자들은 생성 시간 지표에 포함되지 않은 훈련 시간(training time)을 포함한 계산 비용을 고려할 때, 계획 수립을 위해 LLM을 사용하는 것이 과연 "가치"가 있는지 의문을 제기한다. 설령 LLM이 특정 지표에서 Greedy를 능가하더라도, 계산 비용(학습 시간 포함)은 전통적인 접근 방식보다 덜 "유능하게" 만들 수 있다.
• 향후 방향: 본 논문은 현재 LLM이 최적의 솔루션은 아닐지라도, 이 분야에 대한 추가적인 연구가 필요하다고 주장한다. 저자들은 현재의 LLM보다 거대 추론 모델(Large Reasoning Models, LRMs)과 같은 대안적 아키텍처가 계획 작업에 더 적합할 수 있다는 가설을 제시한다.

궁극적으로 이 논문은 자동 계획 수립 커뮤니티에 중요한 현실적 점검(reality check) 역할을 하며, LLM이 특정 틈새 영역에서 가능성을 보여주기는 하지만, 현재로서는 FastDownward와 같은 전통적인 플래너를 대체할 수 있는 일반적이고 자원 효율적인 대안이 되지 못함을 입증한다.