🤖 machine learning

PlanningBench: Generating Scalable and Verifiable Planning Data for Evaluating and Training Large Language Models

PlanningBench 은 구조화된 분류 체계와 제약 조건 기반 합성을 활용하여 계획 데이터 생성을 고정된 컬렉션에서 제어 가능하고 확장 가능한 생성 과정으로 전환하는 새로운 프레임워크로, 현재 LLM 의 한계에 대한 엄격한 평가와 일반화 가능한 계획 능력을 향상시키기 위한 효과적인 강화 학습 훈련을 모두 가능하게 합니다.

원저자: Ziliang Zhao, Zenan Xu, Shuting Wang, Hongjin Qian, Yan Lei, Minda Hu, Zhao Wang, Shihan Dou, Zhicheng Dou, Pluto Zhou

게시일 2026-05-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziliang Zhao, Zenan Xu, Shuting Wang, Hongjin Qian, Yan Lei, Minda Hu, Zhao Wang, Shihan Dou, Zhicheng Dou, Pluto Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하지만 경험이 부족한 견습 셰프를 마스터 셰프로 키우려고 한다고 상상해 보세요. 당신은 그에게 단일하고 고정된 레시피 책 (AI 를 테스트하는 구식 방식) 을 줄 수 있지만, 이는 그 책 특정 것을 따를 수 있는지만 알려줄 뿐입니다. 갑자기 재료가 부족해지거나 오븐이 고장 나거나, 고객이 주문을 중간에 변경하는 상황을 처리할 수 있는지는 알려주지 못합니다.

PlanningBench는 복잡한 **계획 (planning)**의 예술을 테스트하고 훈련하기 위해 설계된 새로운 "주방 시뮬레이터"입니다. 연구자들은 AI 에게 정적인 문제 목록을 단순히 건네는 대신, 실시간으로 무한하고 고유하며 검증 가능한 계획 과제를 생성할 수 있는 기계를 구축했습니다.

다음은 이 논문을 간단한 비유를 사용하여 설명한 내용입니다:

1. 문제: "고정된 메뉴"의 한계

이 논문 이전까지 AI 계획 능력을 테스트하는 것은 학생에게 50 개의 수학 문제 목록을 고정된 메뉴로 주는 것과 같았습니다. 그들이 문제를 맞히면 합격인 것이었습니다. 하지만:

제한된 다양성: 메뉴에는 50 개의 문제만 있었습니다. 학생이 이를 암기하면 테스트는 무용지물이 되었습니다.
가짜 난이도: "어려운" 문제들은 단순히 길거나 숫자가 더 많을 뿐, 반드시 논리적으로 더 복잡한 것은 아니었습니다.
피드백 루프 부재: 학생이 틀렸다면, 테스트는 왜 틀렸는지 알려주거나 다음을 위해 배우도록 도와주지 않았습니다.

2. 해결책: "무한 레시피 생성기" (PlanningBench)

저자들은 PlanningBench라는 프레임워크를 만들었습니다. 이는 레시피 목록이 아닌 "제약 조건 요리책"을 쓴 마스터 셰프 (연구자들) 라고 생각하세요.

분류 체계 (요리책): 그들은 회의 일정 조정, 결혼식 계획, 전력망 관리와 같은 실제 세계의 계획 작업을 6 개의 주요 범주와 30 개 이상의 구체적인 유형으로 조직화했습니다.
제약 조건 (재료): 그들은 "시간 창 (Time Windows)" (오후 5 시 전에 저녁을 요리할 수 없음), "용량 제한 (Capacity Limits)" (오븐에 피자가 4 개만 들어감), "의존성 (Dependencies)" (식사 전에 케이크를 제공할 수 없음) 과 같은 규칙을 정의했습니다.
생성기 (기계): 이 기계는 "레시피 유형" (예: "회의 계획") 을 받아 다양한 제약 조건 (예: "A 회의실 고장", "CEO 는 화요일에만 가능") 을 무작위로 섞습니다. 매번 고유하고 자체적으로 완결된 문제를 생성합니다.

3. "폐쇄 루프" 주방

이 시스템은 단순히 문제를 뱉어내는 것이 아니라, 품질을 보장하기 위해 세 명의 팀을 운영합니다:

생성기: 새롭고 까다로운 계획 문제를 생성합니다.
대응자 (견습생): AI 가 이를 해결하려고 시도합니다.
비평가 (검사관): 특수화된 AI 가 엄격한 "체크리스트"에 따라 답변을 검토합니다.
- 올바른 방을 사용했는가?
- 예산이 초과되었는가?
- 채식 옵션을 잊었는가?

대응자가 너무 쉽게 문제를 풀면, 비평가는 생성기에 다음 문제를 더 어렵게 만들도록 신호를 보냅니다 (예: "소방 훈련 시나리오 추가"). 대응자가 실패하면 시스템은 문제를 유지하되 AI 가 어디서 잘못되었는지 기록합니다. 이는 AI 의 숙련도에 맞춰 적응하는 난이도 곡선을 만들어냅니다.

4. "골드 스탠다드" 규칙

이 논문에서 발견된 중요한 사실은 **결정적 해법 (Determinate Solutions)**에 관한 것입니다.

비유: AI 에게 "좋은 이야기를 써라"고 요청한다고 상상해 보세요. 그렇게 하는 방법은 백만 가지가 있으며, 어느 것이 "최고"인지 말하기 어렵습니다.
해결책: PlanningBench 는 AI 가 하나의 명확하고 최적의 답변 (수학 문제나 특정 일정과 같은) 을 가진 문제를 해결하도록 강제합니다.
중요성: 논문은 AI 가 단일 "정답"이 있는 문제들로 훈련할 때 더 잘 학습한다는 것을 발견했습니다. 이는 "아름다운 곳으로 달려가라"고 요청하는 대신, 명확한 결승선이 있는 트랙에서 러너를 훈련시키는 것과 같습니다. 이러한 명확성은 AI 에게 개선 방법을 더 강력한 신호로 제공합니다.

5. 결과: 테스트 및 훈련

연구자들은 이 시스템을 두 가지 방식으로 사용했습니다:

A. 시험 (평가)
그들은 생성된 문제들로 GPT-5.4 및 기타 최상위 AI 모델들을 테스트했습니다.

결과: 가장 똑똑한 모델조차도 어려움을 겪었습니다. 최고의 모델은 약 **63%**의 문제만 완벽하게 해결했습니다.
통찰: AI 는 지역적 규칙 (예: "회의를 일정 잡았다") 을 충족하는 데는 능숙하지만, 전체적 일관성 (예: "하지만 그 회의는 CEO 의 비행기와 겹친다") 에는 서툴렀습니다. 가장 큰 실패는 형식이 아니라 계산 오류와 제약 조건 망각 (시간이나 돈이 부족해지는 것) 이었습니다.

B. 훈련 캠프 (강화 학습)
그들은 하나의 모델을 가져와 PlanningBench 의 검증된 데이터를 사용하여 훈련시켰습니다.

결과: 모델은 본래 본 특정 문제들뿐만 아니라 보지 못한 계획 작업 (여행 계획 등) 과 일반적인 지시 따르기 작업에서도 더 나아졌습니다.
교훈: 이러한 "엄격하고 검증 가능한" 계획 문제들로 훈련하는 것은 AI 에게 여러 규칙을 동시에 저글링하는 방법을 가르쳤으며, 이 기술은 다른 영역으로도 전이되었습니다.

요약

PlanningBench는 계획을 "추측 게임"에서 "측정 가능한 과학"으로 바꾸는 도구입니다.

고정된 문제 은행에서 무한히 생성되는 시나리오로 이동합니다.
문제가 해결 가능하지만 도전적임을 보장하기 위해 폐쇄 루프 시스템 (생성기 -> 해결자 -> 비평가) 을 사용합니다.
명확하고 단일 답변이 있는 목표가 AI 를 계획하도록 훈련시키는 가장 좋은 방법임을 증명합니다.
제약 조건이 빡빡해지면 모든 공을 공중에 띄우는 데 현재 AI 모델들이 여전히 매우 서툴다는 것을 드러내지만, 올바른 유형의 훈련 데이터로 더 나아질 수 있음을 보여줍니다.

이 논문은 AI 가 계획에 있어 진정으로 "똑똑"해지기 위해서는 확장 가능 (무한히 성장할 수 있음), 다양 (많은 실제 세계 상황을 포괄), 검증 가능 (수학적으로 정답이 맞음을 증명할 수 있음) 한 데이터가 필요하다고 결론 내립니다. PlanningBench 는 바로 그 데이터를 제공합니다.

기술 요약: PlanningBench

문제 제기

계획 수립은 대규모 언어 모델 (LLM) 의 근본적인 능력으로, 목표, 제약 조건, 자원, 장기적 결과를 실행 가능한 해결책으로 조율하는 것을 요구합니다. 그러나 기존 계획 수립 벤치마크는 다음과 같은 중대한 한계를 겪고 있습니다:

고정된 데이터 수집: 대부분의 벤치마크는 계획 수립 데이터를 제어 가능한 생성 대상이 아닌 정적이고 고정된 인스턴스 컬렉션으로 취급하여 시나리오 커버리지와 다양성을 제한합니다.
피상적인 난이도 대리 지표: 난이도는 종종 제약 조건의 결합, 계층 구조, 또는 작업별 설계와 같은 구조적 원천보다는 프롬프트 길이나 요구 사항 수와 같은 표면적 지표로 근사됩니다.
훈련 지원 부족: 기존 벤치마크는 확장 가능한 생성, 자동 검증, 또는 계획 수립 중심 훈련에 대한 지원이 제한되어 모델의 한계를 진단하거나 일반화 가능한 계획 수립 행동을 개선하기 어렵게 만듭니다.

방법론: PlanningBench 프레임워크

저자들은 평가 및 훈련을 위한 확장 가능하고 다양하며 검증 가능한 계획 수립 데이터를 생성하는 프레임워크인 PlanningBench를 소개합니다. 방법론은 두 가지 거시 단계로 진행됩니다:

1. 작업 및 제약 조건 분류 체계 구축

저자들은 도메인을 나열하는 대신, 일정 관리, 물류, 비상 대응과 같은 실제 시나리오에서 재사용 가능한 계획 수립 스키마를 추상화하여 구조화된 분류 체계로 만듭니다.

작업 분류 체계: 계획 수립 작업을 구조적 복잡성에 따라 여섯 가지 계열로 조직화합니다: 일정 관리 및 시간표 작성, 할당 및 매칭, 교대 근무 및 인력 일정 관리, 라우팅 및 여행, 프로젝트 및 생산 운영, 그리고 비상 대응 및 공공 서비스. 이는 30 개 이상의 구체적인 작업 유형과 수많은 하위 작업을 포괄합니다.
제약 조건 분류 체계: 검증 가능성과 제어 가능성을 보장하기 위해 제약 조건을 세 가지 계층으로 모델링합니다:
- 일반 제약 조건: 작업 간에 공유됨 (예: 입력 완전성, 시간 창).
- 작업별 제약 조건: 특정 작업 구조에 연결됨.
- 전문 상태 기반 제약 조건: 이전에 실행된 동작이나 누적된 상태에 의존함.
난이도 수준: 제약 조건은 기본(실행 가능성), 중간(최적화/공정성), 고난이도(견고성, 실행 불가능성 감지, 예외 복구) 로 분류됩니다.

2. 제약 조건 주도 합성 파이프라인

PlanningBench 는 세 가지 구성 요소를 포함하는 폐쇄 루프 합성 프로세스를 사용합니다:

생성기: 작업 - 제약 조건 구성을 샘플링하고 자체 완결형 계획 수립 문제를 인스턴스화합니다. 난이도를 제어하기 위해 기본, 중간, 고난이도 제약 조건에 대한 샘플링 분포를 사용합니다.
응답기: 생성된 문제를 해결하려 시도합니다.
비평가: 인스턴스 수준 체크리스트에 따라 솔루션을 검증합니다.
적응형 난이도 제어: 응답기가 인스턴스를 완전히 해결하면 ( $u=1$ ), 파이프라인은 제약 조건 구성을 더 높은 난이도로 전환합니다 (중간 및 고난이도 제약 조건에 대한 가중치 증가). 인스턴스가 해결되지 않은 경우 ( $u=0$ ), 현재 난이도 수준으로 유지됩니다.
검증: 각 인스턴스는 프롬프트 수준의 제약 조건을 실행 가능한 검사로 변환하는 검증 체크리스트와 짝을 이룹니다. 이 프레임워크는 전역적 일관성 없이 부분적 실행 가능성을 허용하는 느슨한 답변 공간을 피하고 명확한 보상 신호를 제공하기 위해 결정적이거나 잘 정의된 최적 솔루션을 선호합니다.

주요 기여

합성 데이터 생성 프레임워크: PlanningBench 는 고정된 벤치마크 컬렉션을 넘어 제어 가능한 생성으로 이동하여 실제 시나리오에 기반한 확장 가능하고 다양하며 검증 가능한 계획 수립 데이터를 생성하는 메커니즘을 제공합니다.
훈련 지향적 검증: 이 프레임워크는 검증된 PlanningBench 데이터가 계획 수립 중심 강화 학습 (특히 GRPO) 을 지원함을 보여줍니다. 저자들은 보상의 결정성(잘 정의된 최적값 선호) 을 안정적이고 전이 가능한 훈련의 핵심 요소로 식별합니다.
종합 평가 세트: 이 논문은 오픈 소스 및 클로즈드 소스 최첨단 LLM 을 체계적으로 평가하여, 가장 강력한 모델조차 결합된 제약 조건 하에서 완전한 솔루션을 제공하는 데 어려움을 겪음을 밝힙니다.

실험 결과

평가 성능

저자들은 PlanningBench 의 467 개 인스턴스 하위 집합에서 18 개의 대표적 LLM(오픈 소스 및 클로즈드 소스 모두) 을 평가했습니다.

성능 격차: 최상위 성능 모델인 GPT-5.4-xhigh조차 63.17% All-pass(모든 체크리스트 항목 충족) 만 달성하여, 벤치마크가 여전히 도전적이고 포화되지 않았음을 시사합니다.
로컬 대 전역 일관성: Avg-pass(충족된 체크리스트 항목의 비율) 와 All-pass 사이에 상당한 격차가 존재합니다. 예를 들어, GPT-5.4-medium 은 90.03% 의 Avg-pass 를 달성했지만 All-pass 는 58.09% 에 불과하여, 모델이 종종 로컬 제약 조건은 충족하지만 이를 전역적으로 일관된 계획으로 통합하지 못함을 시사합니다.
오류 분석: 모델 전반의 주요 실패 모드는 잘못된 계산/할당(오류의 60.9%–83.5%) 이었으며, 그 다음으로 제약 조건 누락 및 상태 추적 실패가 뒤따랐습니다. 포맷 오류는 미미했습니다.

훈련 및 전이

저자들은 300 개의 검증된 PlanningBench 인스턴스를 사용하여 GRPO 로 Qwen-A3B-30B 모델을 훈련했습니다.

계획 수립 벤치마크로의 전이: 훈련된 모델은 보지 못한 계획 수립 벤치마크에서 상당한 개선을 보였습니다:
- ChinaTravel: All-pass 가 50.92% 에서 58.36% 로 증가했습니다.
- TravelPlanner: All-pass 가 28.85% 에서 46.86% 로 증가했습니다.
- 이러한 향상은 인간이 작성한 데이터로 훈련했을 때 달성된 것보다 더 두드러져, 구조화되고 검증 지향적인 합성의 가치를 강조합니다.
일반 작업으로의 전이: PlanningBench 로 훈련하는 것은 Multi-Challenge, Inverse IFEval, Collie 와 같은 더 넓은 지시 따르기 및 추론 벤치마크에서도 성능을 향상시켰으며, 평균 점수가 7.06 점 증가했습니다.
결정적 최적값의 역할: 결정적 최적값을 강조하는 데이터 (Syn-PlanningBench) 로 훈련된 모델은 느슨한 최적값을 가진 데이터 (Syn-NotDetOptimal) 로 훈련된 모델에 비해 더 우수한 전이 성능과 더 안정적인 훈련 역학 (더 빠른 수렴, 더 매끄러운 보상 곡선) 을 보였습니다.

중요성과 주장

이 논문은 PlanningBench가 확장 가능하고 다양하며 검증 가능한 계획 수립 데이터에 대한 중요한 필요성을 해결한다고 주장합니다. 그 중요성은 세 가지 영역에 있습니다:

진단 능력: 이는 부분적 준수와 결합된 제약 조건 하에서 전역적 일관성을 유지하는 능력 사이의 차이를 구분하여 LLM 계획 수립 능력에 대한 세밀한 관점을 제공합니다.
훈련 유용성: 자동으로 검증 가능한 계획 수립 데이터가 강화 학습을 위한 효과적인 훈련 신호로 작용할 수 있으며, 계획 수립뿐만 아니라 일반적인 지시 따르기 및 추론 능력도 향상시킨다는 것을 증명합니다.
설계 원칙: 이 연구는 보상의 결정성이 안정적인 계획 수립 중심 훈련에 필수적임을 강조합니다. 잘 정의된 최적 솔루션을 가진 인스턴스는 많은 로컬적으로 수용 가능한 답변을 가진 인스턴스보다 더 명확한 방향성 신호를 제공합니다.

저자들은 제어 가능한 데이터 구축, 자동 검증 가능성, 그리고 보상의 결정성이 LLM 의 일반화 가능한 계획 수립 능력을 진단하고 개선하는 데 핵심적이라고 결론지었습니다.