기술 요약: HALO – LLM 에이전트를 이용한 엔드 투 엔드 PDDL 플래닝을 위한 지도 학습 기반 접근 방식

1. 문제 정의

자동화된 플래닝(Automated planning)은 자연어 목표를 고전적 솔버(classical solver)가 처리할 수 있는 정식 PDDL(Planning Domain Definition Language) 명세로 변환하는 과정을 필요로 합니다. 대규모 언어 모델(LLM)은 자연어와 정식 표현 사이의 가교 역할을 제공할 수 있지만, 단독으로 사용될 경우 술어(predicate)를 환각하거나 제약 조건을 잘못 인코딩하거나 유효하지 않은 플랜을 생성하는 등 신뢰성이 떨어지는 문제가 있습니다.

최근의 에이전트 프레임워크(예: La Malfa et al. [2026])는 검증기(verifier)에 의해 체크되는 정제 루프 내에서 전문화된 복구 에이전트 풀을 오케스트레이션함으로써 이 문제를 해결합니다. 이러한 시스템에서 "프런티어(frontier)" LLM(예: GPT-5, Gemini-3)은 오케스트레이터(orchestrator) 역할을 수행하며, 현재 상태(PDDL, 솔버 로그, 검증기 오류)를 조사하고 매 단계마다 적절한 복구 에이전트를 선택합니다. 이 방식은 효과적이지만 심각한 병목 현상을 야기합니다. 즉, 오케스트레이터 자체가 매 정제 단계마다 프런티어 LLM에 대한 비용이 많이 드는 API 호출을 요구한다는 점입니다. 이러한 의존성은 프레임워크의 배포를 지속적인 API 접근이 가능한 시나리오로 제한하며, 실험실 규모, 엣지 또는 에어갭(air-gapped) 환경에서는 비용 면에서 매우 비효-적하게 만듭니다.

이 논문이 다루는 핵심 과제는 다음과 같습니다: 프런티어 LLM 오케스트레이터를 성능 저하 없이 소규모 로컬 서버 모델로 교체할 수 있는가?

2. 방법론: HALO

저자들은 프런티어 오케스트레이터를 프롬프트 기반의 프런티어 오케스트레이터 대신, 하드코딩된 규칙 레이어와 결합된 QLoRA 튜닝된 정책으로 대체하는 시스템인 **HALO (Hybrid Agent-Learned Orchestrator)**를 제안합니다.

2.1 학습 신호: 검증기 유도 궤적 (Verifier-Guided Trajectories)

이 논문의 핵심 통찰은 외부 검증기(컴파일러 및 검증기)가 이미 강력한 지도 신호를 제공한다는 것입니다. 에이전트 프레임워크에서 정제 궤적(refinement trajectory)은 (상태, 에이전트) 결정의 시퀀스입니다. 만약 궤적이 유효한 플랜(검증기에 의해 인증됨)으로 끝난다면, 해당 궤적 내의 모든 결정은 성공적인 결과에 기여했다는 의미에서 암묵적으로 "정확"합니다.

• 데이터 수집: 저자들은 11개의 PDDL 도메인에 대해 강력한 프롬프트 기반 교사 모델(GPT-5-mini)을 실행합니다.
• 필터링: 궤적은 외부 검증기에 의해 엄격하게 필터링됩니다. 오직 유효한 플랜으로 끝나는 궤적만이 보존됩니다.
• 지도 학습: 학습 세트는 이러한 검증된 궤적에서 추출된 (상태, 에이전트) 쌍으로 구성됩니다. 정책은 검증된 궤적으로부터 추출된 (상태, 에이전트) 쌍을 조건으로 하여, 교사가 선택한 에이전트 ID를 예측하도록 지도 미세 조정(SFT)을 통해 학습됩니다.

2.2 확장된 액션 공간 (Expanded Action Space)

이 프레임워크는 에이전트 풀을 기존 13개에서 다음과 같이 분류된 21개의 에이전트로 확장합니다:

1. 베이스라인 에이전트 (13개): 이전 연구의 LLM 프롬프트 기반 복구 루틴 (예: 구문 수정기, 환각 제거기).
2. 결정론적 플랜 복구 에이전트 (5개): LLM 비용 없이 밀리초 단위로 실행되는 비-LLM 루틴 (예: 변수 스와핑, 액션 재정렬, 중복 제거).
3. PDDL 인식 LLM 에이전트 (3개): 모델링 오류를 위한 특화된 에이전트 (예: 타입 계층 구조 수정, 술어 일반화).

2.3 하이브리드 추론 정책

추론 시, HALO는 두 개의 레이어로 구성된 하이브리드 정책($\pi_{hybrid}$)으로 작동합니다:

• 레이어 1 (하드코딩된 규칙): 세 가지의 결정 가능한 케이스는 모델을 호출하지 않고 규칙에 의해 해결됩니다:
  • 콜드 스타트 (빈 PDDL) $\rightarrow$ AgentEmergency 선택.
  • 구문 오류 감지 $\rightarrow$ AgentSyntaxPDDL 선택.
  • 유효한 플랜 도달 $\rightarrow$ NoOpAgent 선택 (종료).
• 레이어 2 (학습된 정책): 규칙이 적용되지 않는 경우, 소규모 QLoRA 튜닝된 LLM(예: Llama-3-8B)이 다음 에이전트 ID를 예측합니다. 모델은 에이전트 ID(0–20)에 해당하는 단일 토큰을 출력하도록 미세 조정되었습니다.

2.4 학습 세부 사항

• 아키텍처: Llama-3-8B, Qwen-2.5-7B, Gemma-2-9B와 같은 베이스 모델에 대한 QLoRA 미세 조정 (4비트 양자화, LoRA 랭크 16).
• 손실 함수: 프롬프트 토큰은 마스킹 처리된, 에이전트 ID에 대한 단일 토큰 교차 엔트로피(cross-entropy).
• 데이터 볼륨: 약 2,000개의 고품질 검증 수락 궤적에서 파생된 약 12,000~15,000개의 (상태, 에이전트) 쌍.

3. 주요 기여

1. HALO (Hybrid Agent-Learned Orchestrator): 프런티어 LLM API 호출을 로컬의 소규모 모델 추론으로 대체하는 학습된 오케스트레이터입니다. 이는 GPT-5-mini 및 Gemini-3-Flash 베이스라인과 대등하거나 더 나은 성능을 보이면서도 오케스트레이션 비용을 10배 이상 절감합니다.
2. 검증기 유도 궤적 지도 학습: 저자들은 오케스트레이터 학습을 외부 컴파일러/검증기에 의해 인증된 궤적에 대한 모방 학습(imitation learning)으로 정형화했습니다. 검증기는 손실 함수가 아닌 데이터 수용 필터로서 작용하며, 이를 통해 도메인을 가리지 않는 강력하고 노이즈 없는 지도 신호를 제공합니다.
3. 하이브리드 정책을 포함한 확장된 액션 공간: 21개의 에이전트(결정론적 복구 루틴 포함)와 하드코딩된 규칙으로 사소한 결정을 오프로딩하는 하이브리드 정책의 도입입니다. 이를 통해 학습된 정책은 진정으로 모호한 결정에 역량을 집중할 수 있어 효율성을 높이고 학습 부담을 줄입니다.

4. 실험 결과

시스템은 PlanBench, Google Natural Plan, Classical Planning 벤치마크를 아우르는 11개의 PDDL 도메인에서 평가되었습니다.

• 성공률:
  • HALO는 모든 계열(예: PlanBench +3.3%, Natural Plan +37.3%)에서 GPT-5-mini 프롬프트 베이스라인과 대등하거나 이를 능가합니다.
  • HALO는 PlanBench 및 Natural Plan에서 더 강력한 Gemini-3-Flash 베이스라인과 3 퍼센트 포인트 이내의 차이를 보이며, Classical planning에서는 이를 능가합니다 (95.8% vs 93.0%).
• 효율성 및 비용:
  • LLM 호출: HALO는 하이브리드 규칙 레이어가 결정의 약 35%를 모델 호출 없이 해결함에 따라 베이스라인 대비 에피소드당 총 LLM 호출 횟수를 40–50% 감소시킵니다.
  • 비용: 오케스트레이션 비용은 작업당 ~$0.18–$0.22 (GPT-5-mini) 및 ~$0.06–$0.08 (Gemini-3-Flash)에서 HALO의 경우 $0.004로 떨어집니다. 이는 GPT-5-mini 대비 45배, Gemini-3-Flash 대비 15배의 비용 절감을 나타냅니다.
• 일반화: 모델은 홀드아웃(held-out) 도메인에서도 약 5~8 퍼센트 포인트의 성능 저하만 보이며 일반화되는데, 이는 학습된 신호가 특정 지름길을 암기하는 것이 아니라 도메인 일반적인 오케스트레이션 패턴을 포착하고 있음을 시사합니다.

5. 의의 및 주장

본 논문은 검증기를 중심으로 구축된 에이전트 프레임워크는 구조적 단순화가 가능하다고 주장합니다: 즉, 오케스트레이터는 범용적인 프런티어 LLM일 필요가 없습니다. 대신, 검증기가 궤적별 수용 신호를 제공한다면 소규모의 로컬 서버 가능 모델이 될 수 있습니다.

이러한 발견은 다음과 같은 배포 측면에서 중요한 의미를 갖습니다:

• API로부터의 탈피: 값비싼 프런티어 LLM API에 대한 지속적인 의존성을 제거합니다.
• 접근성: API 접근이 불가능하거나 금지된 실험실 규모, 엣지, 에어갭 환경에서도 엔드 투 엔드 자연어 플래닝을 가능하게 합니다.
• 비용 효율성: "무료"인 검증 루프 내의 감독을 활용함으로써 고품질의 플래닝을 훨씬 적은 비용(약 45배 저렴)으로 달 Achieved 할 수 있음을 보여줍니다.

저자들은 교사의 행동에 의존한다는 점(검증기로 필터링된 궤적에 의해 제한됨)과 21개 에이전트 범위 외의 PDDL 확장(예: 수치적 플루언트)을 처리할 수 없다는 한계를 언급했습니다. 그러나 이들이 제안하는 지도 학습 방식이 강력한 베이스라인 역할을 하며, 향 에는 "교사의 한계(teacher ceiling)"를 깨기 위해 검증 가능한 보상으로부터의 강화 학습(RLVR)을 탐구할 수 있다고 덧붙였습니다.