기술 요약: EvoPlan

문제 정의

본 논문은 부분적으로 알려진 동적인 환경에서 자연어 로봇 작업을 수행할 때, 프롬프트에 명시적으로 언급되지 않은 암묵적 규범(예: 안전 규칙, 사회적 선호도)을 준수해야 하는 과제를 다룹니다. 저자들은 표준 솔루션들을 무력화하는 세 가지 핵심적인 어려움을 식별했습니다:

1. 부분 관측 가능성 및 역동성: 세계 모델이 불완전하며, 에이전트의 궤적을 온라인으로 추적해야 하므로, 완전히 지정된 환경에 의존하는 플래너는 실패하게 됩니다.
2. 프롬프트 미지정(Underspecification): 자연어 작업은 종종 규범적 요구사항을 누락합니다. 오직 명시적인 목표만을 최적화하는 플래너는 프롬프트는 만족할지언정 암묵적 규범(예: 빨간불에 주행하여 목적지에 도달하는 것)은 위반할 수 있습니다.
3. 단일 클래스 데이터(One-Class Data): 사용 가능한 사전 데이터는 모든 기록된 트레이스가 "수용 가능"한 주석이 없는 운영 로그뿐입니다. 위반 사례, 선호도 쌍, 또는 규범에 대한 기호적 명세가 없기 때문에, 표준적인 보상 형성(reward shaping), 행동 복제(behavior cloning), 또는 선호도 기반 강화학습(preference-based RL)을 적용할 수 없습니다.

방법론: EvoPlan 프레임워크

EvoPlan은 대규모 언어 모델(LLM)을 형식 검증 및 진화적 탐색과 통합하는 뉴로-심볼릭(neuro-symbolic) 프레임워크입니다. 이는 세 가지 별도의 단계로 작동합니다:

1. 오프라인 제약 조건 마이닝 (진화적 STL 피팅)

시스템은 주석이 없는 데모 데이터로부터 단일 전역 신호 템포럴 로직(Signal Temporal Logic, STL) 제약 조건인 $\Phi_{mob}$를 학습합니다.

• 대조적 합성(Counterfactual Synthesis): 데이터가 단일 클래스(모두 수용 가능)이므로, 시스템은 절차적 섭동(예: 속도 증가, 혼잡도 증가)과 LLM 기반의 위반 생성기를 사용하여 음의 클래스($D^-$)를 생성합니다. 이를 통해 문제를 지도 학습 분류 작업으로 변환합니다.
• 진화적 탐색: AlphaEvolve에서 영감을 받은 LLM 기반 진화적 탐색은 신호 원자(속도, 간격, 충돌 시간 등)의 문법을 바탕으로 STL 공식을 진화시킵니다. 적합도 함수는 양의 집합($D^+$)에서의 강건성(robustness)을 최대화하는 동시에, 음의 집합($D^-$)에서의 만족도를 최소화하며 복잡성에 대해 페널티를 부여합니다.
• 다양성: 이 단일 절차는 명문화된 규칙(예: nuPlan 로그로부터의 "빨간불에 정지")과 인구 통계적 선호도(예: SCAND 텔레오퍼레이션 데이터로부터의 사회적 간격)를 모두 회복합니다.

2. 진화적 PDDL 계획 합성

시스템은 이산적 행동 시퀀스를 생성하기 위해 진화적 PDDL 플래너를 사용합니다.

• 제안 메커니즘으로서의 LLM: 독립적인 플래너 대신, LLM은 고정된 도메인 및 문제에 대해 PDDL 계획을 제안하고 수정합니다.
• 검증기 캐스케이드(Validator Cascade): 프로그래밍 방식의 캐스케이드(PDDL 구문 체크, VAL 시뮬레이션, 목표 도달 가능성, 그리고 STL 강건성 체크)가 후보군을 점수화합니다.
• 반복적 수정: LLM은 검증기로부터 받은 구체적인 피드백(예: "액션 X가 전제 조건 Y를 충족하지 못함")을 조건으로 다음 변이를 수행합니다. 이를 통해 계획의 "검증된 접두사(verified prefix)"가 반복에 따라 단조 증가하며 성장할 수 있습니다.
• 불일치에 대한 강건성: 시스템은 오픈 월드 시나리오와 어휘 불일치(예: 목표 "heated"와 액션 "toast" 사이의 차이)를 처리하기 위해, 검증 전 LLM을 사용하여 술어-기호 맵(predicate-symbol map)을 도출합니다.

3. 제약된 실행 루프

런타임 시, 시스템은 이산적 PDDL 계획과 연속적 로봇 실행 사이를 연결합니다.

• 웨이포인트 확장: 각 PDDX 액션은 내비게이션 레이어(예: Nav2)로 전달되어 웨이포인트 시퀀스를 생성합니다.
• 실딩(Shielding): 웨이포인트 시퀀스는 학습된 전역 STL 제약 조건 $\Phi_{mob}$에 대해 검사됩니다.
• 위반 시 재계획(Replanning on Violation): 만약 시퀀스가 $\Phi_{mob}$를 위반하면, 해당 액션은 거부됩니다. 시스템은 계획의 검증된 접두사를 확정하고, 현재 세계 상태를 기반으로 초기 상태를 업데이트한 후, 새로운 접미사(suffix)를 생성하기 위해 플래너를 다시 호출합니다. 이는 플래너가 안전성이나 실행 가능성이 훼손될 때만 재활성화되는 폐쇄 루프 시스템을 생성합니다.

주요 기여

1. 데이터 기반 STL 마이닝: 대조적 부정 사례를 합성함으로써 단일 클래스 데모 데이터로부터 단일 전역 이동 제약 조건을 추출하는 방법론을 제시하며, 이는 규칙 기반 및 선호도 기반 도메인 모두에 적용 가능합니다.
2. 진화적 PDDL 솔버: 형식적으로 검증된 루프 내에서 LLM을 제안 및 수정 도구로 사용하는 플래너를 구현하였으며, 어휘 불일치 및 오픈 월드 신념 성장(belief growth)에 대한 강건성을 입증했습니다.
3. 제약된 실행 아키텍처: PDDL 계획을 웨이포인트로 컴파일하고, 학습된 STL 제약 조건에 따라 검증하며, 위반 시 재계획을 트리거하여 하위 정책을 재학습하지 않고도 안전성을 보장하는 런타임 루프를 구축했습니다.
4. 로컬 배포: 모든 LLM 호출을 포함한 전체 파이프라인이 로컬 호스트 오픈 웨이트 모델(Qwen3-32B)에서 실행되어, 클라우드 의존성 없이 로봇에 직접 배포가 가능합니다.

실험 결과

저자들은 세 가지 벤치마크를 통해 프레임워크를 평가했습니다:

• STL 제약 조건 전이 (실딩):
  • 주행 (nuPlan $\to$ Bench2Drive): 마이닝된 규칙 기반 제약 조건은 Qwen2.5-VL 주행 정책에서 빨간불 위반을 77%, 충돌을 71% 감소시켜 전반적인 주행 점수(Driving Score)를 향상시켰습니다.
  • 사회적 내비게이션 (SCAND $\to$ HA-VLN-CE): 마이닝된 선호도 기반 제약 조건은 실내 내비게이션 작업에서 회피 가능한 접촉을 PointNav의 경우 82%, MLP의 경우 93% 감소시켜, 안전 분포의 "위험한 꼬리(unsafe tail)" 부분을 효과적으로 압축했습니다.
• 계획 성능 (ALFWorld Text):
  • 오픈 월드 ALFText 벤치마크에서, EvoPlan은 미학습 작업에 대해 98.5%의 성공률을 달성하여 강력한 베이스라인들(예: NL-PDDL 94%, Direct LLM 약 20%)을 능가했습니다.
  • 결정적으로, 목표 어휘와 액션 모델 어휘가 일치하지 않는 상황에서도 이 성능(98.5%)을 유지했으며, 이는 다른 방법론들이 성능이 급격히 하락하는 것과 대조적입니다.
  • 또한, 고정된 호라이즌(fixed-horizon) 플래너가 실패하는 깊이 10 이상의 최적 계획 문제도 해결했습니다.
• 엔드 투 엔드 실행 (Gazebo):
  • 9~15명의 보행자가 있는 시뮬레이션 공장 환경에서, 시스템은 pick-and-drop 미션을 수행하며 우아한 성능 저하(graceful degradation)를 보여주었습니다. 한 미션이 극심한 밀도로 인해 실패했으나, 시스템은 여유 공간 기준이 위반될 때 재계획을 수행함으로써 충돌을 피하고 개인 공간 노출을 낮게 유지하며 5번의 실행 중 4번을 성공적으로 완수했습니다.

의의 및 주장

본 논문은 EvoPlan이 "최상의 조합(best-of-both-worlds)" 접근법을 제공한다고 주장합니다. 즉, 계획 생성 및 수정을 위해 LLM의 유창함과 문맥 인지 능력을 활용하는 동시에, 실행 가능성과 안전성을 보장하기 위해 심볼릭 검증 및 데이터 유래 템포럴 로직에 의존합니다.

저자들은 시스템이 뉴럴 모델을 후보 생성기로 취급할 뿐, 검증되지 않은 권위의 원천으로 보지 않는다는 점을 강조합니다. 주석이 없는 운영 로그로부터 제약 조건을 직접 학습함으로써, 이 프레임워크는 수동으로 작성된 안전 명세나 라벨링된 위반 데이터의 필요성을 피합니다. 실험 결과는 이 뉴로-심볼릭 루프가 오픈 월드의 역동성과 어휘 불일치에 강건하며, 클라우드 인프라 없이도 안전하고 적응 가능한 로봇 플래너를 배포할 수 있는 경로를 제공함을 시사합니다.