기술 요약: 로봇 작업 계획을 위한 추적 가이드 정책 최적화 (Trace-Guided Policy Optimization, TGPO)

1. 문제 정의

본 논문은 실제 환경에서의 장기적 로봇 작업 계획(long-horizon robot task planning) 문제를 다룹니다. 핵심적인 어려움은 추상적이고 불충분하게 명시된 자연어 지시사항을, 긴 시간 범위에 걸쳐 복잡한 제약 조건을 충족하는 실행 가능한 행동 시퀀스로 매핑하는 데 있습니다.

현재의 접근 방식들은 다음과 같은 이분법적 한계에 직면해 있습니다:

• 대규모 언어 모델 (LLMs): 강력한 상식적 추론 능력을 갖추고 있으나, 명시적인 제약 모델링의 부재, 자기회귀 생성 과정에서의 오류 누적, 그리고 환경 상태와의 접지(grounding) 약화로 인해 신뢰할 수 있고 실행 가능한 계획을 생성하는 데 실패하는 경우가 많습니다.
• 심볼릭 플래너 (Symbolic Planners): 실행 가능성과 최적성을 보장하지만, 잘 정의된 심볼릭 목표(예: PDDL - Planning Domain Definition Language)가 필요하며 높은 수준의 인간 의도를 직접 해석할 수 없습니다.

저자들은 이 문제를 검증 가능한 하위 목표(subgoals)를 생성하는 법을 학습하는 것으로 정식화합니다. 단일한 전체적 목표나 직접적인 행동 시퀀스를 생성하는 대신, 시스템은 지시사항 $q$와 환경 상태 $S$를 일련의 중간 PDDL 하위 목표 $G = \{g_k\}$로 분해하는 정책 $\pi_\theta$를 학습합니다. 이렇게 생성된 하위 목표들은 이후 고전적인 심볼릭 플래너에 의해 최종 행동 계획으로 해결됩니다. 학습 목표는 실행 가능성(해결 가능한 하위 목표)과 작업 완료(지시사항 충족)에 기반한 보상 함수를 최대화하는 것입니다.

2. 방법론: 추적 가이드 정책 최적화 (TGPO)

이 학습 문제에 내재된 희소하고, 노이즈가 많으며, 지연된 보상 문제를 해결하기 위해, 저자들은 **추적 가이드 정책 최적화 (TGPO)**를 제안합니다. 이는 그룹 상대 정책 최적화(GRPO)를 기반으로 구축되었으나, 중간 추론 추적(reasoning traces)에서 유도된 구조화된 학습 신호로 강화된 강화 학습(RL) 프레임워크입니다.

TGPO는 세 가지 구성 요소 메커니즘을 통해 작동합니다:

A. 검증기 기반 보상 (Verifier-Grounded Rewards)

시스템은 결과 수준의 감독을 제공하기 위해 검증기를 활용합니다. 보상 $R(T, G)$는 다음의 곱으로 이루어집니다:

1. 실행 가능성 ($R_{feas}$): 생성된 모든 하위 목표가 PDDL 플래너에 의해 해결 가능한지에 대한 이진 체크.
2. 작업 완료 ($R_{comp}$): 구성된 계획이 사용자의 의도를 충족하는지 평가하는 점수(0~1). 이는 주로 LLM-as-judge 프로토콜이나 시뮬레이터 목표를 통해 평가됩니다.

B. 추적 가이드 정교화 (Trace-Guided Refinement)

스칼라 보상이 장기 작업의 신용 할당(credit assignment)에 불충분하다는 점을 인식하여, TGPO는 중간 추론을 수정하기 위한 보조 모델을 도입합니다.

1. 자유 롤아웃 (Free Rollouts): 정책은 $N$개의 후보 궤적(분해 추적 $T$ 및 하위 목표 $G$)을 생성합니다.
2. 추적 수정 (Trace Correction): 보상이 낮은(임계값 $\tau$ 미만) 궤적들을 식별합니다. 보조 모델("Trace Improver")은 누락된 하위 작업, 잘못된 시간적 순서, 또는 불완전한 접지(grounding)와 같은 오류를 수정하기 위해 분해 추적 $T$를 수정하여 교정된 추적 $\tilde{T}$를 생성합니다.
3. 제약된 롤아웃 (Constrained Rollouts): 정책은 교정된 추적 $\tilde{T}$를 조건으로 하여 두 번째 롤아웃을 수행하고, 그에 대응하는 하위 목표 $\tilde{G}$를 생성합니다. 이는 토큰 수준의 제약 샘플링을 통해 구현되며, 하위 목표를 자기회귀적으로 생성하는 동안 추적 토큰을 강제합니다.

C. 제약된 정책 최적화 (Constrained Policy Optimization)

최적화 과정은 원래의 자유 롤아웃과 추적 교정된 롤아웃을 확장된 그룹으로 결래합합니다. 정책은 GRPO와 유사한 클리핑된 목적 함수(clipped objective)를 사용하여 업데이트되지만, 그래디언트 계산에는 원래의 궤적과 교정된 궤적이 모두 포함됩니다. 이를 통해 정책은 외부의 교정을 통해 학습하며, 효과적으로 희소한 보상을 조밀하고 구조화된 감독 신호로 변환합니다.

3. 실험 설정 및 벤치마크

이 프레임워크는 **대규모 가사 환경에서의 이동형 조작(mobile manipulation)**을 위해 구체화되었습니다.

• 데이터 생성: Habitat 합성 장면 데이터셋(HSSD)을 사용하여 대규모 데이터셋을 구축했습니다. 작업은 다양한 사용자 페르소나와 장면 그래프(scene graph)를 조건으로 하는 LLM을 사용하여, 명시적 명령부터 추상적 의도 묘사에 이르기까지 합성되었습니다.
• 벤치마크: 다음 네 가지 벤치마크에서 평가를 수행했습니다:
  1. 분포 내 합성 작업 (In-Distribution Synthetic Tasks): 쉬움(Easy), 복잡함(Complex, 장기적/제약 중심), 추상적(Abstract, 암묵적 의도)으로 분류.
  2. 인간 작업 (Human Tasks): 웹 인터페이스를 통해 수집된 50개의 실제 지시사항.
  3. PARTNR: 임보디드 멀티 에이전트 작업을 위한 공개 벤치마크.
  4. BEHAVIOR-1K: 가사 작업 계획 및 기술 학습을 위한 벤치마크.
• 베이스라인: 프롬프팅 기반 플래너(SayPlan, DELTA, LLM+P, NL2Plan, vanilla LLM)와 학습 기반 방법(SFT, GRPO, Reinforce++, 그리고 엔드 투 엔드 TGPO 변형)을 비교 대상으로 포함했습니다.

4. 주요 결과

• 우수한 성능: TGPO는 모든 벤치마크에서 모든 베이스라인을 크게 앞질렀습니다. 분포 내 작업의 경우, 가장 강력한 프롬프팅 기반 베이스라인 대비 개선 폭은 작업 복잡도가 높아질수록 증가했습니다: 쉬운 작업에서 67%, 복잡한 작업에서 131%, 추상적 작업에서 213%.
• 일반화: TGPO는 분포 외 환경(PARTNR, BEHAVIOR-1K) 및 인간 작성 작업에 대해 강력한 일반화 능력을 보여주었으며, 각각 **82.6%**와 **70.3%**의 성공률을 달 기록하며 베이스라인 대비 상당한 이득을 얻었습니다.
• 절제 연구 (Ablation Studies):
  • TGPO vs. SFT: RL 최적화는 지도 학습 미세 조정(SFT) 단독보다 더 높은 성능 상한선을 제공했으며, 특히 복잡하고 추상적인 작업에서 그러했습니다.
  • 추적 수정 (Trace Correction): 추적 수정 메커니즘을 제거하면(표준 GRPO) 작업 복잡도가 증가함에 따라 성능이 급격히 저하되었으며, 이는 신용 할당을 위한 구조적 가이드의 필요성을 강조합니다.
  • 하위 목표 vs. 엔드 투 엔드: 하위 목표 기반 접근 방식(TGPO)은 엔드 투 엔드 변형(TGPO E2E)보다 훨씬 우수한 성능을 보였으며, 이는 문제 정식화(하위 목표 생성)와 실행(심볼릭 솔빙)을 분리하는 것이 학습 부담을 줄이고 실행 가능성을 높인다는 것을 확인시켜 줍니다.
• 강건성: 온라인 몬테카를로 트리 탐색(MCTS)과 결과 결합 시, 확률적 역학(10%의 행동 실패 확률) 하에서도 높은 성공률(추상적 작업에서 62.3%)을 유지했습니다.
• 시스템 수준 통합: 저수준 실행기(low-level executors)가 포함된 전체 로봇 파이프라인에서, TGPO는 **구성적 일반화(compositional generalization)**를 가능하게 하여, 새로운 조합 작업에 대해 원래의 훈련 작업에 대한 홀리스틱 신경 정책의 성능과 맞먹는 26%의 엔드 투 엔드 완료율을 달성했습니다.

5. 의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 학습 기반 하위 목표 정식화: 장기 계획을 정적인 프롬프팅 기반 분해를 넘어, 검증 가능한 하위 목표를 생성하는 정책을 학습하는 것으로 재정의했습니다.
2. 추적 가이드 정책 최적화 (TGPO): 희소하고 노이즈가 많은 보상 하에서 구조화된 생성을 최적화하기 위해 외부 추적 수정을 활용하는 RL 알고리즘인 TGPO를 도입하여, 중간 추론 단계의 신용 할당 문제를 해결했습니다.
3. 확장 가능한 장기 계획: 학습된 하위 목표 생성과 심볼릭 플래너를 결합함으로써, 추상적인 지시사항이 있는 대규모 복잡 환경에서 강력한 계획 수립이 가능함을 입증하였으며, 기존 방법론들을 크게 능가했습니다.

저자들은 이 방법이 효과적이지만, 현재 원시 시각 입력보다는 구조화된 장면 표현(장면 그래프)에 의존하며 정의된 심볼릭 도메인을 가정하고 있다고 언급했습니다. 향후 연구로는 도메인 학습/적응 및 인지 불확실성 통합이 제안되었습니다.