SkillWrapper: Generative Predicate Invention for Task-level Robot Planning

기술 요약: SkillWrapper: 태스크 수준 로봇 계획을 위한 생성적 술어 발명(Generative Predicate Invention)

문제 정의

장기적(long-horizon) 태스크 계획이 가능한 자율 로봇을 구축하려면 저수준의 감각/운동 제어와 고수준의 추상적 추론 사이의 간극을 메워야 합니다. 인간은 복잡한 작업(예: 요리)에 대해 추론할 때 근육 수준의 제어를 모델링하지 않고도 수행할 수 있지만, 로봇은 일반적으로 도메인 전문가가 정의한 수동 지정 태스크 수준 모델(전제 조건 및 효과)에 의존합니다. 실제 환경에서 이러한 모델을 획득하는 것은 복잡한 스킬 간 제약 조건과 특정 환경적 구현(embodiment)으로 인해 매우 까다로운 작업입니다.

이러한 추상화를 학습하려는 기존 방식들은 다음과 같은 이분법적 한계에 직면해 있습니다:

1. 상향식(Bottom-up) 방법: 이론적 보장(건전성 및 완전성)을 제공하지만, 종종 제한되고 구조화된 상태 공간(예: 구성 공간)에 의존하거나, 파운데이션 모델(Foundation Model, FM) 없이는 픽셀 수준의 입력으로부터 확장하는 데 어려움을 겪습니다.
2. 파운데이션 모델(FM) 기반 방법: FM을 활용하여 원시 센서 입력으로부터 의미 있는 술어(predicate)를 생성하는 과정(생성적 술어 발명이라 불림)을 수행합니다. 그러나 이러한 방법들은 대개 휴리스틱이나 임의적인 절차에 의존하며, 학습된 추상화가 충족해야 하는 속성이나 결과 모델의 정확성을 보장하는 방법에 대한 공식적인 보장이 부족합니다.

본 논문이 다루는 핵심 과제는 다음과 같습니다: 어떻게 하면 파운데이션 모델을 사용하여 원시 RGB 관측으로부터 블랙박스 로봇 스킬에 대한 건전하고 완전한 심볼릭 표현을 자율적으로 학습하면서, 태스크 수준 계획을 위한 공식적인 보장을 제공할 것인가?

방법론: SkillWrapper

저자들은 블랙박스 스킬에 대한 건전하고 완전한 심볼식 모델을 자율적으로 획득하는 능동 학습 프레임워크인 SkillWrapper를 제안합니다. 이 시스템은 객체 중심 스킬 집합($\Omega$)으로 정의된 도메인에서 작동하며, 추상적 전이 모델 $M = \langle P, A \rangle$를 학습합니다. 여기서 $P$는 술어 집합이고 $A$는 연산자(operator) 집합입니다.

이 방법은 세 가지 주요 단계를 반복합니다:

1. 능동적 데이터 수집 (Active Data Collection)

무작위 탐색 대신, SkillWrapper는 실행할 스킬 인스턴스의 시퀀스를 능동적으로 선택합니다. 시스템은 파운데이션 모델(FM)에 후보 스킬 시퀀스를 생성하도록 유도(prompting)하며, 이 시퀀스들은 다음 두 가지 축을 기준으로 점수가 매겨집니다:

• 균형(Balance, $b$): 성공한 실행과 실패한 실행의 비율이 목표치(예: 0.5)에 가깝도록 시퀀스의 우선순위를 정합니다. 이는 대조 학습(contrastive learning)에 필수적인 양의 사례와 음의 사례를 모두 수집하는 것을 보장합니다.
• 커버리지(Coverage, $c$): 관찰된 연속적인 스킬 쌍의 엔트로피를 최대화하는 시퀀스의 우선순위를 정합니다. 이는 시스템이 다양한 스킬 간 의존성을 관찰하도록 보장합니다.
  시스템은 파레토 최적(Pareto-optimal)인 시퀀스 부분 집합을 선택하여 실행하며, 실행 가능성과 결과를 포착하는 전이 $\langle s, \omega, s' \rangle$를 기록합니다.

2. 생성적 술어 발명 (Generative Predicate Invention)

SkillWrapper는 빈 술어 집합($P = \emptyset$)에서 시작합니다. 새로운 술어는 현재 모델이 관찰된 전이를 설명하지 못할 때만 발명됩니다. 발명은 두 가지 공식적인 조건에 의해 트리거됩니다:

• 조건 1 (전제 조건 불일치): 모델이 스킬 인스턴스가 성공할 것이라고 예측했으나 실패하거나(또는 그 반대), 현재의 술어들이 성공한 상태와 실패한 상태를 구분하지 못하는 경우입니다.
• 조건 2 (효과 불일치): 모델이 동일한 스킬의 성공적인 실행과 실패한 실행의 효과를 구분하지 못하는 경우입니다(리프팅 함수(lifting function)를 통해 서로 다른 객체 인자들을 고려하더라도 마찬가지임).

트리거가 발생하면, 시스템은 비전-언어 모델(VLM)을 포함한 FM에 후보 술어를 생성하도록 요청합니다. 후보 술어는 해당 술어가 데이터셋을 설명하는 능력을 개선하는지(즉, 성공 및 실패 전이를 올바르게 분리할 수 있는 연산자를 구축할 수 있게 하는지) 확인하여 평가됩니다.

3. 연산자 학습 (Operator Learning)

축적된 데이터와 현재의 술어 집합을 사용하여 SkillWrapper는 연산자(전제 조건과 효과를 가진 행동)를 학습합니다.

• 클러스터링(Clustering): 전이는 "리프티드 추상적 변화(lifted abstract changes, 추상적 상태의 차이)"를 기준으로 클러스터링됩니다.
• 전제 조건 도출: 각 클러스터에 대해, 전제 조건은 해당 클러스터 내 전이들의 추상적 초기 상태의 교집합으로 도출됩니다.
• 타입 처리: 객체 카테고리가 중첩되는 도메인에서 과잉 일반화를 방방하기 위해, 시스템은 데이터와 일치하는 가장 낮은 수준의 타입 계층을 사용하여 보수적으로 연산자 파라미터를 할당합니다.

이론적 프레임워크

본 논문은 생성적 술어 발명을 위한 공식 이론을 확립하여, 이 부류의 방법론에 대해 최초로 증명 가능한 보장을 제공합니다:

• 건전성(Soundness): 학습된 모델은 계획의 효과를 정확하게 예측합니다. 즉, 플래너가 특정 상태에 도달할 것이라고 예측하면, 실제 실행도 그곳에 도달합니다.
• 완전성(Completeness): 모델은 실제 해답을 누락하지 않습니다. 즉, 환경에 솔루션이 존재한다면 플래너는 추상적 계획을 찾을 수 있습니다.
• 정확성(Correctness): 저자들은 SkillWrapper의 학습된 모델이 관찰된 데이터에 대해 경험적으로 정확함을 증명합니다(정리 1). 또한, 정적 $\beta$-믹싱 프로세스(stationary $\beta$-mixing process) 하에서 올바른 모델로 점근적으로 수렴함을 증명합니다(정리 2).

실험 결과

저자들은 시뮬레이션과 실제 로봇 모두에서 SkillWrapper를 평가했습니다.

시뮬레이션 (Robotouille)

6개의 객체와 5개의 스킬이 있는 시뮬레이션 주방 환경에서, SkillWrapper를 다음 모델들과 비교했습니다:

• 전문가 연산자(Expert Operators): 수동으로 정의된 PDDL 모델.
• 시스템 술어(System Predicates): 정답(ground-truth) 시뮬레이터 술어(오라클).
• ViLa: 행동 선택을 위해 직접적인 FM 프롬프팅을 사용하는 베이스라인.
• 절제 실험(Ablations): 능동적 데이터 수집 휴리스틱이나 특정 술어 발명 알고리즘이 없는 변형 모델들.

결과:

• SkillWrapper는 모든 비특권(non-privileged) 베이스라인(ViLa 및 무작위 탐색 포함)보다 우수한 성능을 보였습니다.
• "어려운" 문제(최대 15단계)에서 SkillWrapper는 시스템 술어 베이스라인보다 뛰어난 성능을 보였으며, 이는 학습된 추상화가 복잡한 계획 시나리오에서 정답 시뮬레이터 술어보다 더 효과적일 수 있음을 입증합니다.
• 건전성의 요구 사항인 '불가능한 태스크'를 100% 정확하게 식별했습니다.

실제 로봇 실험

Franka Emika Panda(테이블탑)와 bimanual Kuka iiwa 매니퓰레이터에서 실험이 수행되었습니다.

• 일반화: 제한된 훈련 환경(객체의 부분 집합)에서 학습된 모델이 모든 객체를 포함하는 테스트 환경에서도 성공적으로 일반화되어, 보지 못한 장기적 태스크를 해결했습니다.
• 데이터 효율성: 되돌릴 수 없는 동작(dead ends)이 있는 바이매뉴얼(bimanual) 설정에서, SkillWrapper는 반복을 거듭하며 성능이 향상되었고 5회 반복 내에 모든 베이스라인을 넘어섰습니다. 이는 가이드된 능동적 데이터 수집이 되돌릴 수 없는 행동이 존재하는 환경에서 학습하는 데 매우 중요하다는 것을 보여줍니다.

의의 및 주장

본 논문은 태스크 수준 계획을 위해 건전성과 완전성을 증명 가능한 생성적 술어 발명에 관한 최초의 연구라고 주장합니다.

주요 기여는 다음과 같습니다:

1. 공식 이론: 학습된 모델이 증명 가능한 건전성과 완전성을 갖기 위한 조건을 규명함으로써, 기존 FM 기반 접근 방식의 이론적 엄밀성 부족 문제를 해결했습니다.
2. SkillWrapper 시스템: 파운데이션 모델을 활용하여 데이터를 상호작로 수집하고, 술어를 발명하며, 수동 지정 없이 해석 가능한 심볼릭 표현을 학습하는 원칙적인 시스템을 구축했습니다.
3. 경험적 검증: 이러한 학습된 표현이 오프더쉘프(off-the-shelf) 고전 플래너를 사용하여 로봇이 미지의 장기적 태스크를 해결할 수 있도록, 블랙박스 스킬을 조합하는 능력을 광범위하게 입증했습니다.

저자들은 SkillWrapper가 확장 가능한 심볼릭 모델 학습을 향한 유망한 경로를 제시하며, 이를 통해 로봇이 환경의 역학에 대한 특권 지식이나 수동 설계된 추상화 없이도 높은 수준의 목표에 대해 추론할 수 있게 한다고 결론짓습니다. 또한 결정론적 역학 가정 및 FM 출력에 대한 직접 제어 불가와 같은 한계를 인정하며, 확률적 설정 및 노이즈 처리에 대한 향후 연구 과제를 제시했습니다.