Emergent Neural Automaton Policies (ENAP) 기술 요약

이 논문은 로봇의 장기 작업 (Long-horizon tasks) 수행 능력을 향상시키기 위해 제안된 **ENAP **(Emergent Neural Automaton Policy) 프레임워크에 대해 다룹니다. ENAP 은 시각 - 운동 (Visuomotor) 데모 데이터로부터 자동으로 상징적 (Symbolic) 구조를 학습하여, 해석 가능한 고수준 계획과 정밀한 저수준 제어를 결합하는 계층적 신경 - 심볼릭 (Neuro-symbolic) 정책을 구축합니다.

---

1. 문제 정의 (Problem)

• 장기 작업의 어려움: 로봇이 복잡한 다단계 작업을 수행하려면 고수준의 이산적 계획 (Discrete Planning) 과 저수준의 연속적 제어 (Continuous Control) 간의 시너지가 필요합니다.
• 기존 방법의 한계:
  • **End-to-End 학습 **(VLA 등) 단일 거대 네트워크를 사용하므로 장기적 추론에 필요한 구조적 사전 지식 (Structural Priors) 이 부족하고, 블랙박스처럼 해석이 어렵며 많은 데이터가 필요합니다.
  • 전통적 Neuro-symbolic 방법: 성능과 해석 가능성은 좋지만, 전문가가 직접 정의한 심볼릭 사전 지식 (Hand-crafted priors, 예: 시간 논리 술어) 에 의존하여 데이터에서 내재된 구조를 적응적으로 발견하지 못합니다.
• 핵심 질문: "시스템 1(직관적 반응) 의 지각 흐름에서 어떻게 시스템 2(상징적 추론) 의 논리적 구조가 자연스럽게 발현될 수 있는가?"

2. 방법론 (Methodology)

ENAP 은 비지도 학습을 통해 작업 수준의 상태 기계 (State Machine) 플랜터를 재구성하고, 이를 하위 잔차 네트워크 (Residual Network) 와 통합하는 3 단계 파이프라인을 따릅니다.

A. 적응형 심볼 추상화 (Adaptive Symbol Abstraction)

• 심볼 생성: 연속적인 관측 데이터 (이미지, 관절 위치 등) 를 인코더를 통해 특징 벡터로 변환한 후, HDBSCAN과 같은 적응형 클러스터링 알고리즘을 사용하여 이산적인 심볼 알파벳 ($\Sigma$) 을 비지도적으로 발견합니다.
• 상태 임베딩: 로봇의 역사적 행동과 심볼 시퀀스를 고정 크기의 임베딩으로 매핑하기 위해 RNN을 사용합니다. 이 RNN 은 다음 행동과 심볼 상태를 예측하는 보조 헤드를 통해 훈련되며, 위상적 일관성을 유지하도록 대비 손실 (Contrastive Loss) 을 최소화합니다.

B. 확장된 $L^*$ 알고리즘을 통한 구조 추출 (Structure Extraction)

• 확장된 $L^*$: 전통적인 $L^*$ 알고리즘은 결정론적 오토마타와 오라클 (Oracle) 을 가정하지만, ENAP 은 확률적 메일리 머신 (Probabilistic Mealy Machine, PMM) 을 학습하기 위해 이를 확장합니다.
  • **자기지도 Membership Query **(MQ) 오프라인 데모 데이터베이스를 "오라클"로 대체하여, 현재 상태와 유사한 히스토리 임베딩을 가진 다음 상태들을 탐색하고 클러스터 중심 (Centroid) 을 확장합니다.
  • **비결정적 Equivalence Query **(EQ) 테스트 트래젝토리가 PMM 의 유효한 경로와 일치하는지 확인합니다. 실패 시, 이를 반례로 사용하여 상태 분할을 유도합니다.
  • 안정적 위상 가지치기: 자기 루프 (Self-loop) 가 있는 안정된 위상을 병합하여 구조를 간소화합니다.
• 결과: 학습된 PMM 은 작업의 위상 (Nodes) 과 전이 (Transitions) 를 나타내는 고수준 플랜터 역할을 합니다.

C. 이진 제어 파이프라인 (Bi-level Control Pipeline)

• **고수준 플랜터 **(PMM) 현재 상태 ($q_t$) 와 입력 심볼 ($c_t$) 에 기반하여 coarse action prior ($a_{base}$) 를 생성합니다. 이는 작업의 전반적인 의도 (Intent) 를 제공합니다.
• 저수준 잔차 네트워크: PMM 이 제공하는 $a_{base}$를 기반으로, 정밀한 연속 제어 동작 ($\hat{a}_t$) 을 생성하기 위해 잔차 네트워크 ($\pi_\psi$) 가 $\Delta a_t$를 예측합니다.
  • $\hat{a}_t = a_{base} + \pi_\psi(q_t, o_t, a_{base})$
• 반복적 EM 학습: 인코더와 잔차 네트워크를 동시에 최적화하기 위해 Expectation-Maximization (EM) 스타일의 반복 학습을 수행합니다. (E-Step: 구조 추출, M-Step: 정책 최적화)

3. 주요 기여 (Key Contributions)

1. ENAP 프레임워크 제안: 엔드 - 투 - 엔드 추론에서 계층적 인지 구조로 진화할 수 있는, 구조화된 작업 추상화와 저수준 반응적 네트워크를 발현 (Emergent) 방식으로 학습하는 방법론 제시.
2. 레이블 없는 Neuro-symbolic 프레임워크: 전문가의 사전 지식이나 레이블 없이, 적응형 심볼 추상화를 통해 해석 가능한 오토마타를 데이터에서 자동으로 발견합니다.
3. 성능 및 이론적 증명: 저데이터 환경에서 VLA 모델보다 최소 8% 이상 우수한 성능을 보이며, 부분 관측 마르코프 결정 과정 (POMDP) 관점에서 프레임워크의 이론적 타당성을 증명합니다.

4. 실험 결과 (Results)

• **복잡한 조작 작업 **(Complex Manipulation)
  • Peg Insertion, Dual Stack Cube 등의 작업에서 기존 VLA(OpenVLA, $\pi_0$ 등) 및 생성형 정책 (Diffusion Policy) 대비 최대 27% 높은 성공률을 기록했습니다.
  • 특히 데이터가 부족한 환경 (Low-data regimes) 에서 ENAP 의 성능 저하가 거의 없었으며, 이는 추출된 PMM 이 작업의 본질적인 위상 (Topology) 을 잘 포착했음을 시사합니다.
• **장기 TAMP 작업 **(Long-Horizon TAMP)
  • CALVIN 벤치마크에서 순차적 및 계층적 작업 모두에서 기존 VLA 기반 모델들보다 우수한 성능을 보였습니다.
• **실제 로봇 작업 **(Real-World)
  • 레고 조립, 물체 분류, 옷걸이 걸기 등에서 $\pi_{0.5}$ 모델을 크게 상회하는 성공률 (StackLego: 88.24% vs 58.82%) 을 달성했습니다.
• 구조적 발견 및 해석 가능성:
  • 학습된 PMM 은 작업의 논리적 분기 (Logical Branching) 와 **자율적 실패 복구 **(Autonomous Failure Recovery) 기능을 자동으로 학습했습니다. 예를 들어, 삽입 실패 시 이전 상태로 돌아가 재시도하는 루프 구조를 발견했습니다.
  • 다양한 인코더 (Oracle, DINO, GMM) 를 사용했을 때, ENAP 이 최적의 구조를 찾아내어 성능을 극대화함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 해석 가능성과 효율성의 균형: ENAP 은 블랙박스 모델의 데이터 비효율성과 전통적 심볼릭 방법의 경직성 사이의 간극을 메웁니다. 로봇이 "무엇을 해야 하는지" (고수준 계획) 와 "어떻게 수행할지" (저수준 제어) 를 명확히 분리하여 학습합니다.
• 자율적 구조 발견: 전문가의 개입 없이 데이터에서 작업의 논리적 구조 (상태 전이, 분기, 루프) 를 발견함으로써, 다양한 작업 환경에 적용 가능한 일반화 능력을 갖춥니다.
• 미래 방향: 이 연구는 로봇이 장기 작업을 수행하기 위해 필요한 "시스템 2(계획)"와 "시스템 1(반응)"의 자연스러운 통합을 보여주며, 해석 가능하고 데이터 효율적인 범용 로봇 에이전트 개발을 위한 중요한 디딤돌이 됩니다.

요약하자면, ENAP은 로봇이 데모 데이터에서 스스로 작업의 논리적 지도 (상태 기계) 를 그려내고, 이를 바탕으로 정밀한 제어를 수행하도록 하는 획기적인 프레임워크로, 장기 작업 수행의 난제를 해결하는 유망한 접근법입니다.