기술 요약: ReStruct – 물리적 인식을 통한 작업 구조의 재구성을 통한 추론 시 로봇 행동 제어

1. 문제 정의

본 논문이 다루는 핵심 과제는 **추론 시 행동 제어(inference-time behavior steering)**입니다. 즉, 학습 과정에서 예상하지 못한 사용자 선호도를 충족시키기 위해, 추가적인 재학습이나 데이터 수집 없이 테스트 시점에 학습된 로봇 정책을 재지정하는 능력입니다.

기존 방식들은 다음과 같은 두 가지 모드에서 실패합니다:

• 엔드 투 엔드(End-to-End) 방식 (예: VLA 모델, Diffusion Policies): 이들은 미세 조정(fine-tuning)이나 가이드 메커니즘(예: soft Lagrangian)에 의존합니다. 이는 전문가의 지식을 필요로 하며, 근사적으로 미분 가능한 선호도에 국한됩니다. 또한, 새로운 선호도를 실행 가능한 행동 집합으로 연결할 명시적인 추상화 계층이 부족하여, 재학습 없이 선호도를 반영하는 데 한계가 있습니다.
• 뉴로-심볼릭(Neuro-Symbolic) 방식: 이들은 선호도를 지정하기 위해 심볼릭 레이어를 사용합니다. 그러나 대개 미리 정의된 심볼에 의존합니다. 이러한 심볼을 편집하면 논리적으로는 유효하지만 물리적으로 불가능한(physically infeasible) 계획이 생성될 수 있는데, 이는 심볼릭 편집이 저수준 컨트롤러까지 전파되지 않기 때문입니다. 컨트롤러는 심볼릭 추상화가 컨트롤러의 실행 가능한 행동 분포와 단절되어 있기 때문에, 물리적 제약(예: 충분한 여유 공간 부족)을 위반하는 계획을 실행하려고 시도할 수 있습니다.

본 논문은 견고한 제어를 위해서는 각 선호도를 컨트롤러가 실행 가능한 행동의 하위 집합에 연결하는 물리적 인식(physically-aware) 중간 표현이 필요하다고 주장합니다.

2. 방법론: ReStruct

저자들은 **ENAP(Emergent Neural Automaton Policy)**를 기반으로 구축된 프레임워크인 ReStruct를 제안합니다. ENAP는 시각-운동(visuomotor) 정책을 고수준 상태 머신 스켈레톤(Probabilistic Mealy Machine, PMM)과 저수준 연속 컨트롤러로 분해합니다. ReStruct는 이 아키텍처를 활용하여 다음의 3단계 과정을 통해 제로샷 제어를 가능하게 합니다.

A. 고수준: 심볼릭 스켈레톤 재구성 ($p(z|\phi)$)

자연어 선호도 $\phi$가 주어지면, ReStruct는 저수준 컨트롤러를 동결한 상태로 기본 정책의 작업 구조를 재구성합니다.

1. 선호도 접지(Preference Grounding): 시각-언어 모델(VLM)이 선호도와 기본 스켈레톤의 클러스터 알파벳을 분석합니다.
   • 기존 알파벳이 충분하다면, VLM은 $\phi$를 유한 트레이스 상의 선형 시제 논리(LTLf) 공식으로 번역하고 이를 결정적 유한 오토마타(DFA)로 컴파일합니다.
   • 알파벳의 세분화가 부족하다면(예: "pick"이 "pick red"와 "pick blue"를 구분해야 하는 경우), VLM은 클러스터를 정제하고 그에 따라 스켈레톤 토폴로지를 업데이트합니다.
2. 동기적 곱(Synchronous Product): 선호도 DFA를 기본(또는 정제된) PMM 스켈레톤과 동기적 곱을 통해 결합합니다. 이를 통해 선호도 $\phi$를 만족하는 궤적만을 구조적으로 허용하는 새로운 제어된 스켈레톤($M_2$)이 생성됩니다.

B. 액션 프리어 브릿지: 궤적 재생 (Trajectory Replay, $p_D(z|\tau)$)

새로운 스켈레톤이 물리적으로 실행 가능한지 확인하기 위해, ReStruct는 수정된 스켈레톤에 대한 액션 프리어(action priors)를 다시 계산합니다.

• 재생 메커니즘: 시스템은 원래의 데모 데이터셋으로부터 대표적인 궤적들을 새로운 제어된 스켈레톤 $M_2$를 통해 재생합니다.
• 필터링: 유효하지 않은 상태에 도달하거나 곱 오토마타의 수락 집합(accepting set) 외부에서 종료되는 궤적은 폐기됩니다.
• 재구성(Re-population): 유효한 궤적은 수용되며, 해당 궤적의 구체적인 액션들이 새로운 스켈레톤의 엣지(edge)와 연관된 액션 리스트에 기록됩니다. 이는 편집된 심볼릭 구조와 동결된 저수준 네트워크 사이의 간극을 메워, 프리어가 새로운 제약 조건 하에서의 물리적 실행 가능 행동을 반영하도록 보장합니다.

C. 저수준: 액션 생성 ($p_D(\tau)$)

저수준 컨트롤러는 전체 제어 과정 동안 동결(frozen) 상태를 유지합니다.

• 아키텍처: 컨트롤러는 현재 관측값과 활성화된 엣지의 액션 리스트(재구성된 프리어)를 입력으로 받습니다.
• 메커니즘: 어텐션 메커니즘을 사용하여 관측값을 리스트 내의 프로토타입 액션에 매핑한 후, 관측값과 클러스터 중심점 사이의 오프셋을 기반으로 잔차 MLP(residual MLP)를 적용하여 보정치를 생성합니다. 최종 액션은 제공된 액션 리스트의 범위 내로 클램핑(clamping)됩니다.
• 이점: 이 설계는 컨트롤러가 재학습 없이도 새로운 구조적 프리어에 적응할 수 있게 하며, 스켈레톤 재구성에 따른 분포 변화(distribution shift)에 대한 강건성을 유지합니다.

3. 주요 기여

1. ReStruct 프레임워크: 학습된 정책이 재학습 없이도 고수준의 의미론적 선호도(객체 중심에서 시간적 논리까지)를 따를 수 있게 하는 제로샷 제어 프레임워크를 제공합니다. 이를 통해 일반 사용자도 언어를 통해 로봇의 행동을 형성할 수 있습니다.
2. 물리적 인식을 갖춘 제어: 궤적 재생을 통해 액션 프리어를 재계산함으로써, 심볼릭 편집이 컨트롤러 레벨까지 전달되도록 하여 물리적으로 불가능한 계획을 방지합니다.
3. 해석 가능성 및 검증 가능성: 상태 머신 구조와 프로토타입 기반 액션 프리어를 통해 선호도 충족 여부를 심볼릭 및 제어 레벨 모두에서 검사할 수 있습니다.
4. 데이터 효율성: 다양한 데모를 통해 경험을 재사용하고, 관련 있지만 서로 다른 작업에 선호도를 주입함으로써 타겟 작업의 행동을 합성하는 교차 작업 적응(cross-task adaptation)을 가능하게 합니다.

4. 실험 결과

저자들은 복잡한 조작부터 긴 호흡의 시간적 동작 및 모션 계획(TAMP)에 이르는 작업들을 대상으로 시뮬레이션(ManiSkill, Calvin) 및 실제 환경(Kinova Gen3)에서 ReStruct를 평가했습니다.

• 선호도 준수 vs. 작업 성공: ReStruct는 성공률(SR)과 선호도 하의 성공률(SRP) 모두에서 VLA 모델(OpenVLA, $\pi_{0.5}$ 등) 및 Diffusion Policy를 포함한 베이스라인보다 일관되게 우수한 성능을 보였습니다.
  • 복잡한 조작 작업(예: SeqPushT, PegInsert)에서 ReStruct는 작업 성공률을 유지하거나 개선하면서도, VLA 모델 대비 선호도 준수 능력을 최대 25% 향상시켰습니다.
  • 거부 필터링(rejection-filtering) 베이스라인(SR을 희생하여 SRP를 높임)이나 프롬프트 주입(prompt-injection) 베이스라인(SR은 유지하나 SRP에 실패함)과 달리, ReStruct는 두 지표 모두에서 높은 점수를 달성했습니다.
• 장기 호흡 적응(Long-Horizon Adaptation): 장기 호흡 작업(예: Causal 및 Unconstrained 스킬 세트)에서 ReStruct는 순서가 섞인 데모 데이터로부터 순차적인 시퀀스를 성공적으로 복구하며, 미세 조정된 VLA 베이스라인을 능가했습니다.
• 강건성: 실제 환경 실험(CanSorting, PassTeaPot, ConeCover)에서 Re-Struct는 VLA 베이스라인이 크게 하락한 것(예: ~30-40%)과 달리, 근접 완벽한 SRP(종종 100%)를 달성했습니다.
• 절제 연구(Ablation Studies): 궤적 재생 단계나 어텐션/클램프 메커니즘을 제거했을 때 성능이 크게 저하되었으며, 이는 액션 프리어를 재접지(re-grounding)하고 유연한 컨트롤러 설계를 사용하는 것의 필요성을 입증합니다.

5. 의의 및 주장

본 논문은 ReStruct가 일반 사용자가 재학습 대신 언어를 통해 로봇을 형성할 수 있는 실행 가능한 경로를 제공한다고 주장합니다. 심볼릭 작업 구조를 저수준 컨트롤러와 분리하면서도 액션 프리어를 통해 물리적 연결을 유지함으로써, 이 방법은 순수 심볼릭 방식이나 순수 엔드 투 엔드 방식이 갖지 못한 "결단력(decisiveness)"과 물리적 타당성을 달성합니다.

저자들은 ReStruct를 현재 배포 방식의 구조적 한계에 대한 해결책으로 제시합니다. 즉, 최적화(training-time methods와 달리)를 요구하지 않으면서도, 심볼릭 편집이 실행 가능한 행동으로 신뢰성 있게 전달되도록(전통적인 neuro-symbolic routing과 달리) 보장합니다. 이 연구는 추론 시 제어가 해석 가능(오토마타를 통해)하면서도 물리적으로 근거(재생된 프리어를 통해) 있을 수 있음을 보여주며, 복잡한 실제 조작 시나리오에서 사용자 선호도에 대한 강건한 적응을 가능하게 합니다.

인정된 한계점:

• 이 방법은 ENAP 백본에 의존합니다. 이를 다른 정책 클래스로 확장하려면 ENAP로 정책을 증류(distill)해야 하는데, 현재는 성능 격차가 발생합니다.
• 제어의 품질는 VLM이 올바른 LTL 공식을 생성할 수 있는지 여부에 달려 있습니다. 복잡한 경우 반복적인 정제가 필요할 수 있습니다.
• 제어 가능한 범위는 현재 도메인 내(in-domain) 및 구성적 도메인 외(compositional OOD) 선호도로 제한됩니다. 더 풍부한 OOD 영역으로 확장하고 완전히 새로운 기술을 끌어내는 것은 여전히 과제로 남아 있습니다.