기술 요약: PRISM – 상호작용 구조적 모터 제어를 위한 다항식 표현 (Polynomial Representations for Interaction-Structured Motor Control)

1. 문제 정의

일반적인 로봇 정책은 대개 다층 퍼셉트론(MLP)으로 구현되며, 관측값(관절 위치, 속도, 명령 등)을 행동으로 직접 매핑합니다. MLP는 이론적으로 복잡한 함수를 근사할 수 있지만, 입력값을 1차 변수로 취급합니다. 그러나 로봇의 동작을 결정하는 많은 핵심 물리량들—예를 들어 관절 전력(joint power), 관성 효과, 미끄러짐(slip), 접촉 충격(contact impulse), 컴플라이언스(compliance) 등—은 관측 가능한 변수들 간의 **곱셈적 상호작용(multiplicative interactions)**으로부터 발생합니다.

표준 MLP에서 이러한 상호작용 단서들은 잠재적인 상태로 남게 됩니다. 네트워크는 이러한 관계를 데이터로부터 암시적으로 발견해야 하며, 이 과정에서 물리적으로 2차 또는 그 이상의 관계인 것을 근사하기 위해 과도한 용량(capacity)을 요구하게 됩니다. 단순히 파라미터 수(모델 용량)를 늘리는 것은 입력 기반 자체를 바꾸지 못하며, 물리적 현상과 일치하는 명시적인 "상호작용 기반(interaction basis)"을 정책에 제공하지 못합니다. 또한, 접촉이 빈번한 작업에서 컴플라이언스 동작을 달성하려면 명시적인 힘 센서, 렌치(wrench) 입력 또는 특화된 어드미턴스 제어기가 필요하지만, 센서가 최소화된 배포 시나리오에서는 이러한 장비들을 사용할 수 없는 경우가 많습니다.

2. 방법론: PRISM

저자들은 PRISM(Polynomial Representations for Interaction-Structured Motor Control)을 소개합니다. 이는 물리적 변수들 사이의 다항식 상호작용을 명시적이고, 학습 가능하며, 압축적인 형태로 만드는 정책 표현 방식입니다.

핵심 아키텍처

PRISM은 고유 수용 감각(proprioceptive) 입력을 위한 표준 선형 컨디셔닝 경로를 **인수 분해된 다항식 모듈(factorized polynomial module)**로 대체합니다. 모든 단항식(monomial) 항을 명시적으로 열거하는 대신(이는 계산 효율성이 낮음), PRISM은 학습된 투영(learned projections)을 사용하여 압축된 잠재 요인(latent factors)을 형성합니다.

주어진 고유 수용 감각 입력 벡터 $x_t$에 대해, PR Prism은 두 개의 학습된 아핀 요인(affine factors)을 계산합니다:
$$u_t = W_1 x_t + b_1$$
$$v_t = W_2 x_t + b_2$$

2차 표현은 다음과 같이 구성됩니다:
$$\psi_2(x_t) = u_t \odot (1 + \alpha_2 \odot v_t) = u_t + \alpha_2 \odot (u_t \odot v_t)$$
여기서 $\odot$는 원소별 곱셈(element-wise multiplication)을 의미하며, $\alpha_2$는 0 근처로 초기화된 학습 가능한 파라미터입니다. 이 설계는 정책이 충분히 필요한 곳에서는 선형 특징을 유지하면서, 유익한 곳에서는 2차 상호작용을 학습하여 강화할 수 있도록 합니다.

이 프레임워크는 차수 $K$까지 재귀적으로 확장됩니다:
$$\psi_k(x_t) = \psi_{k-1}(x_t) \odot [1 + \alpha_k \odot (W_k x_t + b_k)]$$
이는 명시적인 확장 없이도 하위 차수의 경로를 모두 보존하면서 고차 상호작용 항을 추가합니다.

학습 패러다임으로의 통합

• 강화 학습 (RL): PRISM은 표준 MLP 백본에 들어가기 전, 배포 가능한 고유 수용 감각 상태에 다항식 모듈을 적용하여 액터(actor) 네트워크를 증강합니다. 행동 공간, 보상 함수, 저수준 제어기는 변경되지 않습니다.
• 모방 학습 (IL): Diffusion Policy에서 PRISM은 표준 선형 고유 수용 감각 컨디셔닝 레이어를 다항식 상호작용 레이어로 대체합니다. 이 레이어는 엔드투엔드(end-to-end)로 훈련되어 시각 및 언어 특징과 결합되어 행동을 예측합니다.

결정적으로, PRISM은 배포 중에 추가적인 센서(힘, 촉각, 렌치)나 특권 정보(접촉 라벨, 지형 마찰력 등)를 필요로 하지 않습니다.

3. 주요 기여

1. 한계점 식별: 본 논문은 기본 MLP 정책이 1차 물리 변수만을 수신하여, 제어에 필수적인 곱셈적 상호작용(예: 전력을 위한 토크 $\times$ 속도)을 명시적으로 표현하지 못한다는 점을 지적합니다.
2. PRISM 아키텍처: 모든 단항식을 열거하지 않고도 이러한 상호작용을 명시적이고 학습 가능하게 만드는 압축된 인수 분해 다항식 정책 표현을 제안합니다. 이는 RL에서의 점진적 활성화와 Diffusion Policy에서의 선형 컨디셔닝 대체 기능을 지원합니다.
3. 실증적 검증: 구조화된 상호작용 모델링이 표준 MLP 및 용량이 일치하는 더 큰 MLP보다 성능 향상을 가져온다는 것을 입증함으로써, 상호작용 구조가 단순히 파라미터 수로 대체될 수 없음을 증명했습니다.

4. 실험 결과

저자들은 Humanoid-Gym(보행)과 LIBERO(접촉이 풍부한 조작)에서 PRISM을 평가했습니다.

휴머노이드 보행 (Humanoid-Gym)

• 성능: PRISM은 에피소드 길이, 선속도/요(yaw) 속도 추적 오차, 생존율 측면에서 표준 MLP 및 "더 큰 MLP"(베이스라인의 거의 두 배에 달하는 파라미터 보유)를 모두 크게 능가했습니다.
• 안정성: PRISM은 베이스라인에 비해 훈련 시드 전반에 걸쳐 더 좁은 수렴 범위를 보였으며 속도 드리프트(velocity drift)를 줄였습니다.
• 결론: 성능의 도약은 단순히 모델 용량을 늘린 것이 아니라, 곱셈적 상호작용을 명시적으로 모델링한 데서 기인합니다.

접촉이 풍부한 조작 (LIBERO)

• 센서 없는 컴플라이언스: PRISM은 91.0%의 성공률을 달성하여, 표준 Diffusion Policy(63.8%)와 센서 없는 컴플라이언스 제어기(MCC-Sensorless, 47.8%)를 크게 앞질렀습니다.
• 동작 특성: PRISM은 창발적인 컴플라이언스 동작을 보여주었습니다. 자유 공간에서는 높은 속도를 유지하다가 접촉 시 즉각적으로 속도를 억제하여, 힘/촉각 입력 없이도 힘을 조절했습니다. 이는 지연된 반응과 높은 충격력을 보였던 MCC-Sensorless보다 우수한 결과였습니다.
• 백본 불가지론 (Backbone Agnosticism): 더 강력한 백본(보행의 경우 BFM-Zero, 조작의 경우 SmolVLA)에 통합되었을 때도 PRISM은 더 큰 용량의 제어기보다 우수한 성능을 유지하여, 이 이점이 단순히 용량 기반이 아닌 아키텍처 기반임을 확인시켜 주었습니다.

물리량 분석

• 선형 프로빙 (Linear Probing): 동결된 PRISM 표현 위에 훈련된 선형 프로브는 메카닉스 기반의 양(미끄러짐 속도, 관절 전력, 접촉 충격, 접촉 작업 등)을 베이스라인보다 훨씬 낮은 평균 제곱 오차(MSE)와 높은 피어슨 상관 계수(PCC)로 예측했습니다.
• 창발적 상호작용: 절제 연구(Ablation studies) 결과, 가장 영향력 있는 학습된 요인들은 "속도 메모리(현재 속도 $\times$ 과거 속도)" 및 "관절 속도 결합"과 같이 물리적으로 의미 있는 결합 관계에 해당함을 밝혀냈으며, 이는 모델이 작업 관련 물리 구조를 학습했음을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 다항식 표현이 체화된 모터 제어(embodied motor control)의 표준적인 아키텍처 선택이 되어야 한다고 주장합니다.

• 물리 정렬된 귀납적 편향 (Physics-Aligned Inductive Bias): 상호작용 구조를 명시적으로 만듦으로써, PRISM은 제어가 상태 변수들의 곱에 의존하는 로봇 역학의 물리적 실체와 정책의 귀납적 편향을 일치시킵니다.
• 센서 없는 컴플라이언스: PRISM은 고유 수용 감각과 시각 입력만으로도 컴플리언트하고 접촉 인지적인 동작을 학습할 수 있음을 보여주며, 이를 통해 배포 시 값비싸거나 취약한 힘/촉각 센서의 필요성을 제거합니다.
• 용량 대비 효율성: 결과는 정책 성능 개선이 단순히 모델 크기를 키우는 것에 달려 있는 것이 아니라, 물리적 변수의 상호작용 구조를 명시적으로 모델링하는 것이 더 우수한 데이터 효율성과 강건성을 제공한다는 것을 시사합니다.

저자들은 PRISM이 저차 다항식에 의해 핵심 단서가 포착된다고 가정하며 긴 호흡의 히스토리나 관측되지 않은 기하학적 구조에는 어려움을 겪을 수 있지만, 다양한 로봇 형태와 작업에 걸쳐 적용 가능한 견고하고 배포 가능한 솔루션을 제공한다고 결론짓습니다.