기술 요약: APEX – 정밀 조작을 위한 적응형 정책 실행 (Adaptive Policy Execution for Precise Manipulation)

1. 문제 정의: 테스트 시점의 실행 격차 (The Test-Time Execution Gap)

시각 운동(visuomotor) 및 시각-언어-행동(VLA) 정책을 포함한 현대적 모방 학습 시스템은 일반적으로 저수준 제어기(예: 비례-미분(PD) 스킴)에 의해 실행되는 고수준 동작 참조값(예: 관절 목표값 또는 엔드 이펙터 포즈)을 출력합니다. 그러나 정책이 명령한 참조값과 로봇이 실제로 구현한 움직임 사이에는 **테스트 시점의 실행 격차(test-time execution gap)**라고 불리는 결정적인 차이가 존재합니다.

이 격차는 두 가지 주요 원인에서 발생합니다:

1. 불충분한 고수준 출력: 정책 출력은 고차원 참조 신호(속도, 가속도)가 결여되어 있는 경우가 많으며 불연속성을 포함할 수 있어, 정밀한 저수준 추적에 불충분합니다.
2. 불완전한 저수준 역학: 상용 제어기는 모델링되지 않은 역학, 파라미터 불확실성, 그리고 접근 불가능한 게인 파라미터($K_p, K_d$)를 가지고 작동하는 경우가 많습니다.

기존의 솔루션들은 정책 아키텍처를 수정하거나, 잔차 학습(residual learning)을 위해 재학습하거나, 제어기 자체를 변경하는 것과 같은 침해적인 수정을 요구합니다. 이러한 접근 방식은 대규모 사전 학습된 모델이나 정책과 제어기가 접근 불가능한 "블랙박스"로 취급되는 독점적 상용 플랫폼의 경우 실용적이지 않습니다. 본 연구가 다루는 핵심 질문은 다음과 같습니다: 정책과 제어기를 수정하지 않고도 실행 격차를 메울 수 있는가?

2. 방법론: APEX 프레임워크

저자들은 고수준 정책과 저수준 제어기 사이에 삽입되는 플러그 앤 플레이(plug-and-play) 프레임워크인 **APEX(Adaptive Policy EXecution)**를 제안합니다. 고수위 계획을 새로 생성하지 않고도 빠른 센서리모터 루프를 통해 편차를 즉각 수정하는 생물학적 운동 제어에서 영감을 얻은 APEX는, 정책과 제어기를 건드리지 않고 온라인 수정 레이어로 작동합니다.

APEX는 두 단계로 기능합니다:

A. 적응형 수동 필터링 (신호 재구성)

정책 출력($a_\pi$)은 종종 역학적 타당성을 위한 속도($\dot{a}$) 및 가속도($\ddot{a}$) 신호가 부족하므로, APEX는 **적응형 수동 필터(adaptive passive filter)**를 사용하여 매끄럽고 역학적으로 타당한 참조값($\bar{a}$)을 먼저 재구성합니다.

• 이 필터는 추적 오차 $e_a = a_\pi - a$에 의해 구동됩니다.
• 필터는 내부적으로 잘 정의된 $\dot{\bar{a}}$ 및 $\ddot{\bar{a}}$ 신호를 생성하여, 제어기에 공급되는 참조값이 매끄럽고 대역폭 제한이 되도록 보장합니다.

B. 테스트 시점 적응형 보정

알려지지 않은 시스템 역학(관성 $J$)과 접근 불가능한 제어기 게인($K_p, K_d$)을 보상하기 위해, APEX는 필터링된 참조값에 적응형 항을 추가합니다. 제어기로 전달되는 명령 $a_r$은 다음과 같이 공식화됩니다:
$$a_r = \bar{a} + \hat{w}[\hat{J}\ddot{\bar{a}} + \alpha e_a] + \hat{w}_d \dot{\bar{a}}$$
여기서:

• $\hat{w}$, $\hat{w}_d$, $\hat{J}$는 미지의 파라미터($1/K_p$, $K_d/K_p$, $J$)에 대한 시변 추정치입니다.
• 이 계수들은 원본 정책 출력을 미분하지 않고도, 실시간 추적 오차와 필터링된 참조 속도에 의해 구동되는 적응 법칙(adaptive law)을 통해 온라인으로 업데이트됩니다.

이론적 보장

본 논문은 미지의 파라미터와 유계된 외란이 있는 시스템에 대해, 폐루프 시스템 신호가 유계 상태를 유지하고 추적 오차가 잔차 집합(residual set)으로 수렴함을 증명하는 안정성 분석(Theorem 1)을 제공합니다. 이는 로봇의 역학에 대한 정확한 지식 없이도 점근적 추적 성능을 보장합니다.

3. 주요 기여

1. 블랙박스 호환성: APEX는 정책 아키텍처의 수정, 재학습, 또는 저수준 제어기의 내부 파라미터에 대한 접근 없이 실행 격차를 메우는 최초의 프레임워크입니다.
2. 이중 단계 보정: 고차 신호를 재구성하기 위한 수동 필터와 미지의 역학을 보상하기 위한 적응 법칙을 결합하여, 정책 측면의 아티팩트와 제어기 측면의 한계를 모두 해결합니다.
3. 증명 가능한 수렴성: 본 프레임워크는 표준적인 적응 제어 가정 하에 이론적인 수렴 보장을 제공합니다.
4. 일반화 가능성: 이 방법은 특정 정책 클래스(결정론적 또는 생성적)나 동작 표현(관절 공간 또는 작업 공간)에 구애받지 않습니다.

4. 실험 결과

저자들은 시뮬레이션 및 실제 환경(UR5)에서 ACT, Diffusion Policy, Flow Matching, VLA $\pi_{0.5}$의 네 가지 정책 클래스를 대상으로 APEX를 평가했습니다.

• 실행 격차 격리: (정책 오차를 제거하기 위해 전문가 궤적을 제어기에 직접 재생하는) "데모 재생" 실험에서, APEX는 추적 오차를 41.2% 감소시켰으며(30.84 mrad에서 18.15 mrad로), 성공률을 62.5%에서 81.3%로 높였습니다. 이는 저수준 제어기의 불완전함만으로도 상당한 실패가 발생함을 확인시켜 줍니다.
• 정책-제어기 브릿징: 학습된 정책과 결합했을 때, APEX는 테스트된 모든 정책 클래스에서 성공률을 4.8 ~ 25.8 퍼센트 포인트 향상시켰습니다.
  • 특히 PegInsertion 작업(3mm 반경 간극)에서 주목할 만한 성과를 보였으며, 실제 UR5 환경에서 Flow Matching의 성공률을 20%에서 35%로 개선했습니다.
  • APEX는 다양한 PD 제어기 게인($K_p, K_d$) 변화에도 강건함을 보였으며, 고정 파라미터 보정 방식보다 우수한 성능을 나타냈습니다.
• 교차 플랫폼 검증: 본 프레임워크는 서로 다른 시뮬레이터(ManiSkill, LIBERO), 동작 표현(관절 vs 엔드 이펙터), 그리고 실제 하드웨어에 걸쳐 성공적으로 일반화되었습니다.

5. 의의 및 주장

본 논문은 테스트 시점의 실행 격차가 정밀도가 중요한 조작에서 근본적인 병목 현상이며, 흔히 정책 학습을 개선하는 것에 가려져 간과된다고 주장합니다. APEX의 의의는 잘 학습된 정책으로부터 실행 스트림을 교정함으로써 손실된 성능을 회복할 수 있다는 점에 있습니다.

저자들은 다음을 강조합니다:

• 전문가 수준의 동작 참조값이라 할지라도 상용 하드웨어에서는 제어기 한계로 인해 정확하게 실행되지 않을 수 있습니다.
• 정책-제어기 인터페이스에 위치한 가볍고 비침해적인 보정 레이어만으로도 이 격차를 메우기에 충분합니다.
• APEX의 적응적 특성은 시스템 역학을 모르거나 제어기가 "블랙박스"인 경우에도 효과적으로 작동할 수 있게 하여, 대규모 모방 학습 모델의 실제 배포에 매우 실용적입니다.

인정된 한계점: 현재 구현은 적응 게인의 수동 튜닝을 필요로 하며, 외란 항은 명시적으로 추정되기보다는 유계된 것으로 취급되므로 오차가 0으로 수렴하기보다는 유계된 범위 내로 수렴합니다. 향후 연구는 자가 튜닝 메커니즘과 외란 관측기(disturbance observer)를 통합하는 것을 목표로 합니다.