Interpreting Control Latents for System Identification via Conditional Flow Matching

기술 요약: 조건부 흐름 매칭(Conditional Flow Matching)을 통한 시스템 식별을 위한 제어 잠재 변수(Control Latents) 해석

문제 정의

잠재 변수 조건부 적응형 정책(Latent-conditioned adaptive policies)은 센서리모터 이력으로부터 압축된 잠재 표현을 추론함으로써 다양한 환경의 역학 관계를 가진 로봇이 작동할 수 있게 합니다. 그러나 개념적인 격차가 존재합니다: 학습된 이러한 잠재 변수들은 물리적 모델이라기보다는 내부 제어 신호로서 기능합니다. 결과적으로, 이들은 검사 가능성이 결여되어 있고, 분석을 위해 롤아웃(rollout)할 수 없으며, 안전 인증이나 사후 진단에 불투명합니다.

이러한 잠재 변수를 해석하는 데 있어 주요 장애물은 관측된 행동으로부터 물리적 파라미터로 가는 역방향 매핑의 부적정성(ill-posed nature)입니다. 로봇 공학에서 행동과 역학 사이의 관계는 종종 단사 함수(non-injective)가 아닙니다. 즉, 서로 다른 물리적 시스템(예: 약한 액추에이터를 가진 무거운 차량 vs 강한 액추에이터를 가진 가벼운 차량)이 구별 불가능한 폐루프 행동을 보일 수 있습니다. 물리적 파라미터의 단일 점 추정치로 잠재 변수를 회귀하려는 전통적인 방식은 이러한 물리적 비식별성(non-identifiability)을 포착하지 못하는데, 이는 일대일 매핑이 주어진 잠재 변수와 일치하는 타당한 역학 모델의 동치류(equivalence classes)를 표현할 수 없기 때문입니다.

방법론

저자들은 잠재 변수와 파라미터 간의 일대다(one-to-many) 구조를 명시적으로 모델링함으로써 잠재 표현을 해석하는 프레임워크를 제안합니다. 이 접근 방식은 두 가지 주요 단계로 구성됩니다:

1. 통합 잠재 기반 적응형 제어 (Unified Latent-Based Adaptive Control):
   저자들은 잠재 변수 $z_t$에 조건화된 제어 정책 $\pi(a_t | s_t, z_t)$를 훈련합니다. 특권 인코더(privileged encoder)를 먼저 훈련한 후 이력 기반 인코더를 훈련하는 기존의 2단계 훈련 방식과 달리, 본 연구는 **통합 공동 최적화(unified joint optimization)**를 채택합니다. 정책, 특권 인코더 $\mu(\theta)$, 그리고 이력 기반 인코더 $\phi(\tau_{t-h:t})$가 동시에 최적화됩니다.

   • 목적 함수: 공동 손실 함수는 강화 학습 목적 함수, 이력 기반 잠재 변수 $\hat{z}_t$가 특권 잠재 변수 $z_\theta$를 예측하도록 보장하는 정렬 항(alignment terms), 그리고 표현 붕괴를 방지하기 위한 규제 항을 포함합니다.
   • 목표: 이는 잠재 공간이 특권 표현과 이력 기반 표현 간에 일관되도록 하여, 잠재 변수가 제어에 충분하면서도 센서리모터 이력으로부터 복구 가능하도록 만듭니다.

2. 조건부 흐름 매칭(Conditional Flow Matching, CFM)을 통한 생성적 시스템 식별:
   잠재 변수를 단일 파라미터 벡터로 회귀하는 대신, 저자들은 **조건부 흐름 매칭(CFM)**을 사용하여 각 운용 잠재 변수 $\hat{z}_t$를 물리적으로 구별되는 모델들의 연속적인 분포 $p(\theta | \hat{z}_t)$로 디코딩합니다.

   • 메커니즘: 신경망 $v_\psi$는 기저 분포(가우시안)를 조건부 파라미터 분포로 이동시키는 조건부 벡터 필드를 학습합니다.
   • 훈련: 모델은 통합 훈련 과정에서 수집된 파라미터-잠재 변수 쌍 데이터셋을 통해 훈련됩니다. 흐름 매칭 목적 함수는 학습된 벡터 필드와 타겟 벡터 필드(샘플링된 파라미터와 기저 노이즈 사이의 차이) 간의 차이를 최소화합니다.
   • 추론: 센서리모터 이력으로부터 얻은 잠재 변수가 주어지면, 노이즈 샘플로부터 학습된 벡터 필드를 적분하여 물리적 파라미터 $\hat{\theta}$를 생성합니다. 이를 통해 단일 점 추정치가 아닌, 역학적으로 일관된 시스템 모델들의 분포를 얻습니다.

주요 기여

• 분포적 디코딩 (Distributional Decoding): 본 논문은 여러 시스템이 유사한 행동을 유발하는 비식별성 문제를 해결하기 위해, 제어 잠재 변수를 물리적 모델의 분포로 디코딩하는 방법을 도입했습니다.
• 통합 훈련 파이프라인: 공동 최적화 체계는 잠재 표현이 일관되고 복구 가능하도록 보장하며, 특권 정보와 관측 가능한 이력 사이의 간극을 메웁니다.
• 정책 수정 없는 다운스트림 유용성: 디코딩된 분포는 고정된 저수준 정책에 대해 두 가지 특정 다운스트림 작업을 가능하게 합니다:
  1. 온라인 예측 튜닝: 디코딩된 모델의 병렬 시뮬레이션을 사용하여 고수준 제어기 이득(gain)을 튜닝합니다.
  2. 강건성 분석: 지정된 외란 하에서의 폐루프 응답에 대한 불확실성 엔벨로프(uncertainty envelopes)를 추정합니다.

실험 결과

본 프레임워크는 질량, 관성, 모터 상수 등에 상당한 변화가 있는 쿼드로터 시스템에 적용되었습니다.

1. 예측 제어 튜닝:

   • 명목 성능: 디코딩된 모델 롤아웃을 사용하여 온라인으로 튜닝된 고수준 제어기는 표준 이득 대비 위치 추적 RMSE를 34% 감소시켜, 수동 튜닝된 베이스라인과의 격차를 대부분 좁혔으나 베이스라인 성능을 능가하지는 못했습니다.
   • 변동된 액추에이터 역학: 액추에이터 시상수(time constants)가 증가했을 때(느려진 모터 시뮬레이션), CFM 튜닝 제어기는 수동 튜닝된 베이스라인 대비 위치 RMSE를 23%, 헤딩(heading) RMSE를 45% 감소시켰습니다. 이는 디코딩기가 잠재 변수로부터 느려진 역학을 식별하고 그에 따라 고수준 제어기를 조정하는 능력을 입증했습니다.
   • 하드웨어 배포: 3D 레미니스케이트트(lemniscate) 궤적을 추적하는 실제 하드웨어에서, CFM 튜닝 제어기는 수동 튜닝된 베이스라인과 유사한 추적 정확도를 달면서도 피크 위치 오차와 오차 표준 편차를 줄였습니다.

2. 강건성 분석:

   • 스텝 외란 (Step Disturbances): 디코딩된 모델 앙상블은 일정한 힘의 외란 하에서 횡방향 추적 오차에 대해 보정된 불확실성 엔벨로프를 제공했으며, 실제 시스템 응답을 밀접하게 둘러쌌습니다. 수직 오차 추정은 정확도가 떨어졌으며, 이는 특정 한계를 보여줍니다.
   • 가우시안 외란 (Gaussian Disturbances): i.i.d. 가우시안 힘 외란 하에서, 디코딩된 앙상블은 외란 크기가 증가함에 따라 횡방향 추적 오차가 성장하는 경향을 정확하게 예측하여 신뢰할 수 있는 강건성 엔벨로프를 제공했습니다.

3. 절제 연구 (분포적 vs 결정론적):

   • CFM 디코더를 결정론적 회귀 베이스라인(단일 파라미터 벡터 예측)과 비교한 절제 연구 결과, 분포적 접근 방식이 액션 예측에서 결정론적 방식보다 현저히 우수한 성능을 보였습니다.
   • 공격적인 비행 궤적에서, CFM 디코더는 정책의 모터 명령과 약 ~0.72의 피어슨 상관 계수(PCC)를 달데 반면, 회귀 베이스라인은 0.077의 PCC를 기록했습니다 (Random 베이스라인은 0.202). 이는 잠재 변수에서 파라미터로의 매핑이 고도로 흥분된(highly excited) 영역에서는 잘 정의된 함수가 아니며, 정책의 행동을 포착하기 위해 분포적 표현이 필요함을 확인시켜 줍니다.

의의 및 주장

본 논문은 제어 잠재 변수가 물리적 모델 앙상블으로 변환될 수 있음을 주장하며, 이를 통해 불투명한 내부 표현을 튜닝, 강건성 분석 및 고정된 적응형 정책의 진단을 위한 해석 가능한 도구로 변모시킵니다.

• 해석 가능성: 본 연구는 잠재 변수가 단순한 블랙박스 신호가 아니라, 물리적으로 의미 있는 역학의 분포로 디코딩될 수 있음을 보여줍니다.
• 안전 및 진단: 물리적으로 타당한 모델의 분포를 제공함으로써, 본 프레임워크는 추가적인 하드웨어 실험이나 정책 재학습 없이도 안전 인증 및 진단을 지원합니다.
• 한계: 저자들은 디코딩된 모델이 관측 및 상태 추정 노이즈에 민감하다는 점을 솔직하게 언급했습니다. 또한, 현재 검증은 구조화된 파라미터 모델을 가진 쿼드로터 플랫폼에 국한되어 있습니다. 강한 비선형성, 접촉 또는 하이브리드 역학을 가진 시스템은 더 풍부한 모델 클래스를 요구할 수 있습니다.

저자들은 이 접근 방식이 적응형 정책에 대한 능동적 탐사(active probing)의 경로를 제공한다고 결론짓습니다. 즉, 디코딩된 실패 잠재 변수를 사용하여 향후 개선을 위해 정책의 훈련 분포 내 취약한 영역을 식별할 수 있습니다.