Certifying Plans under Model Mismatch: A Trilemma for Reachability from Scarce Data

기술 요약: 모델 불일치 하에서의 계획 인증: 희소한 데이터로부터의 도달 가능성에 대한 삼자택일(Trilemma)

문제 정의
본 논문은 학습된 정책(Diffusion Policy 또는 $\pi_0$와 같은 액션 청크)으로부터 생성된 고정 제어 시퀀스를 실제 로봇 시스템에 배포하기 위해 인증하는 문제를 다룹니다. 이때 실제 시스템의 역학(dynamics)이 명목상 시뮬레이션 모델과 다를 수 있습니다. 핵심적인 어려움은 대상 시스템이 오직 희소한(sparse) 일회성 단계 전이(one-step transitions) 데이터만을 제공한다는 점입니다. 이러한 설정에서 인증자는 명목 모델 $f_0$와 실제 타겟 역학 $f^\star$ 사이의 미지의 모델 오차(잔차, residual)에도 불구하고, 계획된 궤적이 안전 영역(unsafe set $O$)을 벗어나지 않을 것임을 결정해야 합니다.

저자들은 근본적인 한계를 식별했습니다: 관측된 데이터 지점들에서 벗어난 곳에서는, 모델 오차가 관측값과 모순되지 않는 범위 내에서 매우 작은 이웃 안에서도 임의로 변할 수 있습니다. 만약 모델 오차가 제한되지 않는다면, 동일한 희소 데이터를 공유하는 두 개의 매끄러운(smooth) 타겟 시스템이라 할지라도, 계획이 관측되지 않은 영역으로 진입하면 임의로 발산할 수 있습니다. 결과적으로, 모든 일관된 시스템에 대해 균등하게 건전한(uniformly sound) 결정론적 인증자는 인증을 거부하거나, 투영된 폭(projected width)이 임의로 커진 도달 가능 튜브(reachable tube)를 반환해야 하며, 이는 인증 정보를 무용하게 만듭니다.

방법론: ForeReach
저자들은 부가 정보(side information)를 통합함으로써 이러한 한계를 극려하는 사전 실행(pre-execution) 인증기인 ForeReach를 제안합니다. 이 방법은 다음 프레임워크 하에서 작동합니다:

1. 부가 정보 요구사항: ForeReach는 규정된 인증 도메인($Z_{cert}$)에 대해 모델 오차에 대한 성분별 리프시츠 상한(Lipschitz bound, $L$)이 제공되어야 합니다. 이 상한은 희소한 데이터와 독립적으로 설정되어야 합니다(예: 유한한 파라미터를 가진 해석적 역학 또는 별도로 인증된 잔차 모델을 통해 설정).
2. 쌍별 일관성 테스트(Pairwise Consistency Test): 전파(propagation) 전, 관측된 잔차 쌍이 제공된 리프시츠 상한을 위반하는지 확인합니다. 만약 $|e_{r_i, k} - e_{r_j, k}| > \sum L_{k\ell}|z_{i,\ell} - z_{j,\ell}| + 2\sigma_k$ 이라면, 선언(declaration)은 거부되며 인증기는 기권(abstain)합니다.
3. 집합 멤버십 엔벨로프(Set-Membership Envelope): 상한이 유효하다는 조건 하에, 방법론은 각 질의된 상태-입력 집합에 대한 잔차의 집합 멤버십 엔벨로프를 구축합니다. 이 엔벨로프는 리프시츠 상수를 통해 확장된 관측치별 경계(McShane extension)와 관측 노이즈 경계의 교집합을 통해 도출됩니다.
4. 조노토픽 전파(Zonotopic Propagation): 불확실성은 명목 모델 $f_0$를 사용하여 순방향으로 전파됩니다. 도달 가능 집합은 조노토프(zonotope)로 표현되며, 여기에는 명목 맵 포괄(nonlinear remainder 항에 대한 interval Hessian 경계 사용)과 잔차 엔벨로프가 포함됩니다.
5. 인증 로직: 인증기는 다음 조건을 만족할 때만 안전 인증서를 발행합니다:
   • 전파 과정이 인증 도메인($Z_{cert}$) 내에 머물러 있음.
   • 도달 가능 튜브의 모든 투영된 슬라이스가 불안전 집합($O$)을 회피함.
   • 방법론은 세 가지 유형의 기권($\perp_F, \perp_D, \perp_S$)을 구분합니다: 쌍별 모순($\perp_F$), 도메인 이탈($\perp_D$), 안전 실패($\perp_S$).

주요 기여

1. 삼자택일 정리(Trilemma Theorem): 저자들은 유한한 일회성 데이터를 사용하는 결정론적 인증기에 대한 "삼자택일"을 증명했습니다. 결정론적 인증기는 다음 세 가지를 동시에 만족할 수 없습니다:
   • 제한 없는 잔차 클래스에 대해 균등하게 건 건전할 것(Uniformly sound).
   • $\bar{\rho}$-정보적일 것(유한한 투영 폭을 가진 튜브 반환).
   • 관측 범위를 넘어선 영역에서도 제한이 없을 것.
     그들은 또한 유계된 매끄러운 모델 오차 클래스에 대해 투영된 폭의 유한한, 계획 의존적 하한을 도출하여, 매끄러움 제약이 있더라도 데이터가 없는 간극(data-free gap)으로 인해 비제로(non-zero) 폭이 강제됨을 보여줍니다.
2. ForeReach 알고리즘: 제공된 리프시츠 상한, 쌍별 일관성 검사, 그리고 조노토픽 전파를 결합하여, 제공된 선언의 유효성에 따라 궤적 포함 여부를 제공하는 실용적인 방법입니다.
3. 실험적 검증: 아핀 점질량(affine point-mass) 및 6상태 동적 자전거(six-state dynamic bicycle) 시스템에 대한 실험을 통해, ForeReach가 지원되지 않는 영역에 진입하는 계획에 대해 올바르게 기권(ensuring soundness)하면서도, 관련 타겟 데이터가 있을 때는 인증을 복구함을 입증했습니다.

실험 결과

• 점질량 시스템(Point-Mass System): 글로벌 캘리브레이션 베이스라인은 지원되지 않는 계획을 인증했으나 타겟 궤적을 포함하는 데 실패하여(커버리지 0%), 높은 허위 안전(false-safe)율을 보였습니다. ForeReach는 지원되지 않는 계획에 대해 기권을 통해 100% 완전 튜브 커버리지를 달왔으며, 지원되는 경로 계획에 대해 99.8%의 인증 재현율(certified recall)을 달성했습니다.
• 동적 자전거 시스템(Dynamic-Bicycle System): 유사한 경향이 관찰되었습니다. 글로벌 캘리브레이션 및 기타 베이스라인(가우시안 프로세스, 컨포멀 방법 등)은 무의미한 튜브를 생성하거나 지원되지 않는 영역에서 궤적을 포함하는 데 실패했습니다. ForeReach는 지원되지 않는 계획에 대해 100% 커버리지를 유지(기권을 통해)하고, $N=400$ 샘플에서 98.3%의 인증 재현율을 달성했습니다.
• 학습된 액션 청크: 학습된 정책에 의해 생성된 계획에 적용했을 때, 기권율은 계획의 명목 롤아웃과 가장 가까운 관측치 사이의 거리와 강한 상관관계(Spearman $\rho=0.697$)를 보였으며, 이는 데이터의 "지지 기반(support)"을 효과적으로 추적함을 나타냅니다.
• 잘못된 선언: 연구 결과, 공급된 리프시츠 상한이 너무 작으면(규칙성을 과소평가하면), 쌍별 테스트는 통과할 수 있지만(국소적 모순이 없는 경우), 결과적인 튜브가 실제 궤적을 포함하기에 너무 좁아져 허위 인증(false certificates)을 초래할 수 있음을 보여주었습니다. 이는 본 방법론의 건전성이 외부 선언의 정확성에 조건적임을 강조합니다.

의의 및 주장
본 논문은 희소한 데이터로부터 계획을 인증할 때의 주요 제한 사항은 데이터의 양이 아니라, 관측되지 않은 영역에서의 모델 오차에 대한 제약이 없다는 점이라고 주장합니다. 저자들은 사용 가능한 인증을 위해서는 데이터 외부에서 제공되는 구조적 정보(리프시츠 상한과 같은)가 필요하다고 주장합니다. 데이터는 잘못된 선언을 반박할 수는 있지만, 관측되지 않은 영역에서 올바른 선언을 확증할 수는 없습니다.

본 연구의 의의는 다음과 같습니다:

• 희소하고 고립된 전이를 사용하는 데이터 기반 도달 가능성(data-driven reachability)의 이론적 한계(삼자택일)를 공식화했습니다.
• 데이터 분포의 전역적 특성을 가정하는 대신, 외부에서 제공된 부가 정보(리프시츠 상한)의 유효성에 따라 건전성과 정보성 사이의 트레이드오프를 명시적으로 수행하는 방법을 제공했습니다.
• "기권(abstention)"이 데이터의 지지 영역을 벗어날 때 필요한 정보적 결과임을 보여주며, 이는 좁지만 건전하지 못한 인증서를 생성할 수 있는 베이스라인들과 대조됩니다.

저자들은 자신들의 보장이 조건부임을 강조합니다: 인증서는 공급된 리프시츠 상한이 전체 인증 도메인에서 유효할 때만 유효합니다. 이 방법은 희소한 데이터로부터 상한을 학습하는 것이 아니라, 이를 활용하여 건전한 엔벨로프를 구축합니다.