기술 요약: 인증된 신경 역학 및 제어기를 위한 학습 및 계획용 병렬 미분 가능 도달성

문제 정의

신경망 (NN) 역학 모델과 제어 정책은 로봇 공학, 특히 분석적 모델링이 불가능한 복잡한 환경에서 강력한 경험적 성능을 입증해 왔습니다. 그러나 불확실성 하에서 폐루프 NN 시스템에 대한 강력한 안전 보장을 제공하는 것은 여전히 중요한 과제로 남아 있습니다. 고전적 도달성 분석은 도달 집합의 과대 근사를 통해 형식적 보장을 제공하지만, 확장성이 낮고 NN 구성 요소에 취약하며 지나치게 보수적인 경계를 생성하는 경향이 있습니다. 반면, CROWN 과 같은 최신 신경망 검증 (NNV) 방법은 대규모 네트워크에 잘 확장되지만 주로 정적 검증을 위해 설계되었으며, 연속 시간 역학을 지원하지 않고 일반적으로 미분 불가능합니다.

따라서 도달성 분석은 일반적으로 사후 인증 (post-hoc certification) 으로 제한되어, 인증되지 않은 학습, 검증 실패, 재학습의 비용이 큰 사이클을 초래합니다. 분석적 및 NN 기반 구성 요소를 모두 지원하면서 미분 가능하고 효율적인, 연속 및 이산 시간 시스템을 지원하는 로봇 학습 및 온라인 계획 파이프라인에 직접 통합된 인증된 도달성을 위한 프레임워크에 대한 시급한 필요가 있습니다.

방법론

저자들은 JAX 로 구현된 병렬화 가능한 미분 가능 도달성 프레임워크인 DiffReach를 제안합니다. 핵심 혁신은 분석적 역학을 위한 테일러 모델 (TM) 플로우파이프 구성과 신경 구성 요소에 대한 CROWN 스타일의 선형 경계 전파를 결합한 통합 표현입니다.

1. 통합 표현 (Taylor-CROWN 인터페이스)

GPU 배치 계산과 자동 미분을 가능하게 하기 위해, 이 프레임워크는 고정된 모양의 테일러 모델 표현을 채택합니다. 가변 크기 다항식 대신, 도달 집합은 다음과 같이 표현됩니다:
$$F(z) = c + Az \oplus I \quad \text{또는} \quad F(z) = c + Az + B \tau z \oplus I$$
여기서 $z$는 시간에 상태가 추가된 것, $c$는 상수, $A$와 $B$는 아핀 및 준 2 차 의존성을 포착하는 행렬, $I$는 구간 잔여항입니다. 이 표현은 중간 구간 완화 없이 아핀 의존성을 보존합니다.

• 신경 구성 요소: 이 프레임워크는 신경망에 대한 아핀 경계를 계산하기 위해 CROWN(jax_verify를 통해) 을 활용합니다. 주요 기여는 CROWN 에서 **공유 기울기 제약 (shared-slope constraint)**을 부과하여 하한과 상한이 동일한 선형 항을 공유하도록 보장하는 것입니다. 이를 통해 신경망 출력을 선형 TM 으로 표현하여 분석적 역학 파이프라인과의 호환성을 유지할 수 있습니다.
• 연속 시간 (CT) 시스템: NN 피드백 제어가 있는 CT 시스템의 경우, 프레임워크는 다음을 번갈아 수행합니다:
  1. 제어기 인증: 현재 상태의 TM 포락선을 기반으로 TM-CROWN 인터페이스를 사용하여 신경 제어기의 출력을 인증합니다.
  2. 역학 전파: 제어 입력에 대한 0 차 홀드 정책 하에서 TM 플로우파이프를 사용하여 시스템 역학 (분석적 또는 신경 ODE) 을 전파합니다.
• 이산 시간 (DT) 시스템: 도달성은 각 시간 단계에서 TM-CROWN 인터페이스가 1 단계 매핑을 인증하는 단계별 전파로 축소됩니다.

2. DiffReach-로봇 공학 응용

DiffReach 엔진을 기반으로 저자들은 두 가지 로봇 공학 중심의 방법을 개발했습니다:

• 인증된 학습 (Certified Training): 신경 역학 및 제어기를 위한 학습 방법으로, 표준 예측 또는 추적 손실에 도달성 인식 정규화 항을 추가합니다. 이 항은 유계 불확실성 하에서 인증된 도달 집합의 부피 증가를 패널티로 부과합니다. 학습을 안정화하기 위해 커리큘럼 학습 전략을 사용하여 롤아웃 지평선을 점진적으로 늘리고 교란 반경을 줄입니다.
• 도달성 인식 MPC: 인증된 도달 집합을 온라인 계획에 통합하는 샘플링 기반 모델 예측 제어 (MPC) 방식입니다. 계획기는 작업 목표와 안전하지 않은 궤적 또는 큰 도달 집합에 대한 패널티로 구성된 비용 함수를 최적화합니다. 병렬화를 통해 많은 후보 궤적을 효율적으로 평가할 수 있으며, 최상위 후보에 적용된 기울기 기반 정교화를 통해 보수성을 더욱 줄입니다.

주요 기여

1. 병렬 미분 가능 도달성 프레임워크: 분석적 및 NN 기반 역학/제어기를 가진 연속 및 이산 시간 시스템을 위한 테일러 모델 플로우파이프와 CROWN 스타일 경계 전파를 결합한 통합 JAX 기반 표현.
2. 인증된 학습 방법: 불확실성 하에서 신경 구성 요소의 강건성을 향상시키기 위해 미분 가능한 도달 집합 목적을 사용하는 학습 접근법으로, "도달성 친화적" 모델을 장려합니다.
3. 도달성 인식 MPC: 기울기 기반 정교화를 갖춘 샘플링 기반 MPC 에 인증된 도달 집합을 통합하는 온라인 계획 방식으로, 검증된 구성 (verified-by-construction) 계획을 가능하게 합니다.
4. 실험적 검증: 비선형 조작 (T-밀기) 및 4 로터 작업에 대한 포괄적 평가로, 하드웨어 실험과 고차원 평가 (최대 72 차원) 를 포함하여 인증된 보장을 갖춘 실용적인 온라인 계획을 입증했습니다.

결과

이 프레임워크는 여러 차원에 걸쳐 RTX 4090 GPU 에서 평가되었습니다:

• 효율성과 엄밀성: 최첨단 DT(CROWN) 및 CT(immrax) 기준과 비교하여 DiffReach 는 DT 시스템의 경우 CROWN 보다 약 100 배 빠르면서 비교 가능한 도달 집합의 엄밀성을 달성합니다. CT 시스템의 경우, 수치 오버플로우와 무한 부피 튜브로 자주 고통받는 immrax 보다 훨씬 더 엄밀한 도달 집합을 생성합니다.
• 확장성: 이 프레임워크는 6 개 4 로터 군집 (72 차원 상태) 과 10 관절 평면 암 (40 차원 상태) 을 포함한 고차원 시스템으로 효과적으로 확장됩니다. 메모리는 $O(n^2)$으로 확장되지만, GPU 병렬 행렬 연산으로 인해 실행 시간은 유리하게 확장됩니다.
• 인증된 학습: 도달성 정규화로 학습된 모델은 표준 학습과 비교 가능한 명목 성능을 달성했지만 훨씬 더 엄밀한 도달 집합을 생성했습니다. 이러한 집합은 샘플링된 하한 부피와 밀접하게 일치한 반면, 인증되지 않은 모델은 느슨하고 검증하기 어려운 예측을 산출했습니다.
• 강건한 계획: 유계 교란 하의 MPC 실험에서 도달성 인식 계획기는 높은 성공률과 제약 조건 준수를 유지한 반면, 인증되지 않은 모델을 사용한 일반 MPC 는 더 큰 교란 (예: T-밀기 작업에서의 의도하지 않은 접촉) 하에서 크게 실패했습니다.
• 하드웨어 배포: 이 시스템은 T-밀기를 위해 Kuka iiwa 플랫폼에 배포되어 약 10Hz(정교화 시 5Hz) 의 온라인 속도로 실행되어, 미분 가능 도달성을 실시간 로봇 제어에 통합하는 타당성을 입증했습니다.

중요성과 주장

이 논문은 미분 가능하고 GPU 가속화된 도달성 원시 연산을 제공함으로써 형식적 검증과 로봇 학습 간의 간극을 메운다고 주장합니다. 이전의 오프라인 검증으로 제한된 방법들과 달리, 이 프레임워크는 도달 집합 목적을 신경 역학 및 제어기의 학습과 온라인 계획 실행에 직접 반영할 수 있게 합니다.

저자들은 그들의 접근 방식이 "검증된 구성 (verified-by-construction)" 학습과 계획을 가능하게 하여 비용이 많이 드는 사후 인증 사이클에 대한 의존성을 줄인다고 강조합니다. 테일러 모델과 CROWN 을 단일 계산 그래프 내에서 통합함으로써 이 방법은 아핀 의존성을 보존하고 연속 및 이산 시간 시스템을 모두 지원하여 현재 NN-in-the-loop 분석 도구의 중요한 한계를 해결합니다.

이 연구는 장기적 보수성과 하이브리드/접촉이 풍부한 역학에 대한 현재의 한계를 인정하면서도, 이 프레임워크가 확장 가능한 미분 가능 도달성과 형식적 검증, 로봇 학습, 제어 간의 더 긴밀한 통합에 대한 미래 연구를 고무한다고 결론지었습니다.