기술 요약: 불확실성 보장을 갖춘 비전 기반 안전한 인간 - 로봇 협업

문제 정의

자율 로봇이 산업, 의료, 가정 등 인간 중심 환경에서 점점 더 활발히 운영됨에 따라, 안전을 보장하기 위해서는 인간의 자세를 정확하게 인식하고, 신뢰할 수 있는 운동 예측을 수행하며, 충돌에 대한 증명 가능한 안전 보장을 제공해야 합니다. 현재 안전한 인간 - 로봇 협업 (HRC) 접근 방식은 세 가지 중요한 한계에 직면해 있습니다:

1. 마커 기반 시스템에 대한 의존성: 증명 가능한 안전 방법은 종종 마커 기반 추적을 의존하는데, 이는 배포 유연성을 제한합니다.
2. 불충분한 불확실성 처리: RGB-D 카메라를 사용하는 비전 기반 방법은 종종 고정된 최대 추정 오차를 가정하거나, 공식적인 보장이 부족한 불확실성 추정을 제공합니다. 또한, 이러한 방법들은 표준 알레토릭 (aleatoric) 불확실성으로 포착되지 않는 위험인 분포 외 (Out-of-Distribution, OOD) 입력에서 종종 치명적으로 실패합니다.
3. 보수적인 운동 모델: 전통적인 안전 프레임워크는 도달 가능 영역을 정의하기 위해 단순하고 데이터 기반이 아닌 운동 모델 (예: ISO 13855:2010 에 따른 모든 방향에서 최대 속도 1.6 m/s 가정) 을 사용합니다. 이러한 모델은 매우 보수적이어서 로봇 운영의 비효율성을 초래합니다. 반면, 최첨단 운동 예측기는 이분산성 (heteroscedastic) 불확실성 추정, 엔드 - 투 - 엔드 불확실성 전파, 그리고 컨포멀 예측 보장을 제공하지 못합니다.

방법론

저자들은 인증 가능한 안전 보장을 제공하기 위해 불확실성 추정과 컨포멀 예측을 통합한 비전 기반 인간 자세 추정 및 운동 예측을 위한 통합 프레임워크를 제안합니다. 이 파이프라인은 네 가지 주요 단계로 구성됩니다:

1. 불확실성 인지 3D 자세 추정

• 2D 추정: 시스템은 YOLO26 을 적응시켜 각 카메라 프레임에서 각 관절의 2D 평균 관절 위치뿐만 아니라 공분산 행렬도 출력하도록 합니다. 이 공분산은 흐름 기반 회귀 모델의 가우시안 분포 스케일에서 유도됩니다.
• 삼각측량: 표준 선형 삼각측량을 통해 3D 관절 위치가 계산됩니다.
• 3D 공분산 전파: 교차 공분산은 보정 세트에서의 잔차 상관관계로부터 추정됩니다. 최종 3D 공분산은 체계적인 재구성 오차 (예: 보정 불완전성) 를 고려하기 위해 작은 등방성 항이 추가된 1 차 전파를 통해 얻어집니다.

2. 불확실성 인지 3D 운동 예측

• 아키텍처: 이 모델은 이산 코사인 변환 (DCT) 트랜스포머 아키텍처를 확장합니다. 이는 시간 축을 따라 자세 및 공분산 입력을 처리합니다.
• 주파수 분리: 저주파 성분 (부드러운 글로벌 경향) 과 고주파 성분 (빠르고 미세한 규모의 변동) 은 어텐션 모듈 후 전용 다층 퍼셉트론 (MLP) 경로를 통해 처리된 후 역 DCT 를 통해 재결합됩니다.
• 불확실성 통합: 불확실성 입력은 학습 가능한 인자로 스케일링되어 자세 특징에 추가됩니다.
• 공분산 예측: 안정성과 유효성을 보장하기 위해, 모델은 촐레스키 분해를 사용하여 공분산 행렬을 예측합니다.
• 학습 전략: 안정적인 다단계 최적화가 사용됩니다: (i) 결정론적 기본 예측기 학습, (ii) 고정된 백본을 가진 불확실성 헤드의 분리 학습, 그리고 (iii) 정확도와 보정을 균형 있게 조정하기 위해 점진적으로 감소하는 가중치 인자 ($\lambda$) 를 사용한 엔드 - 투 - 엔드 미세 조정. 손실 함수는 다변량 가우시안 음의 로그 가능도 (NLL) 와 $L_1$ 자세 손실을 결합합니다.

3. 컨포멀 예측 세트

불확실성 추정을 인증 가능한 안전 경계로 변환하기 위해, 프레임워크는 컨포멀 예측 세트를 구성합니다:

• 비준거 측정 (Non-conformity Measure): 예측된 위치와 실제 위치 간의 유클리드 거리를 기반으로 한 점수가 정의되며, 이는 예측된 공분산의 최대 고유값의 제곱근으로 정규화됩니다.
• 세트 구성: 보정 세트를 사용하여, 실제 관절 위치가 예측된 구 (sphere) 안에 있을 확률이 $1-\epsilon$이 되도록 임계값이 결정됩니다.
• 시간적 확장: 연속 시간을 커버하기 위해, 예측 구의 반경은 이산 예측 사이의 시간 단계에 대해 $\Delta t \cdot v_{max}$ (여기서 $v_{max} = 1.6$ m/s) 만큼 확장됩니다.
• 도달 가능 점유 영역: SARA 도구를 사용하여 이러한 관절 수준의 구를 안전 차단을 위한 전체 신체 도달 가능 점유 영역으로 확장합니다.

4. OOD 감지 및 처리

보이지 않는 데이터에서 모델의 실패를 해결하기 위해:

• 감지: Sketching Lanczos Uncertainty (SLU) 방법이 2D 자세 추정 및 운동 예측 네트워크 모두에 적용되어 OOD 입력을 감지합니다. 효율성을 위해 축소된 모델 (머리와 손 위치만 예측) 이 사용됩니다.
• 우아한 저하 (Graceful Degradation): 입력이 OOD 로 플래그되면 파이프라인이 중단되지 않습니다. 대신, 이전 유효한 운동 예측을 재사용하여 자세 버퍼를 채웁니다. 시스템은 $N_{req}$개의 연속된 유효한 관측 후에만 새로운 이미지 기반 예측을 다시 받아들이며, 이는 무효 데이터의 피드백 루프를 방지합니다.

주요 기여

이 논문은 다음을 특징으로 하는 안전한 HRC 를 위한 프레임워크를 제시합니다:

1. 엔드 - 투 - 엔드 불확실성 전파: 2D 추정에서 삼각측량을 거쳐 운동 예측까지 전파되는 이분산성 알레토릭 불확실성을 가진 3D 인간 운동을 추정하는 파이프라인.
2. 컨포멀 예측 세트: SARA 와 같은 안전 차단 장치와 직접 통합 가능한 유효하고 높은 신뢰도 ($1-\epsilon$) 보장을 제공하는 인간 자세에 대한 예측 세트 생성.
3. 연속 OOD 처리: 과거 유효한 예측을 재사용하여 연속 예측 환경에서 분포 외 (OOD) 입력을 처리하는 방법으로, 치명적인 실패 없이 파이프라인의 연속성을 보장합니다.

실험 결과

이 프레임워크는 Human3.6M 데이터셋과 Franka Emika 로봇을 사용한 실제 세계 HRC 환경에서 평가되었습니다.

• 예측 정확도: Human3.6M 벤치마크에서 모델의 1 단계 (결정론적) 성능은 최첨단 베이스라인 (HisRep, ST-DGCN 등) 을 능가했습니다. 그러나 불확실성 예측이 포함된 최종 모델은 1 단계에 비해 평균 관절 위치 오차 (MPJPE) 가 약간 증가했는데, 이는 불확실성 추정을 제공하기 위한 트레이드오프였습니다.
• 컨포멀 세트 효율성: 표준 ISO 13855:2010 등속도 모델과 비교하여, 제안된 컨포멀 예측 세트는 더 높은 커버리지 (98.25% 대 97.93%) 를 달성하면서도 예측된 도달 가능 영역의 부피를 11 배 줄였습니다.
• OOD 처리 효과성: 전체 파이프라인 평가에서 제안된 OOD 처리 메커니즘은 유효한 운동 예측을 증가시키면서 무효 자세 버퍼의 비율을 36.0% 줄였으며, MPJPE 는 2.6% 만 미미하게 증가했습니다.
• 실제 세계 배포: SARA 차단 장치와 통합된 시스템은 Franka Emika 로봇에서 성공적으로 운영되었습니다. 속도와 분리 모니터링 모드에서 로봇은 인간 운영자가 도달할 수 있기 전에 일관되게 정지하여 인증 가능한 안전 보장의 실용적 타당성을 입증했습니다.

중요성 및 주장

저자들은 그들의 작업이 고정밀 데이터 기반 운동 예측과 엄격한 안전 요구 사항 사이의 간극을 메운다고 주장합니다. 컨포멀 예측과 OOD 감지를 결합함으로써, 이 프레임워크는 로봇이 전통적인 운동 모델의 지나치게 보수적인 가정에 의존하지 않고도 보이지 않는 상황에서 인증 가능한 안전 보장을 갖춘 채 운영될 수 있게 합니다. 예측 부피가 11 배 감소했다는 사실은 이 접근 방식이 안전을 유지하면서 협업 작업에서 로봇의 효율성과 유연성을 크게 향상시킬 수 있음을 시사합니다. 우아한 저하 전략은 센서 데이터가 때때로 학습 분포를 벗어날 수 있는 실제 세계 배포에서 견고성을 보장합니다.