⚡ electrical engineering

Local Conformal Calibration of Dynamics Uncertainty from Semantic Images

본 논문은 환경별 데이터 없이 고불확실성 및 저불확실성 영역을 구분함으로써 미지의 환경에서 확률적으로 안전한 계획을 가능하게 하는 선형 가우시안 동역학 모델에 대한 비점근적 분포-자유 불확실성 정량화 보장을 제공하기 위해 시맨틱 이미지 정보를 활용하는 컨포멀 예측 기반 알고리즘인 OCULAR 를 소개한다.

원저자: Luís Marques, Dmitry Berenson

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Luís Marques, Dmitry Berenson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 자동차 운전법을 가르친다고 상상해 보세요. 로봇에게 지도와 자동차가 어떻게 움직여야 하는지에 대한 규칙 세트를 제공합니다. 하지만 현실 세계에서는 일이 항상 규칙대로 진행되지 않습니다. 때로는 도로가 얼어있고, 때로는 돌풍이 불거나 타이어가 미끄러집니다. 로봇은 알아야 합니다: "다음 1 초 후에 내가 어디에 있을지 얼마나 확신할 수 있을까?"

로봇이 신중해야 할 때 너무 자신 있다면 충돌할 수 있습니다. 과감해야 할 때 너무 신중하다면 갇히거나 너무 천천히 움직일 수 있습니다.

이 논문은 OCULAR(Observation-aware Conformal Uncertainty Local-Calibration, 관찰 인지형 적합 불확실성 지역 보정) 라는 새로운 방법을 소개합니다. OCULAR 를 로봇이 주변에서 무엇을 보느냐에 따라 자신의 예측을 얼마나 신뢰해야 하는지 정확히 파악하도록 돕는"지능형 안전망"이라고 생각하세요.

다음은 이를 단순한 개념으로 분해한 작동 원리입니다:

1. 문제: "일률적 접근"의 실수

로봇이 미래 위치를 추정하는 데 도움을 주는 전통적인 방법들은 대개 일률적인 비옷처럼 행동합니다. 그들은 말합니다,"어디에 있든 최악의 상황을 가정해라."

결함: 로봇이 건조하고 햇볕이 잘 드는 도로에 있다면, 이 비옷은 너무 무거워 로봇을 느리게 만듭니다. 하지만 로봇이 검은 얼음 패치 위에 있다면, 그 같은 비옷은 너무 얇아 로봇이 젖게 됩니다 (충돌).
과거의 방식: 이를 해결하기 위해 이전 방법들은 로봇이 주행하려는 특정 새로운 도로를 미리 주행하여 미끄러움을 측정하도록 요구했습니다. 이는 위험하고 비효율적입니다. 로봇이 벽이 단단하다는 것을 배우기 위해 벽에 충돌하게 하고 싶지는 않을 것입니다.

2. 해결책: "시각 탐정"

OCULAR 는 다릅니다. 새로운 도로를 먼저 주행할 필요 없이, 시각 탐정처럼 행동합니다.

비유: 특정 얼어붙은 도로를 운전해 본 적이 없다고 가정해 보세요. 하지만 과거에 다른 많은 얼어붙은 도로를 운전해 본 적이 있습니다. 당신은"얼어붙은 도로는 하얗고 반짝이는 것처럼 보인다"는 것을 압니다.
OCULAR 의 작동 방식: 로봇이 새로운 도로를 볼 때 카메라 피드를 봅니다. 도로가 이전에 본 얼어붙은 도로처럼 보이면, OCULAR 는 말합니다,"아, 이건 얼음처럼 보이네! 더 신중하게 행동하고 내 움직임이 매우 불확실하다고 가정해야 해."도로가 건조한 아스팔트처럼 보이면 말합니다,"이건 정상처럼 보이네. 더 자신 있을 수 있어."

3. 마법 같은 트릭:"적합 예측"

이 논문은 적합 예측 (Conformal Prediction) 이라는 통계적 트릭을 사용합니다. 이를 보정 도구라고 생각하세요.

로봇은 다음 위치를 예측하는"추정 엔진"(수학 모델) 을 가지고 있습니다.
OCULAR 는 다른 유사한 환경들 (얼음이나 건조한 도로가 있는 다른 지도 등) 로부터 많은 데이터를 가져와 확인합니다: "이 과거 상황에서 추정 엔진은 얼마나 잘못되었을까?"
그런 다음 로봇의 예측된 미래 위치 주위에 안전 버블을 생성합니다.
- 로봇이"낮은 불확실성"영역 (건조한 도로) 에 있다면, 버블은 작고 단단합니다.
- 로봇이"높은 불확실성"영역 (얼어붙은 도로) 에 있다면, 버블은 매우 크게 확장되어 로봇이 안전하게 움직일 수 있는 충분한 공간을 제공합니다.

4. 이것이 중요한 이유

이 논문은 OCULAR 가 이전 방법들이 제대로 해내지 못했던 두 가지 일을 할 수 있음을 증명합니다:

테스트 없이 일반화: 이전에 본 적이 없는 완전히 새로운 도로에서도 안전하게 주행할 수 있습니다. 단, 그 도로가 이전에 연구한 도로들과 시각적으로 유사해야 합니다. 자신을 보정하기 위해 새로운 도로를 먼저 주행할 필요가 없습니다.
효율성: 안전 버블을 모든 곳에서 거대하게 만들지 않습니다 (그렇게 하면 로봇이 거북이처럼 움직일 것입니다). 실제로 필요한 곳 (예: 얼음 위) 에서만 버블을 크게 만들고, 로봇이 자신 있는 곳에서는 작게 유지합니다.

5. 결과

연구자들은 두 가지 시나리오에서 시뮬레이션된 로봇 자동차로 이를 테스트했습니다:

단순한 2D 지도: 로봇이 미끄러운 지점이 있는 복도를 항해해야 하는 경우.
현실적인 3D 시뮬레이션 (Isaac Sim): 로봇이 카메라를 사용하여 눈 덮인 T 자형 교차로를 보는 경우.

결과:

기존 방법들은 얼음 위에서 너무 자신감 있어 충돌하거나, 너무 두려워 움직이지 못해 갇히는 경우가 있었습니다.
OCULAR는 이전에 본 적이 없는 새로운 얼어붙은 도로를 성공적으로 항해했습니다. "얼음"(높은 불확실성) 을 보았을 때는 속도를 늦추고,"건조한 도로"(낮은 불확실성) 를 보았을 때는 속도를 높였습니다. 이는 그 특정 도로를 한 번도 주행해 본 적이 없으면서도 가능했습니다.

요약하자면

OCULAR 는 로봇이 다음과 같이 말할 수 있게 해주는 방법입니다.**"나는 이곳에 가본 적이 없지만, 이와 비슷한 장소를 본 적이 있어. 내가 보는 것에 기반하여, 다음 움직임에 대해 얼마나 걱정해야 하는지 정확히 알고 있어."**이를 통해 로봇은 충돌하거나 먼저 테스트할 필요 없이 새롭고 예측 불가능한 환경에서도 안전하고 효율적으로 움직일 수 있습니다.

기술 요약: 의미론적 이미지에서 역학 불확실성의 국소 등각 보정

문제 제기
실제 환경에서 작동하는 로봇 시스템은 모델링되지 않은 교란 (알레토릭 불확실성) 과 모델 불일치 (인지적 불확실성) 로 인해 불확실성 정량화에 큰 어려움을 겪습니다. 등각 예측 (Conformal Prediction, CP) 은 예측 영역에 대한 확률적 보장을 제공하는 분포 자유 (distribution-free) 프레임워크를 제시하지만, 로봇 공학의 기존 CP 방법들은 두 가지 치명적인 한계를 겪고 있습니다:

구별 능력 부족: 표준 CP 는 데이터셋 전체에 대한 평균 (주변) 커버리지 보장을 제공하지만, 모델 불일치가 높은 영역과 낮은 영역을 상태 - 행동 영역 간에 구별하지 못합니다. 이로 인해 계획기 (planner) 가 불확실성이 낮은 상태로 시스템을 유도하는 것이 불가능해집니다.
환경별 데이터 요구 사항: 현재 접근 방식은 유효성을 보장하기 위해 정확한 테스트 시간 환경에서 수집된 보정 데이터를 일반적으로 요구합니다. 이는 새로운 잠재적 위험 환경 (예: 빙판 도로) 을 단순히 역학 모델을 보정하기 위해 통과해야 하므로 비현실적이고 위험합니다.

저자들은 시각적으로 유사하지만 구별되는 환경들에서 얻은 지각 정보를 활용하여 보지 못한 테스트 시간 환경에 대해 증명 가능한 유한 표본 불확실성 보장을 제공할 수 있는 알고리즘의 필요성에 대응합니다.

방법론: OCULAR
본 논문은 로봇 프레임 지각 데이터를 사용하여 선형 가우시안 역학 모델 ( $\tilde{f}$ ) 을 보정하는 관측 인지 등각 불확실성 국소 보정 (Observation-aware Conformal Uncertainty Local-Calibration, OCULAR) 을 소개합니다. 핵심 혁신은 환경별 데이터가 필요한 세계 좌표계 포즈를 대신하여 학습된 의미론적 관측 표현을 사용하는 것입니다.

방법론은 두 단계로 진행됩니다:

오프라인 보정:
- 관측 처리: 원시 깊이 및 의미론적 이미지는 로봇 프레임의 "평면 의미론적 발자국" ( $o'_t$ ) 으로 투영됩니다. 이 표현은 로봇 앞의 환경을 포착하면서 관련 없는 세계 좌표계 좌표는 폐기합니다.
- 잠재 인코딩: 합성곱 오토인코더 (CAE) 는 보정 환경 세트의 데이터를 기반으로 훈련되어 평면 발자국을 저차원 잠재 벡터 ( $\phi_t$ ) 로 압축합니다.
- 국소 분할: 입력 공간은 속도, 행동, 잠재 관측을 결합한 $X = (v_t, a_t, \phi_t)$ 로 정의됩니다. 의사결정나무 (DTree) 는 비동형 점수 ( $\tilde{f}$ 와 실제 값 간의 불일치) 가 대략 일정한 영역 ( $X_k$ ) 으로 이 공간을 분할하도록 훈련됩니다. 이는 분할 내 점수 분산을 최소화하는 LOCART 알고리즘을 사용하여 달성됩니다.
- 국소 보정: 각 분할 $X_k$ 에 대해, 보정 데이터의 홀드아웃 (hold-out) 부분집합에서 Split Conformal Prediction(SplitCP) 절차가 수행됩니다. 이는 가우시안 예측의 공분산을 조정하는 분할별 스케일링 인자 ( $\hat{q}_k$ ) 를 산출합니다.
온라인 배포:
- 새로운 보지 못한 환경에서 작동하는 동안, 로봇은 현재 관측을 잠재 공간으로 처리하고 사전 훈련된 DTree 를 통과하여 현재 분할 $X_k$ 를 식별합니다.
- 역학 모델의 예측 공분산은 $\hat{q}_k$ 에서 유도된 해당 인자 $\xi_k$ 로 스케일링됩니다.
- 이 보정된 불확실성 추정치는 모델 예측 제어 (MPC) 계획기에 입력됩니다. 계획기는 실제 다음 상태가 $(1-\alpha)$ 확률로 포함되도록 보장되는 예측 영역을 구성하며, 보정된 불확실성이 높거나 장애물과 교차하는 영역을 피하도록 궤적을 최적화합니다.

주요 기여
저자들은 세 가지 주요 기여를 합니다:

알고리즘 제안: 시각적으로 유사한 환경의 데이터만을 사용하여 새로운 보지 못한 환경에서 역학 불확실성에 대한 증명 가능한 유한 표본 보장을 제공하는 OCULAR 알고리즘을 제안합니다.
이론적 유효성: 관측을 투영하고 CAE 를 통해 인코딩하며 의사결정나무를 통해 분할하는 파이프라인이 등각 예측에 필요한 교환성 (exchangeability) 을 보존함을 증명합니다. 이는 전역 주변 보장뿐만 아니라 국소적 (조건부) 커버리지 보장을 가능하게 합니다.
실증적 검증: 무작위 교란과 상당한 모델 불일치 (미끄러운 표면 시뮬레이션) 에 노출된 더블 적분기 시스템에서 접근 방식을 검증했습니다. 실험에는 단순화된 평면 센서와 현실적인 Isaac Sim 카메라가 모두 활용되었습니다.

결과
실험은 네 개의 평면 지도와 세 개의 Isaac Sim 도로 시나리오에서 수행되었으며, OCULAR 를 다음 방법들과 비교했습니다:

NoCP: 보정되지 않은 모델 (분포 외 (OOD) 데이터에서 실패).
SplitCP: 테스트 환경 데이터를 사용한 전역 보정 (분포 내에서는 과도하게 보수적, OOD 에서는 보호 부족).
LUCCa: 테스트 환경 데이터를 사용한 국소 보정 (환경별 데이터 필요).

주요 발견 사항은 다음과 같습니다:

커버리지: OCULAR 는 테스트 환경의 데이터를 전혀 사용하지 않고도 분포 내 및 OOD 영역 (예: 빙판 도로) 모두에서 사용자 설정 커버리지 확률 (90%) 을 달성합니다. 반면, NoCP 는 OOD 영역을 심각하게 과소 커버하고, SplitCP 는 국소 불확실성 변화에 적응하지 못합니다.
부피 효율성: OCULAR 는 "오라클" 최적 영역보다 12~15% 만 큰 예측 영역을 구성하여, 테스트 환경 데이터에 접근 가능한 방법 (LUCCa 등) 과 비교할 수 있는 높은 부피 효율성을 보여줍니다.
안전한 계획: 궤적 최적화 작업에서 OCULAR 는 속도를 늦추고 충돌을 피함으로써 고불확실성 영역을 성공적으로 통과하여 모든 테스트된 지도에서 100% 성공률을 달성했습니다. 보정이 없는 방법 (NoCP) 이나 전역 보정을 가진 방법 (SplitCP) 은 각각 과도한 낙관주의나 과도한 보수성으로 인해 충돌이 빈번하게 발생했습니다.

의의 및 주장
본 논문은 OCULAR 가 이론적 불확실성 보장과 실제 로봇 배포 간의 격차를 해소한다고 주장합니다. 지각 정보를 활용하여 환경 간 일반화를 수행함으로써, 이 방법은 위험한 환경별 보정 데이터 수집의 필요성을 제거합니다. 저자들은 그들의 보장이 비점근적이며 분포 자유이며, 알려지지 않은 실제 시스템 역학에 대한 강력한 가정을 요구하지 않는다고 강조합니다.

저자들은 겸손하게 한 단계 안전 보장과 휴리스틱 다단계 계획을 시연했지만, 실행 중 생성된 지도 관측의 비교환성으로 인해 다단계 안전에 대한 엄격한 이론적 보장은 주장하지 않는다고 명시합니다. 또한, CAE 와 의사결정나무의 하이퍼파라미터에 대한 민감성을 인정하며, 현재 잠재 표현 학습은 불확실성 예측 유틸리티와 분리되어 있어 향후 연구의 방향을 제시한다고 덧붙입니다.