기술적 요약: 도달 가능성 분석을 통한 인증된 포즈 추정

문제 정의

안전-중요 사이버-물리 시스템 (예: 자율 주행) 에서 에이전트는 안전을 보장하기 위해 정밀한 위치 추정이 필요합니다. 기존 위치 추정 기술은 종종 딥러닝이나 GPS 와 같은 외부 서비스에 의존하여 대략적인 추정치만 제공하거나, 적대적 공격, 노이즈, 간섭에 취약합니다. 이러한 방법들은 극단적인 시나리오에서 안전을 보장하는 데 필요한 형식적 보장을 결여하고 있습니다. 또한, 표준 딥러닝 접근법은 블랙박스 특성으로 인해 전역적 정확성 보장을 제공할 수 없습니다. 본 연구가 해결하는 핵심 문제는 신뢰할 수 없는 외부 서비스에 의존하지 않고 단일 카메라 이미지와 알려진 대상 기하학만으로 에이전트의 위치와 방향에 대한 수학적으로 보장된 경계인 인증된 포즈 추정치를 획득하는 방법입니다.

방법론

제안된 접근법은 카메라의 포즈에 대한 인증된 경계를 계산하기 위해 도달 가능성 분석과 형식적 신경망 검증 기술을 활용합니다. 이 시스템은 이벤트 기반 카메라 모델과 볼록 다각형의 집합으로 정의된 대상 물체를 기반으로 작동합니다.

1. 시스템 모델링

• 대상 표현: 대상은 대상 좌표계 (TCF) 에서 볼록 다각형의 집합으로 모델링됩니다.
• 카메라 모델: 핀홀 카메라 모델이 사용되어 내재적 및 외재적 매개변수를 통해 3D 대상을 2D 이진 이미지 (픽셀 좌표계, PCF) 로 매핑합니다. 이 과정에는 회전, 이동, 투영이 포함됩니다.
• 노이즈 처리: 관찰된 이미지에서 교란된 픽셀의 유한한 개수를 허용하는 "노이즈 예산"이 정의되며, 이벤트 기반 카메라가 에지를 신뢰성 있게 감지한다고 가정합니다.

2. 인증된 포즈 추정 프레임워크

이 방법은 두 가지 주요 단계로 진행됩니다.

단계 A: 정합 이미지 포함 (오프라인 사전 계산)
불확실한 포즈 집합 (6 차원 포즈 공간 $\Xi$ 내의 후보 영역) 이 주어지면, 알고리즘은 외부 근사 이미지 ($\hat{I}_E$) 를 계산합니다.

• 집합 기반 계산: 저자들은 포즈, 카메라 매개변수, 대상 기하학의 불확실성을 표현하기 위해 행렬 다항식 존토프를 사용합니다. 이를 통해 민코프스키 합과 곱셈의 정확하고 효율적인 계산이 가능합니다.
• 도달 가능성 분석: 알고리즘은 포즈 불확실성을 카메라 모델 (회전, 이동, 투영) 을 통해 전파하여 이미지 평면에서 대상 꼭짓점의 가능한 위치를 경계 짓습니다.
• 이미지 생성: 이미지의 모든 픽셀에 대해 알고리즘은 대상의 외부 근사 다각형이 해당 픽셀과 교차하는지 확인합니다. 그 결과, 후보 집합 내의 어떤 포즈 하에서도 대상에 의해 조명될 수 있는 경우 해당 픽셀이 "켜지는" 이진 이미지가 생성됩니다.
• 보장: 구체적인 포즈 $\xi$가 후보 집합 $E$ 내에 있으면, $\xi$가 생성한 이미지 $I_\xi$는 계산된 외부 근사 이미지 $\hat{I}_E$의 부분집합임이 보장됩니다.

단계 B: 인증된 포즈 추정 (온라인 추론)
구체적이고 잠재적으로 노이즈가 있는 이미지 $I^*$가 주어지면, 알고리즘은 포즈 추정치를 정제합니다.

1. 후보 필터링: 시스템은 포즈 공간을 후보 상자 ($E_c$) 로 분할하여 사전 계산합니다. 관찰된 이미지 $I^*$가 사전 계산된 외부 근사 이미지 $\hat{I}_{E_c}$에 포함되지 않는 모든 후보 $E_c$를 필터링합니다.
2. 제약 부과 (정제): 남은 후보들에 대해 알고리즘은 포즈 후보와 계산된 꼭짓점 집합 사이의 공유 잠재 공간을 활용합니다.
   • 대상의 꼭짓점에 해당하는 $I^*$ 내의 "증거 픽셀"을 식별합니다.
   • 형식적 검증에서 적응된 역상 포함 기술을 사용하여 잠재 공간 (포즈 후보를 정의하는 초입방체) 에 제약을 부과합니다. 이렇게 하면 결과적으로 제약된 집합은 관찰된 증거 픽셀을 생성할 수 있는 포즈만 포함하게 됩니다.
   • 이 과정은 모든 꼭짓점으로부터의 제약을 교차시켜 포즈 추정치 $E^*$를 반복적으로 강화합니다.

주요 기여

1. 도달 가능성 기반 이미지 포함: 저자들은 도달 가능성 분석을 사용하여 불확실한 포즈로부터 대상의 모든 가능한 이미지를 포함하는 방법을 제시하며, 정합성 (유효한 포즈가 제외되지 않음) 을 보장합니다.
2. 인증된 포즈 검색: 이 과정을 반전시키는 방법을 증명합니다. 즉, 이미지가 주어지면 실제 포즈를 반드시 포함하는 인증된 포즈 추정치를 검색할 수 있습니다.
3. 불확실성 통합: 이 접근법은 행렬 다항식 존토프를 사용하여 포즈, 카메라 매개변수, 대상 기하학의 불확실성을 자연스럽게 통합합니다.
4. 실험적 검증: 이 방법은 합성 및 실제 실험에서 밀집된 인증된 포즈 추정치를 달성하며, 노이즈가 있는 이미지를 효과적으로 처리합니다.

실험 결과

저자들은 인텔 i7 프로세서에서 MATLAB 도구 상자인 CORA 를 사용하여 이 접근법을 평가했습니다.

• 합성 데이터 (착륙 평면): 200x200 해상도 카메라를 사용하여 착륙 평면 시나리오를 시뮬레이션했습니다. 이 방법은 100 개의 무작위 샘플에서 실제 포즈를 성공적으로 복원했습니다. 초기 필터링 단계는 많은 후보를 제거했으며, 후속 제약 정제는 포즈 추정치의 부피를 크게 줄였습니다 (특정 대상의 경우 초기 부피의 약 0.16% 까지). 추가 계산 시간은 최소화되었습니다.
• 실제 데이터 (표지판 감지): Vicon 시스템에서 얻은 실제 포즈가 있는 SilkyEvCam 이벤트 기반 카메라의 138 개 이미지로 테스트했습니다. 이 접근법은 모든 경우에서 실제 포즈를 국소화했습니다.
  • 노이즈 강건성: 시스템은 원시 노이즈가 있는 이미지를 처리했으며, 더 많은 후보를 필터링하여 온라인 계산 시간을 단축한 노이즈 제거 이미지와 함께 더 잘 수행되었습니다.
  • 성능: 필터링 및 정제를 포함한 온라인 국소화는 약 2~4 초 내에 달성되어 근실시간 응용 분야에 대한 이 접근법의 실현 가능성을 검증했습니다.
• 정합성 검증: 독립 실험에서 저자들은 계산된 이미지 포함이 무작위 샘플의 실제 변환된 꼭짓점을 밀집하게 경계 짓는 것을 검증하여 외부 근사의 정밀성을 확인했습니다.

중요성 및 주장

이 논문은 안전-중요 도메인에서 자율 에이전트의 배포를 위한 중요한 단계라고 주장합니다. 시각 데이터와 알려진 기하학만으로 포즈 추정에 대한 형식적 보장을 제공함으로써, 확률적 추정이나 신뢰할 수 없는 외부 서비스에 의존하는 기존 방법의 한계를 해결합니다.

저자들은 그들의 작업이 다음을 가능하게 한다고 강조합니다.

• 형식적 안전 검증: 안전-중요 시스템은 이제 수학적으로 특정 경계 내에서 정확함이 보장된 포즈 추정치를 기반으로 행동을 선택할 수 있습니다.
• 강건성: 시스템은 이미지 노이즈 및 악조건이 존재하더라도 기능을 유지하며 보수적인 경계를 제공합니다.
• 독립성: GPS 나 기타 외부 인프라 없이 카메라와 알려진 대상에만 의존하여 작동합니다.

저자들은 대상이 명확하게 보인다는 가정과 현재 단일 대상 시나리오에 초점을 맞추고 있다는 한계를 인정합니다. 향후 작업은 추정치를 더 강화하기 위해 더 복잡한 증거 픽셀 선택 전략과 다중 대상 교차를 탐구할 수 있다고 제안합니다. 또한 MATLAB 으로 구현되었지만, 연산의 행렬 기반 특성은 GPU 가속 및 더 효율적인 프로그래밍 언어를 통한 상당한 속도 향상 가능성을 시사한다고 언급합니다.