Degradation-Aware Cooperative Multi-Modal GNSS-Denied Localization Leveraging LiDAR-Based Robot Detections

기술 요약: LiDAR 기반 로봇 감지를 활용한 열화 인식형 협력 다중 모달 GNSS 부재 환경 국소화

문제 제기
글로벌 항법 위성 시스템 (GNSS) 이 부재인 환경에서 자율 로봇을 위한 정확한 장기 국소화는 필수적입니다. 단일 로봇은 종종 개별 센서의 열화를 완화하기 위해 다중 센서 모달리티 (예: LiDAR 및 카메라) 를 융합하지만, 단일 플랫폼에 모든 센서 유형을 탑재하면 크기, 무게 및 전력 요구 사항이 증가합니다. 이종 로봇 팀 (예: LiDAR 탑재 로봇 및 카메라 탑재 로봇) 에 센서를 분산하면 배포성이 향상되지만 상당한 도전 과제를 야기합니다. 구체적으로, 독립적으로 이동하는 플랫폼으로부터의 비동기적 다중 모달 데이터를 융합하려면 전역 위치 참조 없이 비동기화된 측정값, 익명 로봇 간 감지, 그리고 다양한 수준의 센서 신뢰성을 처리해야 합니다. 기존 긴밀하게 결합된 (tightly-coupled) 다중 로봇 방법은 종종 높은 대역폭과 복잡한 데이터 연관성을 요구하는 반면, 표준 느슨하게 결합된 (loosely-coupled) 접근 방식은 특정 센서가 열화될 때 입력을 적응적으로 가중치 부여하는 데 실패할 수 있습니다.

방법론
저자들은 인자 그래프 (factor graph) 로 구성된 새로운 적응형 느슨하게 결합된 다중 모달 다중 로봇 협력 국소화 프레임워크를 제안합니다. 이 시스템은 LiDAR-관성 주행 거리계 (LIO) 로봇 (로봇 $X$) 과 하나 이상의 시각 - 관성 주행 거리계 (VIO) 로봇 (로봇 $Y$, $Z$ 등) 의 데이터를 통합하며, LiDAR 탑재 플랫폼에 의한 로봇의 직접적인 3 차원 감지를 활용합니다.

주요 기술 구성 요소는 다음과 같습니다:

1. 인자 그래프 구성: 이 문제는 $SE(3)$ 포즈 변수와 사전 정보, 상대 주행 거리계, 로봇 간 감지를 나타내는 인자를 사용하여 모델링됩니다. 모든 기준 좌표계는 중력 정렬 (롤 및 피치 제로) 로 제한되어 각 포즈당 4 자유도 (DOF) 로 상태를 축소합니다.
2. 보간 기반 감지 인자: 비동기 주행 거리계 및 감지 데이터를 처리하기 위해 저자들은 새로운 4 항 인자를 도입합니다. 이 인자는 $SE(3)$ 매니폴드에서 선형 보간을 통해 감지 로봇과 감지된 로봇의 시간적으로 인접한 포즈 변수를 연결합니다. 이는 고빈도 주행 거리계 전파나 엄격한 동기화를 요구하지 않고 임의의 타임스탬프에서 측정을 융합할 수 있게 합니다.
3. LIO 의 적응적 가중치 부여: LiDAR 기반 국소화의 신뢰성은 스캔 매칭 비용 함수의 근사 헤시안 행렬의 최소 고유값을 분석하여 평가됩니다. 고유값이 임계값 미만으로 떨어질 경우 (예: 특징이 없는 환경에서의 열화), LIO 상대 포즈의 공분산이 크게 팽창하여 신뢰할 수 없는 데이터의 가중치를 효과적으로 낮춥니다.
4. Wasserstein 거리를 통한 VIO 의 적응적 가중치 부여: 공분산 행렬을 출력하는 VIO 에 대해, 저자들은 연속된 VIO 필터 출력의 확률 분포 (공분산 행렬) 간의 2-Wasserstein 거리를 계산하는 새로운 방법을 제안하여 상대 포즈 인자의 가중치를 부여합니다. 이 거리는 연속된 필터 단계 간의 알려지지 않은 교차 공분산을 고려하여 상대 포즈의 불확실성에 대한 대리 지표로 작용합니다. VIO 상대 포즈 인자의 분산은 이 Wasserstein 거리에 비례하여 스케일링되어, 시각 특징의 가용성 또는 추적 품질의 급격한 변화에 시스템이 적응할 수 있게 합니다.
5. 관측 가능성 분석: 논문은 다양한 열화 시나리오 하에서 시스템의 관측 가능성에 대한 이론적 분석을 제공합니다. 전역 사전 정보가 없으면 시스템이 관측 불가능한 병진 운동과 요 (yaw) 를 가진다는 것을 보여줍니다. 특히, LIO 열화 발생 시 단일 감지 로봇은 하나의 자유도 (요 및 수직 병진 운동) 를 관측 불가능하게 남기는 반면, 여러 로봇을 감지하면 이 모호성이 해결됨을 식별합니다. 반대로, VIO 열화는 감지된 로봇의 요 (yaw) 를 관측 불가능하게 만듭니다.

주요 기여

• 적응형 느슨하게 결합된 융합: 모든 로봇에 동일한 센서 세트를 탑재하거나 장소 인식이 필요 없이 LIO 및 VIO 데이터와 직접적인 3 차원 로봇 간 감지를 융합하는 방법.
• 보간 기반 인자: 서로 다른 로봇의 비동기화된 측정을 효율적으로 융합할 수 있게 하는 새로운 인자.
• Wasserstein 거리 기반 가중치 부여: 연속된 필터 공분산 간의 Wasserstein 거리에 기반하여 VIO 상대 포즈를 가중치 부여하는 새로운 접근 방식으로, 기본 주행 거리계 알고리즘을 수정하지 않고도 가변적인 VIO 불확실성에 대한 견고한 적응을 가능하게 함.
• 이론적 관측 가능성 분석: 주행 거리계 열화 하의 협력 국소화 문제에 대한 엄격한 분석으로, 특정 관측 불가능 방향과 이를 해결하기 위해 필요한 조건 (예: 감지된 로봇의 수) 을 식별함.

실험 결과
이 방법은 실내 (모션 캡처 정답) 및 실외 (RTK 정답) 환경에서 이종 무인 지상 차량 (UGV) 및 무인 항공기 (UAV) 팀을 포함하는 실제 데이터셋에서 평가되었습니다.

• 열화 하의 성능: VIO 가 인위적으로 열화된 시나리오 (예: 카메라 이미지 블랙아웃) 에서 협력 방법은 UAV 의 3 차원 절대 궤적 오차 (ATE) 를 4.671m 에서 0.101m 로 감소시켰습니다. 특징이 없는 지면으로 인한 심각한 LIO 열화가 있는 실외 시나리오에서 이 방법은 LiDAR 탑재 UAV 의 위치 오차를 74.591m 에서 10.373m 로 감소시켰습니다.
• Wasserstein 거리 검증: Wasserstein 거리와 실제 국소화 오차 사이에 강한 양의 상관관계가 발견되어 가중치 지표로서의 유효성이 검증되었습니다. 제거 연구 (ablation study) 는 Wasserstein 거리에 기반한 적응적 가중치 부여가 정적 분산 설정보다 현저히 우수하며, 특히 급격한 VIO 정확도 하락 중 추정 실패를 방지하는 데 효과적임을 확인했습니다.
• 관측 가능성 검증: 실험은 이론적 발견을 확인했습니다. LiDAR 로봇의 주행 거리계가 열화되었을 때, 하나의 로봇만 감지되면 시스템은 관측 불가능한 방향으로 드리프트를 보였으나, 두 개의 로봇이 감지되면 이 드리프트가 완화되었습니다. 마찬가지로, VIO 전용 로봇의 요 (yaw) 는 협력 국소화를 하더라도 관측 불가능한 상태로 남아 이론적 분석과 일치했습니다.

의의 및 주장
이 논문은 제안된 접근 방식이 GNSS 부재 환경에서 작동하는 이종 로봇 팀을 위한 견고한 해결책을 제공한다고 주장합니다. 직접적인 3 차원 감지를 활용하고 실시간 열화 분석에 기반하여 센서 입력을 적응적으로 가중치 부여함으로써, 이 방법은 센서가 손상되었을 때 개별 주행 거리계 알고리즘에 비해 국소화 정확도를 크게 향상시킵니다. 저자들은 이 접근 방식이 모든 로봇이 전체 센서 세트를 탑재할 필요 없이 협력을 가능하게 하여 배포성을 향상시킨다고 강조합니다. 이 작업은 범위가 제한적이며 LiDAR 기반 감지를 통한 LIO/VIO 융합의 특정 사례에 초점을 맞추고 있으며, 방법이 가변적인 불확실성을 잘 처리하지만 VIO 전용 로봇과 같이 자체 요 (yaw) 결정 센서가 없는 로봇의 요 (yaw) 를 추가 외부 정보 없이 해결할 수는 없다고 명시적으로 밝히고 있습니다.