LiDAR-based Dynamic Blockage Prediction: A Data-driven Approach for Learning Interactive Bayesian Models
본 논문은 다중 차량 간의 상호작용을 고수준 어휘를 통해 모델링함으로써 자율 주행 차량의 미래 LiDAR 센서 차단을 예측하고 이상을 탐지하기 위해 상호작용 일반화 동적 베이지안 네트워크 (I-GDBN) 와 상호작용 마르코프 점프 입자 필터 (I-MJPF) 를 활용한 데이터 기반 접근법을 제안한다.
원저자:Saleemullah Memon, Ali Krayani, Pamela Zontone, Lucio Marcenaro, David Martin Gomez, Carlo Regazzoni
자율주행차를 가리개로 가려진 눈을 가진 채 붐비는 거리를 헤쳐 나가는 사람으로 상상해 보세요. 보통 이 차의 "눈"(라이다 센서) 은 레이저 빔을 쏘아 다른 차량과 보행자의 위치를 파악합니다. 하지만 때로는 큰 버스나 보행자, 혹은 악천후가 그 레이저를 가립니다. 그런 상황이 발생하면 차는 실명하게 되며, 이는 위험합니다.
이 논문은 차가 실제로 가려지기 전에 실명할 시점을 예측하도록 가르치는 교묘한 방법을 제안합니다. 이를 간단한 단계로 나누어 설명하면 다음과 같습니다:
1. "기억책"(규칙 학습)
먼저 연구자들은 컴퓨터가 차량의 움직임을 이해하도록 가르쳤습니다. 그들은 단순히 원시 레이저 데이터를 보지 않고, 모든 차량의 움직임을 간단한 "이야기"나 어휘로 변환했습니다.
비유: 춤을 추는 모습을 상상해 보세요. 모든 미세한 근육의 떨림을 기록하는 대신, "왼쪽으로 한 걸음, 회전, 점프"와 같은 발걸음만 기록합니다.
방법: 그들은 **GNG(Growing Neural Gas)**라는 똑똑한 도구를 사용하여 유사한 움직임을 "클러스터"로 그룹화했습니다. 각 클러스터는 사전의 한 단어와 같습니다. 매끄럽고 정상적인 주행은 정상적인 단어로 이루어진 문장입니다. 갑자기 버스 뒤에 사라지는 차량은 "누락된 단어"나 "더미 단어"가 포함된 문장입니다.
2. "그룹 채팅"(상호작용 학습)
차량들은 고립되어 움직이지 않고 상호작용합니다. 버스가 멈추면 그 뒤의 차량들도 속도를 줄여야 합니다.
비유: 그룹 채팅을 생각해 보세요. A 사람이 "나는 멈추고 있어"라고 말하면 B 사람은 멈추어야 한다는 것을 압니다. 연구자들은 서로 다른 차량의 "단어"(움직임 패턴) 를 전역 어휘로 결합하는 시스템을 구축했습니다.
결과: 그들은 I-GDBN(Interactive Generalized Dynamic Bayesian Network)이라는 특수한 모델을 만들었습니다. 이는 단순히 한 대의 차량이 어떻게 움직이는지뿐만 아니라, 차량 전체 그룹이 어떻게 함께 움직이는지 이해하는 초지능 규칙책과 같습니다. 이는 교통의 "문법"을 학습합니다.
3. "수정구"(미래 예측)
이제 시스템이 테스트할 준비가 되었습니다. 새로운 차량이 도로에 나타나면 시스템은 다음에 무슨 일이 일어날지 추측해야 합니다.
올바른 책 선택: 시스템은 차량의 현재 위치를 보고 "이 차량은 우리의 기억책(모델) 중 어떤 것과 가장 비슷할까?"라고 묻습니다. 그런 다음 "정상 주행" 책이나 "가려짐" 책 중 가장 잘 맞는 것을 선택합니다.
입자 필터: 미래를 예측하기 위해 시스템은 I-MJPF라는 방법을 사용합니다. 보드에 수천 개의 작은 다트(입자) 를 던지는 것을 상상해 보세요. 각 다트는 가능한 미래 경로를 나타냅니다. 일부 다트는 "정상 주행"에, 다른 일부는 "가려짐"에 떨어집니다. 시스템은 이전에 학습한 규칙에 따라 이러한 다트들에 가중치를 부여합니다. 만약 다트들이 "가려짐" 시나리오 주변으로 모이기 시작하면, 시스템은 가려짐이 곧 발생할 것임을 알게 됩니다.
4. "자기 인식"(무엇을 모르는지 아는 능력)
가장 멋진 부분은 이 시스템이 "자기 인식"을 한다는 점입니다.
비유: 당신이 걷다가 시야가 가려졌을 때, 일반적인 사람은 당황할 수 있습니다. 하지만 "자기 인식"을 가진 사람은 "아, 지금 내가 볼 수는 없지만, 마지막에 내가 어디에 있었는지 기억하니까 내가 어디로 갈지 추측할 수 있어"라고 압니다.
결과: 센서가 고장 나거나 차량이 시야에서 사라지더라도, 시스템은 "여기서 가려짐이 발생하고 있다고 예측한다"고 말할 수 있으며, 단순히 포기하는 대신 내부 논리를 사용하여 차량의 가능한 경로를 계속 추적할 수 있습니다.
그들이 주장하는 요약
문제: 센서가 가려져 차량이 주변 환경을 추적하는 능력을 상실합니다.
해결책: 교통 흐름과 상호작용의 "어휘"를 학습하는 데이터 기반 시스템.
결과: 시스템은 센서가 가려지기 전에 가려짐을 예측할 수 있으며, 실시간 데이터를 학습된 규칙과 비교함으로써 차량이 장애물 뒤에 사라지는 것과 같은 "비정상"을 감지할 수 있습니다.
이점: 시스템이 더 설명 가능해집니다(왜 예측을 했는지 알 수 있음). 또한 센서가 데이터를 제공하지 못하는 상황에서도 적응할 수 있게 됩니다.
요약하자면, 그들은 차량에게 교통의 "몸짓"을 너무 잘 읽도록 가르쳐서, 자신의 시야가 가려질 시점을 예측하게 만들었습니다. 이렇게 하면 차량이 "볼" 수 없더라도 안전하게 유지할 수 있습니다.
"LiDAR 기반 동적 가림 예측: 상호작용 베이지안 모델 학습을 위한 데이터 기반 접근법"이라는 논문의 상세한 기술적 요약은 다음과 같습니다.
1. 문제 제기
자율주행 차량 (AV) 과 지능형 교통 시스템 (ITS) 은 인식, 국소화, 의사결정을 위해 LiDAR 와 같은 센서에 크게 의존합니다. 이러한 시스템에서 중요한 과제는 센서 가림 또는 가려짐입니다. 이는 버스, 보행자, 다른 차량과 같은 물리적 객체나 악천후 조건이 센서의 시야를 방해할 때 발생합니다.
결과: 가림은 데이터 손실을 초래하여 추적, 항법, 장애물 감지 실패로 이어집니다.
기존 솔루션의 한계: 가림 예측을 위한 현재 AI/딥러닝 접근법 (예: CNN, RNN) 은 종종 다음과 같은 문제점을 겪습니다.
높은 계산 복잡도.
대량의 레이블이 지정된 데이터 필요.
"자기 인식" 및 설명 가능성 부족 (블랙박스 성향).
실시간으로 여러 동적 객체 간의 상호작용 처리의 어려움.
본 논문은 가림이 발생하기 전에 미래 LiDAR 가림을 예측하고 고수준 이상을 감지하여 사전 대응 시스템 반응을 가능하게 하는 솔루션을 제안합니다.
2. 방법론
저자들은 **상호작용 일반화 동적 베이지안 네트워크 (I-GDBN)**와 **상호작용 마르코프 점프 파티클 필터 (I-MJPF)**를 기반으로 한 새로운 프레임워크를 제안합니다. 방법론은 오프라인 학습과 온라인 테스트 두 단계로 운영됩니다.
A. 데이터 전처리 및 추적
데이터셋: 3D LiDAR 포인트 클라우드를 포함한 실제 도로 수준의 차량 - 인프라 (V2I) 데이터가 포함된 "Deep Sense 6G"데이터셋 (시나리오 32) 을 사용합니다.
전처리: 원시 포인트 클라우드는 필터링 (지면 제거, 자르기, 노이즈 제거) 되어 동적 객체를 추출합니다.
추적: 관측을 객체에 연결하는 불확실성을 처리하기 위해 **연결 확률 데이터 연관 필터 (JPDAF)**를 사용하여 여러 차량을 추적합니다.
정상 궤적: 가림 없이 연속적인 궤적.
비정상 궤적: (가림으로 인해) 사라졌다가 다시 나타나는 궤적. 재연결 알고리즘은 이러한 궤적에 대한 누락된 위치를 예측합니다.
B. 오프라인 학습 단계
일반화 상태 (GS) 추출: 무동기 칼만 필터 (UMKF) 가 추적된 차량을 처리하여 GS 벡터 (위치 및 속도) 를 생성합니다.
GNG 클러스터링: 각 차량의 GS 를 클러스터링하기 위해 비지도 **성장 신경 가스 (GNG)**알고리즘을 사용합니다.
이는 각 클러스터가 GDBN 에서의 이산 상태 (노드) 를 나타내는 "어휘"를 생성합니다.
클러스터 간 이동 확률을 모델링하기 위해 전이 행렬 (TMs) 을 학습합니다.
가림 처리: 비정상 궤적의 경우, 가림 위치에 더미 클러스터가 도입됩니다. TMs 는 재연결 확률을 기반으로 업데이트되어 특정 "가림 어휘"를 생성합니다.
상호작용 모델링 (I-GDBN 구성):
여러 차량 간의 상호작용을 모델링하기 위해 더 높은 추상화 수준이 생성됩니다.
클러스터 결합: 개별 차량의 이산 상태 (St) 가 결합되어 글로벌 "단어"(Gt) 를 형성합니다.
글로벌 어휘와 글로벌 전이 행렬이 생성되어 환경의 결합 상태 (예: 차량 A 가 상태 2 이고 차량 B 가 상태 3 인 경우 = 단어 10) 를 나타냅니다.
C. 온라인 테스트 단계
생성 모델 선택: 새로운 테스트 궤적에 대해 시스템은 현재 3D 위치와 모든 훈련된 GDBN 모델 (정상 및 가림 모델 모두) 의 클러스터 평균 간의 유클리드 거리를 계산합니다. 최소 오차 (m∗) 를 가진 모델이 선택됩니다.
I-MJPF 를 통한 추론:상호작용 마르코프 점프 파티클 필터가 미래 상태를 추론하는 데 사용됩니다.
파티클은 시스템 상태에 대한 가설을 나타냅니다.
필터는 선택된 I-GDBN 의 확률 분포에서 단어를 샘플링합니다.
예측된 "단어"를 관측 데이터와 비교하여 미래 위치를 예측하고 이상을 감지합니다.
3. 주요 기여
I-GDBN 프레임워크: 저수준 관측에서 고수준 추상화로 이동하며 여러 차량 간의 상호작용을 학습하는 확률적, 데이터 기반 모델을 제안합니다.
자기 인식 어휘: 가림 시나리오를 위해 "더미 노드"를 통합하여 모델의 어휘를 수정하는 메커니즘을 도입함으로써 시스템이 가림을 학습하고 예측할 수 있게 합니다.
최적 모델 선택: 실시간 오차 최소화를 기반으로 테스트 중에 가장 좋은 생성 모델 (정상 대 가림) 을 선택하는 동적 선택 전략을 구현하여 예측 정확도를 향상시킵니다.
설명 가능성: 블랙박스 딥러닝 모델과 달리 I-GDBN 은 전이와 불확실성이 명시적으로 모델링된 해석 가능한 구조를 제공하여 자기 인식을 강화합니다.
4. 시뮬레이션 결과
시스템은 Deep Sense 6G 데이터셋을 사용하여 평가되었습니다.
정상 시나리오: 모델은 단일 궤적의 경우 ID-51, 상호작용 궤적의 경우 ID 267/321 과 같이 최상의 생성 모델을 성공적으로 선택하여, 최소한의 이상으로 예측된 단어가 추정된 단어와 밀접하게 일치하도록 했습니다.
가림 시나리오:
알려진 위치에서 가림이 발생했을 때, 시스템은 사전 훈련된 가림 모델 (ID-1000) 을 선택하여 낮은 오차로 가림을 정확하게 예측했습니다.
한계: 훈련 데이터를 초과하는 "새로운" 상황 (예: 테스트의 18~22 프레임) 에서 가림 지속 시간이 길어지면, 시스템은 특정 지속 시간이 모델에 완전히 포착되지 않았음을 감지하여 이상을 감지했지만, 여전히 올바른 가림 모델 ID 를 활용했습니다.
지표: 예측된 단어와 추정된 단어 간의 해밍 거리 (일치 시 이진 0, 불일치 시 1) 를 사용하여 성능을 측정했습니다.
5. 의의 및 향후 작업
안전 및 사전 대응: 이 접근법은 자율주행 차량이 센서 고장에 단순히 반응하는 것이 아니라 이를 예측하여 사전 대응 의사결정 (예: 센서가 완전히 가려지기 전에 감속하거나 차선 변경) 을 가능하게 합니다.
설명 가능한 AI (XAI): 확률적 그래픽 모델을 사용하여 시스템이 가림을 예측한 "이유"에 대한 투명성을 제공하며, 이는 안전이 중요한 자율 시스템에 필수적입니다.
향후 방향: 저자들은 3D LiDAR 데이터와 통신 신호를 융합하여 환경 인식 능력을 향상시키기 위해 프레임워크를 **통합 감지 및 통신 (ISAC)**시스템으로 확장할 것을 제안합니다.
요약하자면, 이 논문은 저수준 센서 데이터와 고수준 상황 인식 간의 간극을 해소하는 다중 차량 환경에서 LiDAR 가림을 예측하기 위한 견고하고 해석 가능하며 적응적인 프레임워크를 제시합니다.