Cross-Attention Based Multi-Sensor Fusion for Robust Object Detection in ADAS: YOLOv12 with Spatiotemporal Calibration and iHOA-Tuned Temporal Fusion Transformer

당신이 초능력을 가진 자동차를 운전하고 있다고 상상해 보세요. 이 차는 단순히 도로를 보는 것이 아니라, 도로를 '느낍니다'. 하지만 여기에는 함정이 있습니다. 자동차의 '눈'은 조금 까다롭습니다. 일반적인 카메라는 색상과 형태를 아름답게 포착하지만, 어둡거나 비가 올 때는 혼란에 빠집니다. 레이더 센서는 박쥐처럼 작동하여 안개를 뚫고 보고 속도를 완벽하게 측정할 수 있지만, 해상도가 낮고 세부 사항을 보여주지는 못합니다. 라이다(LiDAR) 센서는 3D 스캐너처럼 세계의 완벽한 지도를 구축하지만, 먼지나 비가 심하게 내릴 때는 어려움을 겪을 수 있습니다.

자율주행 자동차가 안전하려면 이 모든 감각을 하나의 완벽한 그림으로 결합해야 합니다. 이것을 '센서 퓨전(sensor fusion)'이라고 부릅니다. 이것은 마치 탐정 팀을 생각하는 것과 같습니다. 한 명은 돋보기를 가지고 있고, 다른 한 명은 야간 투시경을, 세 번째 한 명은 레이더 건을 가지고 있는 식입니다. 그들이 단순히 각자의 발견을 외치기만 한다면 탐정은 혼란스러울 것입니다. 그들은 서로의 말을 경청하고, 노이즈를 무시하며, 실제로 무슨 일이 일어나고 있는지에 대해 합의할 수 있는 스마트한 방법이 필요합니다. 이 논문은 자동차를 위한 이 초스마트한 탐정 팀을 구축하는 것에 관한 내용입니다. 이를 통해 안개 속에서 보행자를 놓치거나 비닐봉지를 바위로 착각하는 일이 없도록 보장합니다.

---

슈퍼 팀 탐정: 이 논문이 퍼즐을 해결하는 방법

이 연구를 수행한 인도 GITAM 과학 대학의 연구진은 CAMSF-ADAS라고 불리는 새로운 시스템을 구축했습니다. 그들의 목표는 날씨가 최악이거나 도로 상황이 혼란스러울 때도 자동차, 트럭, 사람과 같은 물체를 포착하는 데 매우 뛰어난 자율주행 자동차의 '두뇌'를 만드는 것이었습니다. 그들은 단순히 센서들을 한데 모아놓은 것이 아니라, 정보의 고도화된 조립 라인 역할을 하는 정교한 파이프라인을 구축했습니다.

1단계: 혼란스러운 데이터 정리 및 교정
먼저, 연구진은 센서들이 서로 다른 언어를 사용하고 서로 약간씩 어긋나 있다는 문제를 해결해야 했습니다. 세 명의 친구가 동시에 말하고 있는데, 한 명은 속삭이고 한 명은 소리를 지르며, 모두 서로 다른 거리에 서 있는 상황을 상상해 보세요. 연구진은 먼저 "강건한 스케일링(Robust Scaling)" 기술을 사용하여 데이터를 정제하고, 이상치(갑작스러운 노이즈 급증 등)를 제거하여 센서들이 동일한 조건에서 비교될 수 있도록 했습니다.

그 다음, 그들은 **시공간적 교정(Spatiotemporal Calibration)**을 수행했습니다. 이것은 동일한 도시의 서로 다른 세 가지 지도를 완벽하게 일치시키는 것과 같습니다. 그들은 카메라, 라이다, 레이더가 포착한 차량이 정확히 같은 위치에, 정확히 같은 시간에 존재하도록 만들었습니다. 이것이 없다면 자동차의 두뇌는 하나의 물체가 두 곳에 동시에 존재한다고 판단할 것이며, 이는 재앙을 초래할 수 있습니다.

2단계: "교차 주의(Cross-Attention)" 대화
데이터가 정렬된 후, 연구진은 **멀티 헤드 교차 주의 퓨전 모듈(Multi-Head Cross-Attention Fusion Module)**이라는 특별한 모듈을 도입했습니다. 이것이 이 시스템의 핵심입니다. 카메라, 라이다, 레이더가 전문가로서 원탁 토론을 하는 장면을 상상해 보세요. 단순히 각자의 노트를 합치는 대신, 이 모듈은 그들이 역동적으로 서로 "대화"할 수 있게 해줍니다.

만약 카메라가 "빨간색 형체를 본다"라고 말하는데, 레이더가 "그곳에 빠르게 움직이는 물체가 있다"라고 말한다면, 교차 주의 메커니즘은 "아, 저것은 빠르게 움직이는 빨간 자동차구나!"라고 깨닫도록 돕습니다. 이 메커니즘은 실시간으로 각 센서 입력의 중요도를 가중합니다. 만약 카메라가 눈부심으로 인해 앞이 보이지 않는다면, 시스템은 자동으로 레이더를 더 신뢰하게 됩니다. 이러한 역동적인 대화는 중요한 세부 사항이 유실되지 않도록 보장합니다합니다.

3단계: 탐정의 눈 (YOLOv12)
센서들이 대화를 마친 후, 융합된 정보는 YOLOv12라고 불리는 강력한 객체 탐지기로 전달됩니다. YOLOv12를 군중 속에서 순식간에 용의자를 찾아내는 초집중 탐정이라고 생각하세요. 이것은 유명한 모델 제품군의 최신 버전으로, 빠르고 정확하게 설계되었습니다. 본 연구에서 연구진은 가볍고 빠른 "n(nano)" 버전을 사용했는데, 이는 움직이는 자동차에 필요한 빠른 반응에 적합합니다. 이 모델은 자동차, 트럭, 버스, 자전거, 오토바이 주위에 상자를 그려 그 위치를 정확히 알려줍니다.

4단계: 시간 여행 분류기 (TFT)
물체를 포착하는 것은 절반의 성공일 뿐입니다. 자동차는 그 물체가 무엇인지, 그리고 시간이 흐름에 따라 어떻게 움직이는지도 이해해야 합니다. 이를 위해 연구진은 **시간적 퓨전 트랜스포머(Temporal Fusion Transformer, TFT)**를 사용했습니다. YOLOv12가 스냅샷을 찍는 탐정이라면, TFT는 영화를 관찰하는 탐정입니다. TFT는 패턴을 이해하기 위해 사건의 시퀀스를 살펴봅니다. 저 자전거가 흔들리고 있는가? 저 자동차가 속도를 줄이고 있는가? 데이터의 흐름을 분석함으로써, TFT는 물체에 대해 훨씬 더 똑똑한 추측을 내놓습니다.

5단계: 조절 노브 (IHOA)
마지막으로, TFT가 최상의 성능을 발휘할 수 있도록 연구진은 **개선된 하마 최적화 알고리즘(Improved Hippopotamus Optimization Algorithm, IHOA)**이라는 영리한 최적화 기법을 사용했습니다. 이 알고리즘의 이름은 야생에서의 하마의 행동에서 따왔습니다. 하마가 환경을 탐색하고, 영역을 방어하며, 위협을 느낄 때 안전한 곳으로 물러나는 것처럼, 이 알고리즘은 모델의 최적 성능을 내는 지점(하이퍼파라미터)을 찾아내기 위해 "사냥"합니다. 이 알고리즘은 모델이 최고의 성능을 낼 수 있는 최적의 지점을 찾을 때까지 학습 속도와 데이터 처리 방식 등을 미세하게 조정합니다.

연구 결과

연구진은 카메라, 라이다, 레이더가 포함된 수천 개의 주행 시나리오를 담고 있는 NuScenes 및 CARRADA 데이터셋의 실제 데이터를 사용하여 새로운 CAMSF-ADAS 시스템을 테스트했습니다. 그들은 이 시스템을 HRNetV2p-w18, CRF-Net, MV3D를 포함한 기존의 많은 방법들과 비교했습니다.

결과는 인상적이었습니다. 테스트 결과, CAMSF-ADAS 시스템은 98.33%의 정확도를 달성했으며, 이는 테스트된 다른 방법들(차기 최고 모델은 약 93.85%)보다 현저히 높은 수치였습니다.

• 정밀도(Precision): 95.02% (쓰레기 봉투를 자동차로 잘못 착각하는 경우가 거의 없음).
• 재현율(Recall): 95.00% (실제 자동차를 놓치는 경우가 거의 없음).
• F1-Score: 95.00% (두 지표 사이의 완벽한 균형).
• 연산 시간(Computational Time): 시스템은 벤치마크 평가에서 3.28초의 연산 시간을 기록했는데, 이는 테스트된 다른 모델들(4.37초에서 7.90초 사이)보다 더 낮았습니다(더 빠름).

배경으로부터 물체를 얼마나 잘 분리하는지 살펴보았을 때(IoU 지표 사용), 이 모델은 **50.70%**를 기록하며 차기 최고 모델을 큰 차이로 앞질렀습니다. 또한 보행자나 자전거 같은 특정 물체를 얼마나 잘 '분할(segmentation)'하는지 테스트했을 때도, 이 모델은 61.59%의 Dice 점수로 다시 한번 정상에 올랐습니다.

결론

연구진은 단순히 이 방식이 효과적일 것이라고 추측한 것이 아니라, 시스템을 부분별로 분해하여 이를 증명했습니다. 그들은 "교차 주의(Cross-Attention)"나 "하마(Hippo)" 최적화 도구를 제거하면 정확도가 떨어진다는 것을 보여주었습니다. 이는 시스템의 모든 구성 요소가 필수적임을 확인시켜 줍니다.

이 논문은 이 솔루션이 특히 비나 안개와 같은 까다로운 조건에서 자율주행 자동차를 더 안전하고 신뢰할 수 있게 만드는 데 매우 효과적이라고 제안하지만, 저자들은 이것이 시뮬레이션 및 데이터셋 기반 연구라는 점을 유념하고 있습니다. 그들은 다음 단계로, 이 시스템이 예측 불가능한 현실 세계의 혼돈을 어떻게 다루는지 확인하기 위해 실제 차량에 탑재하여 실제 도로에서 테스트할 것을 제안합니다. 하지만 현재로서는, 이 "슈퍼 탐정" 센서 팀은 도로에 나설 준비가 된 것으로 보입니다.