HeCoFuse: Cross-Modal Complementary V2X Cooperative Perception with Heterogeneous Sensors

이 논문은 이종 센서 구성을 가진 차량 간 (V2X) 협력 인식의 한계를 해결하기 위해 계층적 융합 메커니즘과 적응형 학습 전략을 도입한 'HeCoFuse' 프레임워크를 제안하며, TUMTraf-V2X 데이터셋과 CVPR 2025 DriveX 챌린지에서의 최상위 성능을 입증했습니다.

핵심

🚗🚦 헤코퓨즈 (HeCoFuse): "서로 다른 눈"을 가진 차와 도로가 함께 세상을 보는 방법

이 논문은 자율주행차와 도로 인프라가 서로 다른 '눈' (센서) 을 가지고 있을 때, 어떻게 서로 도와주며 더 안전하게 운전할 수 있는지에 대한 혁신적인 해결책을 제시합니다.

기존의 연구들은 "모든 차와 도로에 똑같은 고성능 카메라와 라이다 (레이저 센서) 가 달려있다"는 이상적인 가정을 많이 했습니다. 하지만 현실은 다릅니다. 어떤 차는 카메라만 있고, 어떤 도로 기둥에는 라이다만 있을 수도 있죠. 이 논문은 바로 이런 현실의 불균형을 해결하는 방법을 개발했습니다.

---

1. 문제 상황: "눈이 다른 친구들"의 팀워크

상상해 보세요. 자율주행차 A 는 고화질 카메라만 달렸고, 옆에 있는 도로 기둥 B 는 정밀한 라이다만 달렸습니다.

• 카메라 (눈): 사물의 색깔, 표지판, 사람 얼굴은 잘 보지만, 거리를 재는 데는 약하고 밤에는 잘 안 보입니다.
• 라이다 (레이더): 거리를 아주 정확히 재고 밤에도 잘 보지만, 사물이 무엇인지 (색깔이나 모양) 는 잘 모릅니다.

기존 시스템은 이 두 친구가 서로 다른 눈을 가지고 있다는 사실을 무시하고, 무리하게 데이터를 합치려다 보니 정보가 꼬이거나 성능이 떨어지는 문제가 있었습니다. 마치 안경을 쓴 사람과 안경을 쓰지 않은 사람이 같은 그림을 보며 대화할 때, 서로가 보는 게 달라서 오해가 생기는 상황과 비슷합니다.

2. 해결책: "헤코퓨즈 (HeCoFuse)"라는 똑똑한 중재자

이 논문에서 제안한 HeCoFuse는 바로 이 두 친구 (차와 도로) 가 서로의 약점을 보완하고 강점을 살릴 수 있게 해주는 똑똑한 중재자 (팀장) 역할을 합니다.

🌟 핵심 아이디어 1: "누가 더 잘 보는지 알아서 배분하기" (계층적 어텐션)

HeCoFuse 는 데이터를 합칠 때 무작위로 섞지 않습니다. 대신 **"지금 이 부분은 누가 더 잘 보지?"**를 실시간으로 판단합니다.

• 비유: 팀 프로젝트에서 수학 문제를 풀 때는 라이다 (거리 측정) 가 달린 친구에게 맡기고, 영어 단어 맞추기는 카메라 (이미지 인식) 가 달린 친구에게 맡기는 것과 같습니다.
• HeCoFuse 는 각 센서의 특성을 분석해, 밤에는 라이다의 말을 더 듣고, 낮에는 카메라의 정보를 더 중요하게 여깁니다. 이렇게 상황에 따라 무게를 다르게 두는 기술을 적용했습니다.

🌟 핵심 아이디어 2: "화면 크기를 상황에 맞게 조절하기" (적응형 해상도)

카메라와 라이다는 데이터의 '크기'와 '세부 정보'가 다릅니다. 이를 그대로 합치면 컴퓨터가 너무 많은 일을 해야 하죠.

• 비유: 마치 고해상도 사진 (라이다) 과 저해상도 그림 (카메라) 을 섞을 때, 둘 다 너무 크게 확대하지 않고 적당히 줄여서 맞춰주는 작업과 같습니다.
• HeCoFuse 는 컴퓨터의 계산 부담을 줄이면서도 중요한 정보는 잃지 않도록, 센서 종류에 따라 데이터의 크기를 자동으로 조절합니다.

🌟 핵심 아이디어 3: "어떤 센서가 없어도 괜찮아" (공조 학습)

가장 놀라운 점은 어떤 센서가 있든 없든 이 시스템이 잘 작동한다는 것입니다.

• 비유: 축구팀에서 공격수만 있든, 수비수만 있든, 둘 다 있든 팀이 이길 수 있도록 훈련된 선수들처럼, HeCoFuse 는 9 가지 다른 센서 조합 (카메라만, 라이다만, 둘 다 등) 을 모두 경험하며 훈련했습니다.
• 그래서 차에 라이다가 고장 나거나, 도로에 카메라가 없어도 시스템이 "아, 지금은 이 센서로만 해야겠구나"라고 알아서 대처하며 성능을 유지합니다.

3. 실제 성과: "CVPR 2025" 대회 1 등

이 기술은 실제 독일 뮌헨의 복잡한 도시 도로에서 촬영된 데이터로 테스트되었습니다.

• 결과: 모든 센서가 완벽하게 달린 상황에서도, 그리고 차와 도로의 센서가 서로 다른 상황에서도 기존 최고의 기술보다 더 높은 정확도를 보여주었습니다.
• 특히, 차에는 라이다만 있고 도로에는 카메라와 라이다가 있는 상황에서 가장 뛰어난 성능을 내며, CVPR 2025 DriveX 챌린지에서 1 위를 차지했습니다.

4. 결론: 현실 세계를 위한 진정한 자율주행

이 논문이 말하려는 핵심은 **"완벽한 장비가 없어도, 서로 다른 장비라도 함께 일하면 더 안전하다"**는 것입니다.

우리가 사는 세상은 모든 차와 도로에 똑같은 비싼 장비를 다 달 수 없습니다. 하지만 HeCoFuse는 서로 다른 '눈'을 가진 차량과 도로가 서로의 약점을 보완하며, 마치 하나의 거대한 지능처럼 작동하게 만들어줍니다. 이는 앞으로 더 안전하고 저렴하게 자율주행 시스템을 현실에 도입하는 데 큰 발판이 될 것입니다.

한 줄 요약:

"서로 다른 눈 (센서) 을 가진 차와 도로가, 서로가 잘하는 일을 맡게 해주는 똑똑한 중재자 (HeCoFuse) 가 등장하여, 현실의 불완전한 환경에서도 최고의 안전을 보장합니다!"

기술 요약

1. 문제 정의 (Problem)

실제 차량 - 인프라 (V2X) 협력 지각 시스템은 비용 제약과 배포 환경의 차이로 인해 차량과 인프라 간 센서 구성이 이질적 (Heterogeneous) 인 경우가 많습니다.

• 현실적 제약: 모든 노드가 동일한 센서 (예: LiDAR 와 카메라 모두 보유) 를 갖는다는 가정은 현실에서 성립하기 어렵습니다. 일부 노드는 LiDAR 만, 일부는 카메라만, 혹은 둘 다 가질 수 있습니다.
• 주요 도전 과제:
  1. 비대칭 모달리티: LiDAR(공간 정밀도) 와 카메라(시각적 의미 정보) 는 공간 해상도, 시야각, 정보 밀도가 달라 특징 정렬 (Feature Alignment) 과 융합이 어렵습니다.
  2. 특징 불일치: 특정 노드에서 센서가 누락된 경우, 단순한 융합 전략은 최적의 성능을 내지 못합니다.
  3. 시스템 견고성: 부분적인 센서 고장이나 다양한 능력을 가진 노드와의 상호작용 시, 시스템이 유연하게 적응하며 성능 저하를 최소화해야 합니다.

2. 제안 방법론: HeCoFuse (Methodology)

저자들은 이질적인 센서 구성에서도 효과적인 협력 지각을 가능하게 하는 통합 프레임워크인 HeCoFuse를 제안합니다. 이 프레임워크는 차량 (Vehicle) 과 인프라 (Infra) 가 LiDAR(L) 와 카메라 (C) 를 어떻게 조합하든 (총 9 가지 구성) 일관된 성능을 내도록 설계되었습니다.

핵심 구성 요소:

1. 모듈형 특징 추출 및 PseudoFusion:

   • 각 노드는 가용한 센서 (LiDAR, 카메라, 또는 둘 다) 에 따라 전용 인코더를 통해 BEV(Bird's Eye View) 특징을 추출합니다.
   • PseudoFusion: 단일 센서만 있는 경우에도 특징 차원을 일치시키기 위해 센서별 어댑터 (1x1 컨볼루션) 를 사용하여 특징을 표준화된 형태로 변환합니다. 이는 모든 9 가지 센서 구성에서 특징 호환성을 보장합니다.

2. 계층적 어텐션 융합 (Hierarchical Attention Fusion, HAF):

   • 채널 어텐션 (Channel-wise): 서로 다른 센서 모달리티의 특징 채널 중 어떤 것이 더 신뢰할 만한 정보를 제공하는지 동적으로 가중치를 부여합니다 (예: 거리 추정에는 LiDAR 채널, 외관 인식에는 카메라 채널 강조).
   • 공간 어텐션 (Spatial): 노드별 센서 구성에 따라 공간 영역별로 신뢰도가 높은 특징을 선택합니다 (예: LiDAR 만 있는 노드는 먼 거리의 객체, 카메라만 있는 노드는 시각적으로 복잡한 영역의 객체 강조).

3. 적응형 공간 해상도 조절 (Adaptive Spatial Resolution, ASR):

   • 서로 다른 센서 구성은 다른 계산 비용과 특징 맵 스케일을 요구합니다.
   • 센서 구성에 따라 다운샘플링 비율을 동적으로 조절하여 계산 비용을 최적화한 후, 융합된 특징을 가장 정밀한 센서 구성의 해상도로 다시 업샘플링합니다. 이를 통해 계산 효율성을 30~45% 향상시키면서도 정보 손실을 최소화합니다.

4. 협력 학습 전략 (Cooperative Learning Strategy):

   • 각 센서 구성마다 별도의 모델을 학습하는 것이 아니라, 9 가지 이질적 구성을 무작위로 샘플링하여 하나의 통합 모델이 모든 조합에 대해 강건한 융합 전략을 학습하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 프레임워크: V2X 네트워크의 이질적인 센서 구성을 명시적으로 다루는 최초의 통합 협력 지각 프레임워크인 HeCoFuse 를 제안했습니다.
2. 혁신적인 메커니즘 개발:
   • HAF (Hierarchical Attention Fusion): 가용 센서에 따라 동적으로 특징을 통합하는 계층적 어텐션 메커니즘.
   • ASR (Adaptive Spatial Resolution): 센서 가용성에 따른 특징 스케일 조정을 통해 계산 효율성과 정보 충실도를 균형 있게 맞춥니다.
3. 실제 데이터 기반 검증: 실세계 데이터셋인 TUMTraf-V2X에서 광범위한 실험을 수행하여, 9 가지 이질적 센서 구성 전반에서 강건한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: TUMTraf-V2X (뮌헨의 실제 도시 교차로 데이터, 차량 및 인프라의 LiDAR/카메라 동기화 데이터 포함).
• 성능 지표: 3D mAP (평균 정밀도), 3D IoU, 위치/회전 RMSE 등.
• 주요 결과:
  • 전체 센서 구성 (LC+LC): 43.22% 의 3D mAP 를 기록하여 기존 베이스라인 (CoopDet3D, 42.05%) 보다 1.17% 향상되었습니다.
  • 이질적 구성 (L+LC): 차량은 LiDAR 만, 인프라는 LiDAR+카메라를 가진 시나리오에서 43.38% 3D mAP를 기록하여 가장 높은 성능을 보였습니다. 이는 인프라의 다양한 센서가 시스템 전체 성능에 결정적임을 시사합니다.
  • 강건성: 9 가지 다른 센서 구성 (LiDAR 만, 카메라 만, 혼합 등) 에서 21.74% ~ 43.38% 의 3D mAP 범위를 유지하며, 센서 구성에 관계없이 일관된 성능을 발휘했습니다.
  • 경쟁력: CVPR 2025 DriveX 챌린지 (TUMTraf-V2X) 에서 1 위를 차지하여 현재 TUM-Traf V2X 데이터셋에서 State-of-the-Art(SOTA) 성능을 입증했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 이상적인 연구 가정 (모든 노드가 동일한 센서 보유) 과 달리, 실제 배포 환경에서 발생할 수 있는 다양한 센서 불일치 문제를 해결합니다.
• 확장성: 차량과 인프라의 센서 구성이 서로 다른 상황에서도 시스템이 자연스럽게 적응 (Graceful Degradation) 하여 신뢰할 수 있는 지각 능력을 유지합니다.
• 미래 방향: 더 많은 노드 (다중 차량 및 인프라) 시나리오, 비가/안개/눈과 같은 악천후 조건에서의 검증, 그리고 저비용 카메라 중심 시스템에서의 성능 향상을 위한 연구가 필요함을 제시합니다.

요약하자면, HeCoFuse는 비용과 배포 제약으로 인해 센서가 다른 차량과 인프라가 협력할 때 발생하는 문제를 해결하기 위해, 어텐션 기반의 지능적 특징 융합과 적응형 해상도 조절을 통해 실세계 V2X 시스템의 강건성과 정확성을 획기적으로 개선한 연구입니다.