UP-Fuse: Uncertainty-guided LiDAR-Camera Fusion for 3D Panoptic Segmentation

이 논문은 카메라 센서의 열화나 오정렬과 같은 열악한 환경에서도 견고한 3D 팬옵틱 분할을 위해 불확실성 지도를 활용하여 LiDAR 와 카메라 데이터의 융합을 동적으로 조절하는 'UP-Fuse' 프레임워크를 제안합니다.

핵심

UP-Fuse: 자율주행차의 '눈'과 '귀'가 망가져도 안전한 3D 인식 기술

이 논문은 자율주행차나 로봇이 주변 환경을 3 차원으로 이해하는 기술, 특히 **'3D 팬옵틱 세그멘테이션 (3D Panoptic Segmentation)'**에 관한 것입니다. 쉽게 말해, "저기 있는 물체는 차인가, 사람인가, 아니면 도로인가?"를 구분하고, "그 물체가 어디에 있고, 몇 개나 있는지"까지 정확히 파악하는 기술입니다.

이 연구의 핵심은 **LiDAR(레이저 센서)**와 카메라라는 두 가지 센서를 합칠 때 발생하는 치명적인 약점을 해결한 **'UP-Fuse'**라는 새로운 기술입니다.

---

1. 왜 이 기술이 필요한가요? (문제 상황)

자율주행차는 보통 두 가지 눈을 가지고 있습니다.

1. LiDAR (레이저 눈): 물체의 정확한 거리와 모양을 알려줍니다. 하지만 물체의 색깔이나 질감은 모르고, 먼 곳의 작은 물체는 잘 보이지 않습니다. (안개 낀 날에도 잘 봅니다.)
2. 카메라 (시각 눈): 색깔과 질감, 글자 등을 잘 봅니다. 하지만 비, 안개, 밤, 혹은 카메라가 고장 나면 아무것도 못 봅니다.

기존의 문제점:
기존 기술은 두 눈을 무조건 합쳐서 더 잘 보려고 했습니다. 하지만 카메라가 고장 나거나 (예: 눈이 멀거나), 안개가 끼거나, 카메라와 레이저의 위치가 틀어졌을 때, 오히려 잘못된 정보를 믿고 따라가다가 큰 사고가 날 수 있었습니다. 마치 눈이 멀어 헤매는 친구를 따라가다가 절벽으로 떨어지는 상황과 비슷합니다.

2. UP-Fuse 의 해결책: "불확실성 지도"를 활용한 지능적 융합

저자들은 이 문제를 해결하기 위해 **'불확실성 (Uncertainty)'**을 감지하는 지능을 추가했습니다.

🧐 비유: "현명한 요리사"와 "상한 재료"

이 기술을 요리사에 비유해 볼까요?

• LiDAR: 신선하고 확실한 고기 (거리 정보).
• Camera: 맛은 좋지만 상할 수도 있는 채소 (색깔, 질감 정보).

기존 요리사들은 "채소가 좋으니 무조건 많이 넣자!"라고 해서, 채소가 상해 있으면 요리 전체가 망가졌습니다.

하지만 UP-Fuse 요리사는 다릅니다.

1. 채소를 먼저 검사합니다: "이 채소가 상했나? 빛이 너무 어두운가? 카메라가 흔들렸나?"를 체크합니다.
2. 불확실성 지도 (Uncertainty Map) 를 만듭니다: "이 부분은 상해서 믿을 수 없으니 (빨간색), 저 부분은 신선해서 믿을 수 있구나 (파란색)"라고 표시합니다.
3. 지능적으로 섞습니다: 상한 채소는 버리고 (무시하고), 신선한 채소만 고기에 섞습니다. 만약 채소가 모두 상했다면, 아예 고기 (LiDAR) 만으로 요리를 완성합니다.

이것이 바로 UP-Fuse가 하는 일입니다. 카메라 정보가 신뢰할 수 없을 때는 자동으로 그 영향을 줄이고, LiDAR 정보에 더 의존하여 안전을 지키는 것입니다.

3. 기술의 핵심 요소 (어떻게 작동할까?)

이 기술은 세 가지 주요 아이디어로 이루어져 있습니다.

① 공통 언어로 번역하기 (Range-View Projection)

카메라 사진과 LiDAR 점들은 서로 다른 언어를 말합니다. UP-Fuse 는 이 둘을 **구형 지도 (Range-View)**라는 하나의 공통 언어로 번역합니다. 마치 지구본을 평평한 지도로 펴서, 카메라와 레이저가 같은 지도 위에서 대화하게 만드는 것입니다.

② 불확실성 감지 모듈 (Uncertainty-Aware Fusion)

이게 가장 중요한 부분입니다. 카메라가 들어오는 정보를 분석해서 **"이 정보가 얼마나 믿을 만한가?"**를 실시간으로 계산합니다.

• 어두운 밤이나 눈이 오는 상황: 카메라 정보가 "나는 지금 믿을 수 없어!"라고 신호를 보내면, 시스템은 카메라 정보를 거의 무시하고 LiDAR 에 집중합니다.
• 맑은 날: 카메라가 "나는 확실해!"라고 하면, LiDAR 와 함께 정보를 풍부하게 만듭니다.

③ 2D 와 3D 를 오가는 하이브리드 해설자 (Hybrid 2D-3D Decoder)

지도 (2D) 에서 본 것을 다시 실제 3D 공간으로 돌려놓을 때, "저기 있는 두 개의 물체가 사실은 하나인가?" 같은 혼란이 생기기 쉽습니다. UP-Fuse 는 2D 지도를 보고 3D 공간을 재구성할 때, 물체의 연결성을 고려하는 특별한 해설자를 둡니다. 그래서 360 도 회전하는 카메라에서 생기는 끊어짐이나 겹침 문제를 해결해 줍니다.

4. 실제 성능은 어떨까요?

저자들은 이 기술을 nuScenes, SemanticKITTI, 그리고 새로 만든 Waymo 데이터셋으로 테스트했습니다.

• 정확도: 카메라와 LiDAR 를 잘 섞어서 기존 기술들보다 더 정확하게 물체를 구분했습니다.
• 견고함 (Robustness):
  • 카메라가 완전히 꺼졌을 때: 다른 기술들은 성능이 뚝 떨어졌지만, UP-Fuse 는 LiDAR 만으로도 거의 원래 성능을 유지했습니다. (비유: 친구가 길을 잃어도, 나 혼자서도 길을 잘 찾아갑니다.)
  • 카메라와 레이저가 어긋났을 때: 기계가 흔들려서 위치가 틀어졌을 때도, UP-Fuse 는 "아, 지금 정보가 어긋났구나"라고 판단하고 LiDAR 에 집중하여 큰 실수를 하지 않았습니다.
  • 밤이나 안개: 시각 정보가 흐릿해져도 시스템이 혼란에 빠지지 않았습니다.

5. 결론: 왜 이 기술이 중요한가?

이 논문은 **"센서가 고장 나거나 환경이 나빠져도, 로봇이 안전하게 작동할 수 있는 방법"**을 제시했습니다.

기존 기술이 "무조건 더 많은 정보를 합치자"는 접근이었다면, UP-Fuse 는 **"어떤 정보가 믿을 만한지 판단해서, 믿을 만한 정보만 합치자"**는 접근입니다. 이는 자율주행차가 비, 눈, 밤, 혹은 센서 고장 같은 위험한 상황에서도 안전을 최우선으로 지키는 데 필수적인 기술입니다.

한 줄 요약:

UP-Fuse 는 자율주행차의 '눈 (카메라)'이 멀거나 망가졌을 때, '귀 (LiDAR)'에 더 귀를 기울여도 길을 잃지 않도록 도와주는 똑똑한 안전장치입니다.

기술 요약

1. 문제 정의 (Problem Statement)

LiDAR와 카메라의 융합 (Fusion) 은 3D 팬옵틱 세그멘테이션 (Panoptic Segmentation) 성능을 향상시키는 핵심 기술이지만, 기존 접근 방식은 다음과 같은 치명적인 약점을 가지고 있습니다.

• 센서 고장 및 열화에 대한 취약성: 카메라 센서가 열화되거나 (어두운 환경, 과노출 등), 보정 오차 (Calibration Drift) 가 발생하거나, 심한 경우 완전히 고장 나더라도 기존 융합 모델은 여전히 신뢰할 수 없는 시각 정보를 과도하게 의존합니다.
• 성능 저하: 이러한 열화 조건에서 융합 모델은 오히려 LiDAR 단독 모델보다 성능이 떨어지는 경우가 많습니다. 즉, "어떤 정보를 융합할지"뿐만 아니라 **"언제 각 모달리티를 신뢰할지"**를 판단하는 메커니즘이 부재합니다.
• 기존 방법의 한계: 기존 융합 방법들은 주로 특징의 관련성 (Relevance) 에만 초점을 맞추거나, 베이지안 신경망 등 계산 비용이 큰 불확실성 추정 기법을 사용하여 실시간 적용에 한계가 있습니다.

2. 제안 방법론 (Methodology: UP-Fuse)

저자들은 UP-Fuse라는 새로운 불확실성 인식 (Uncertainty-aware) 융합 프레임워크를 제안합니다. 이는 2D 범위 뷰 (Range-View, RV) 공간에서 작동하며, 다음과 같은 핵심 구성 요소로 이루어져 있습니다.

A. 범위 뷰 (Range-View) 기반 특징 추출

• LiDAR 인코딩: 3D LiDAR 포인트 클라우드를 2D 구면 (Spherical) 이미지인 범위 뷰 (RV) 로 투영합니다. Swin Transformer 를 사용하여 계층적 특징을 추출합니다.
• 카메라 인코딩 및 뷰 변환: 다중 카메라 이미지를 인코딩한 후, LiDAR 좌표계로 변환하여 RV 공간에 정렬 (Alignment) 합니다. 이를 위해 깊이 완성 (Depth Completion) 기술을 사용하여 가상 포인트 클라우드를 생성하고 RV 로 투영합니다.

B. 불확실성 인식 융합 모듈 (Uncertainty-Aware Fusion Module)

이 모듈은 UP-Fuse 의 핵심으로, LiDAR 특징과 카메라 특징을 융합할 때 **불확실성 지도 (Uncertainty Map)**를 활용합니다.

• 불확실성 정량화: 학습 과정에서 밝기 변화, 센서 드롭아웃, 도메인 외 (Out-of-domain) 왜곡 등 다양한 시각적 열화를 인위적으로 가합니다. 원본 특징과 열화된 특징 간의 차이 (Instability) 를 학습하여 카메라 특징의 신뢰도 (불확실성) 를 예측합니다.
• 적응형 융합: 예측된 불확실성 지도를 사용하여 카메라 특징의 가중치를 동적으로 조절합니다.
  • 신뢰도가 높은 영역: 시각 정보를 적극 활용.
  • 신뢰도가 낮은 영역 (열화/오류): 시각 정보를 억제 (Attenuate) 하여 LiDAR 기하학적 정보에 의존.
• Deformable Attention: LiDAR 쿼리를 기반으로 시각 특징을 선택적으로 주시 (Attend) 하되, 불확실성으로 가중치를 조정하여 융합합니다.

C. 하이브리드 2D-3D 팬옵틱 디코더 (Hybrid 2D-3D Panoptic Decoder)

2D RV 공간의 예측을 3D 포인트 클라우드로 되돌릴 때 발생하는 문제 (중첩, 360 도 경계 단절 등) 를 해결합니다.

• 3D 인지 마스크 헤드 (3D-Aware Mask Head): 2D 특징을 3D 포인트에 매핑할 때, 단순히 투영하는 것이 아니라 포인트의 실제 3D 거리와 RV 의 거리 정보를 비교하여 가장 일관된 이웃 특징을 집계합니다.
• 효과: 2D 예측이 가려진 (Occluded) 포인트로 전파되는 것을 방지하고, 360 도 경계에서 객체가 잘리는 현상을 해결하여 정확한 3D 인스턴스 예측을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. UP-Fuse 프레임워크: LiDAR-카메라 융합 시 불확실성을 고려하여 신뢰성 있는 통합을 수행하는 새로운 아키텍처 제안.
2. 불확실성 유도 융합 모듈: 센서 열화 및 고장 상황에서 시각 특징의 신뢰도를 실시간으로 평가하고 적응적으로 조절하는 메커니즘.
3. 하이브리드 2D-3D 디코더: 2D 투영의 공간적 모호성과 360 도 경계 문제를 해결하는 새로운 디코더 설계.
4. 새로운 벤치마크 (Panoptic Waymo): Waymo Open Dataset 에 팬옵틱 주석을 생성하여 공개한 새로운 멀티모달 3D 팬옵틱 벤치마크 및 강력한 베이스라인.
5. 오픈 소스: 코드 및 모델 공개.

4. 실험 결과 (Results)

저자들은 Panoptic nuScenes, SemanticKITTI, 그리고 새로 만든 Panoptic Waymo 벤치마크에서 광범위한 실험을 수행했습니다.

• 성능 (Accuracy):

  • nuScenes: UP-Fuse 는 80.7% PQ (Panoptic Quality) 를 기록하여 기존 최강 모델 (IAL, LCPS 등) 을 능가하거나 경쟁력 있는 성능을 보였습니다. 특히 LiDAR 단독 모델 대비 5.8% 향상.
  • SemanticKITTI & Waymo: 제한된 시야나 고해상도 LiDAR 환경에서도 일관된 성능 향상을 보임.
  • 효율성: IAL 대비 약 6 배 빠른 5.7 FPS 로 실시간 처리 가능.

• 강건성 (Robustness) - 핵심 성과:

  • 센서 드롭아웃 (카메라 고장): 카메라 입력이 제거되었을 때, 기존 모델들은 성능이 급격히 떨어졌으나 (PQ 4~5% 감소), UP-Fuse 는 LiDAR 단독 모델 수준으로만 미세하게 감소 (1.2% 감소) 하여 안정성을 입증.
  • 보정 오차 (Calibration Drift): LiDAR-카메라 정렬이 5 도 틀어졌을 때, 기존 모델은 8.3% 이상 성능이 떨어졌으나 UP-Fuse 는 4.4% 로 감소폭을 최소화.
  • 시각적 도메인 시프트 (낮->밤): 밤 환경에서 카메라 정보가 신뢰할 수 없을 때, UP-Fuse 는 시각 정보를 자동으로 억제하여 성능 저하를 방지하고 오히려 0.1% 향상.

5. 의의 및 결론 (Significance)

• 안전 필수 (Safety-Critical) 환경 적용: 자율 주행 및 로봇 공학에서 센서 고장이나 열화는 치명적일 수 있습니다. UP-Fuse 는 이러한 상황에서 시스템이 "맹목적으로" 시각 정보를 믿지 않고, LiDAR 의 기하학적 안정성을 유지하며 적응적으로 대응할 수 있게 합니다.
• 효율성과 강건성의 균형: 복잡한 불확실성 추정 없이도 경량화된 MLP 와 어텐션 메커니즘을 통해 실시간으로 신뢰도를 판단하고, 2D-3D 변환의 모호성을 해결하여 높은 정확도와 효율성을 동시에 달성했습니다.
• 미래 작업: 현재는 보정 오차를 억제하는 데 초점을 맞추고 있으나, 향후 외관 (Extrinsics) 을 함께 보정하여 심한 오정렬 상황에서도 융합의 이점을 극대화하는 방향으로 연구가 진행될 예정입니다.

요약하자면, UP-Fuse 는 **"언제 카메라를 믿고 언제 LiDAR 에 의존할지"**를 학습하는 지능형 융합 프레임워크로, 실제 환경의 불확실성 하에서도 견고한 3D 인지 능력을 제공합니다.