Can we Trust Unreliable Voxels? Exploring 3D Semantic Occupancy Prediction under Label Noise

이 논문은 3D 시맨틱 오큐팬시 예측에서 발생하는 레이블 노이즈 문제를 해결하기 위해, 기존 2D 기법의 한계를 극복하고 신뢰할 수 있는 감독 신호를 구축하는 새로운 벤치마크 'OccNL'과 이중 소스 부분 레이블 추론을 활용한 'DPR-Occ' 프레임워크를 제안합니다.

핵심

이 논문은 **"자율주행차가 눈앞의 세상을 3D 로 이해할 때, 만약 지도에 잘못된 정보가 섞여 있다면 어떡할까?"**라는 아주 중요한 질문에서 시작합니다.

간단히 말해, **"불완전한 지도를 믿고도 안전하게 운전할 수 있을까?"**에 대한 답을 찾는 연구입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "망가진 레고 지도" 🧱

자율주행차는 카메라로 주변을 보며, 공간을 작은 정육면체 (레고 블록, 즉 '보셀') 들로 나누어 "여기는 길, 저기는 차, 저기는 사람"이라고 표시합니다. 이를 3D 의미 점유 예측이라고 합니다.

하지만 현실에서는 이 지도가 완벽할 수 없습니다.

• 이동하는 물체의 흔적: 빠르게 지나가는 차가 지도에 '유령'처럼 길게 꼬리를 남기거나 (Trailing Noise),
• 잘못된 분류: 먼 거리의 차를 나무로 오인하거나, 빈 공간을 차라고 잘못 표시하는 (Label Noise) 일들이 생깁니다.

기존의 AI 는 이런 **틀린 지도 (노이즈)**를 그대로 믿고 학습하다가, 90% 가 틀린 지도를 받으면 완전히 망가져버립니다. 마치 거짓말이 90% 인 지도를 보고 길을 찾다가 아예 길을 잃어버리는 것과 같습니다.

2. 기존 방법의 실패: "무조건 믿고 따라가기" vs "무조건 의심하기"

기존의 AI 학습 방법들은 두 가지 극단으로 갈라졌습니다.

1. 무조건 믿기: 지도가 틀려도 "아, 내가 잘못 본 거겠지"라고 생각하며 지도를 그대로 따라가다 보니, 지도가 엉망이 되면 AI 도 엉망이 됩니다.
2. 무조건 의심하기: 지도가 틀릴 거라고 가정하고 모든 것을 부정하려다 보니, 진짜 길 (정답) 도 함께 버리게 되어 아무것도 못 배우게 됩니다.

특히 3D 공간은 빈 공간이 너무 많고 (희소성), 작은 물체 (자전거, 사람) 는 아주 적어서, 2D 사진에서 쓰던 방법들을 그대로 가져오면 작은 물체들이 지도에서 완전히 사라져버리는 (멸종) 재앙이 일어납니다.

3. 이 연구의 해결책: "두 명의 선생님"과 "후보 목록" (DPR-Occ)

저자들은 이 문제를 해결하기 위해 DPR-Occ라는 새로운 방법을 개발했습니다. 이를 '두 명의 선생님' 비유로 설명해 드릴게요.

🎓 비유: "현실 감각이 좋은 선생님"과 "경험 많은 선생님"

이 시스템은 두 가지 정보를 합쳐서 **정답일 가능성이 높은 '후보 목록'**을 만듭니다.

1. 현실 감각 선생님 (EMA Teacher): 시간이 지나도 변하지 않는 안정적인 기억을 가진 선생님입니다. "아까 봤을 때 여기는 차였는데, 지금 지도에는 사람이라고 돼 있네? 아마 지도가 틀린 것 같아."라고 판단합니다.
2. 경험 많은 선생님 (Prototype Affinity): "이 모양은 차의 특징과 비슷해. 빈 공간이나 나무랑은 달라."라고 모양과 구조를 보고 판단합니다.

이 두 선생님이 합심해서 **"정답은 이 목록 (후보) 안에 있을 거야"**라고 좁혀줍니다.

• 지도가 "사람"이라고 했지만, 두 선생님이 "아니야, 차일 확률이 높아"라고 하면, AI 는 "사람"이라는 틀린 지도를 믿지 않고 "차"라는 후보 목록 안에서만 학습합니다.
• 반대로 지도가 "빈 공간"이라고 했지만, 두 선생님이 "아니야, 차가 있을 것 같아"라고 하면, AI 는 빈 공간이라고 무시하지 않고 다시 찾아봅니다.

이렇게 정답을 딱 하나만 고집하는 게 아니라, "정답일 법한 몇 가지 후보"를 두고 학습함으로써, 틀린 지도가 섞여 있어도 AI 가 길을 잃지 않게 됩니다.

4. 실험 결과: "90% 가 망가진 지도에서도 길을 찾다"

연구진은 90% 가 잘못된 지도를 만들어 AI 를 훈련시켰습니다. (예: 10 개 중 9 개가 틀린 지도)

• 기존 AI 들: 지도가 90% 망가지자마자 완전히 붕괴되었습니다. 길도, 차도, 사람도 다 사라지거나 엉뚱한 곳으로 인식했습니다. (지도가 90% 거짓말을 하니 AI 도 90% 미친 상태가 된 셈입니다.)
• 새로운 AI (DPR-Occ): 지도가 90% 망가져도 길을 잃지 않았습니다.
  • 길의 모양 (기하학적 구조) 은 그대로 유지했습니다.
  • 작은 물체 (자전거, 사람) 도 사라지지 않고 잘 찾아냈습니다.
  • 심지어 지도가 완전히 엉망인 상황에서도 **"아, 여기는 길이야"**라고 안전하게 판단하여 자율주행이 계속 가능하도록 만들었습니다.

5. 결론: "완벽한 지도가 없어도 안전하다"

이 연구의 핵심 메시지는 다음과 같습니다.

"우리는 완벽한 지도 (정확한 레이블) 가 없어도, AI 가 스스로 '어떤 것이 정답일 가능성이 높은지' 추론할 수 있게 해주면 안전하다."

기존에는 지도가 틀리면 AI 도 망가진다고 생각했지만, 이 연구는 틀린 지도 속에서도 '구조'와 '과거 경험'을 믿고 추론하는 방법을 찾아냈습니다.

마치 안개가 끼고 지도도 찢어진 미로에서, 길을 잃지 않고 목적지에 도달하는 방법을 개발한 것과 같습니다. 이는 미래의 자율주행차가 비나 눈, 혹은 센서 오류가 발생해도 안전하게 운전할 수 있는 튼튼한 기초가 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 3D 시맨틱 오큐파시 (Semantic Occupancy) 예측은 자율 주행 및 로봇 인식의 핵심 기술로, 환경을 밀집된 볼륨 그리드 (Voxel Grid) 로 표현하여 점유 여부와 의미론적 라벨을 동시에 예측합니다.
• 핵심 문제: 실제 환경에서 3D 볼륨 주석 (Annotation) 은 구조적 아티팩트 (Structural Artifacts) 와 동적 객체의 잔상 (Trailing Effects) 으로 인해 본질적으로 노이즈가 포함되어 있습니다.
  • 비대칭 볼륨 노이즈 (Occupancy-asymmetric Noise): 희소한 포인트 클라우드와 2D-3D 투정 불일치로 인해 빈 공간이 의미 있는 클래스로, 또는 한 의미 클래스가 다른 클래스로 잘못 라벨링되는 현상.
  • 동적 객체 잔상 노이즈 (Dynamic Trailing Noise): 다중 프레임 융합 과정에서 이동하는 객체 (자동차, 보행자 등) 가 과거 위치에 '유령 (Ghost)'처럼 남는 현상.
• 연구 질문: "불완전하고 신뢰할 수 없는 볼륨 주석을 기반으로 자율 시스템이 안전하게 작동할 수 있는가?"
• 기존 방법의 한계: 기존 2D 이미지 기반의 노이즈 강인 학습 (Label Noise Learning) 전략들은 3D 볼륨 공간의 **극심한 희소성 (Sparsity)**과 불규칙성을 처리하지 못해, 심한 노이즈 환경에서 성능이 급격히 저하되거나 (Catastrophic Collapse) 구조적 붕괴를 겪습니다.

2. 제안 방법: DPR-Occ (Methodology)

저자들은 **DPR-Occ (Dual-source Partial-label Reasoning for Occupancy)**라는 새로운 프레임워크를 제안합니다. 이는 라벨 노이즈에 강인한 3D 시맨틱 오큐파시 예측을 위해 설계되었습니다.

• 핵심 아이디어: 단일 소스의 라벨에 의존하지 않고, **이중 소스 (Dual-source)**의 정보를 융합하여 신뢰할 수 있는 부분 라벨 (Partial Label) 을 구성하고, 이를 통해 노이즈 전파를 억제합니다.

  1. 시간적 모델 메모리 (Temporal Model Memory): EMA (Exponential Moving Average) Teacher 모델의 예측을 활용하여 안정적인 시맨틱 합의를 도출합니다.
  2. 표현 수준 구조적 친밀도 (Representation-level Structural Affinity): 볼륨 특징 (Feature) 과 클래스 프로토타입 (Prototype) 간의 코사인 유사도를 측정하여 구조적 일관성을 확보합니다.

• 학습 전략 (Two-Stage Strategy):

  1. Warm-up Stage: 노이즈가 있는 라벨로 표준 감시 학습 (Supervised Learning) 을 수행하여 DNN 의 기억 효과 (Memorization Effect) 를 이용해 깨끗한 패턴을 학습하고, EMA Teacher 를 업데이트합니다.
  2. Robust Learning Stage:
     • 이중 소스 부분 라벨 구성: EMA Teacher 의 Top-K 예측과 프로토타입 유사도 Top-K 를 합집합 (Union) 하여 후보 라벨 집합 ($PL_v$) 을 생성합니다.
     • 동적 K 스케줄링 (Dynamic-K Scheduling): 학습 초기에는 넓은 후보 집합 (높은 Hit Rate) 을 유지하다가, 학습이 진행됨에 따라 후보 집합을 점차 축소 (높은 Purity) 하여 모호성을 해결합니다.
     • 손실 함수 최적화:
       • Partial Label Learning (PLL): 후보 집합 내에서 확률 질량을 분배하도록 유도.
       • Negative Learning (NL): 후보 집합에 포함되지 않은 (불신할 만한) 클래스에 대한 패널티를 부과하여 노이즈 억제.
       • EMA-guided Self-Not-True Distillation (SNTD): 노이즈 라벨을 마스킹한 후, Teacher 와 Student 간의 분포 정렬을 통해 과적합을 방지.

3. 주요 기여 (Key Contributions)

1. OccNL 벤치마크 구축: 3D 오큐파시 예측의 라벨 노이즈를 체계적으로 연구하기 위한 최초의 벤치마크를 제안했습니다.
   • Synthetic Noise: 비대칭 볼륨 노이즈 (Category flipping) 를 시뮬레이션.
   • Real-world Noise: SemanticKITTI 데이터셋의 동적 객체 잔상 (Trailing) 노이즈를 포함.
   • Ground Truth 정제: 기존 데이터셋의 잔상 아티팩트를 제거한 정제된 평가 세트를 제공합니다.
2. DPR-Occ 프레임워크 제안: 시간적 메모리와 구조적 친밀도를 융합한 이중 소스 추론 방식을 통해, 3D 공간의 희소성과 노이즈로 인한 구조적 붕괴를 방지합니다.
3. 광범위한 실험 및 분석: 2D 이미지 기반의 기존 강인 학습 방법들이 3D 공간에서 왜 실패하는지 분석하고, 극심한 노이즈 (90% 라벨 오염) 환경에서도 DPR-Occ 가 우수한 성능을 유지함을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 (OccNL) 성능:
  • 90% 라벨 노이즈 환경: 기존 최첨단 방법들 (AGCE, ANL, JAL, VBL, SNTD 등) 은 mIoU 가 6% 미만으로 급락하거나 구조적 붕괴를 겪는 반면, DPR-Occ 는 **mIoU 8.23%**와 **IoU 35.03%**를 기록하여 기저선 (Baseline) 대비 2.57%p mIoU, 13.91%p IoU의 향상 효과를 보였습니다.
  • 동적 잔상 노이즈: Mild, Moderate, Severe 수준의 잔상 노이즈에서도 DPR-Occ 는 가장 높은 mIoU 를 유지하며, 보행자나 자전거와 같은 희소 클래스에서도 안정적인 성능을 보였습니다.
• 성공 요인 분석:
  • 구조적 붕괴 지연: 기존 방법들은 노이즈로 인해 빈 공간이 우세해지거나 희소 클래스가 소멸 (Extinction) 하는 반면, DPR-Occ 는 장면의 기하학적 무결성 (Geometric Integrity) 을 유지합니다.
  • 검색 공간 규제: 단순한 손실 가중치 조절이 아닌, '가능성 있는 의미론적 가설 공간 (Feasible Semantic Hypothesis Space)'을 제한함으로써 3D 학습의 강인성을 확보했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전성 확보: 자율 주행 시스템은 라벨 노이즈가 심한 환경에서도 안전한 주행 계획을 수립하기 위해 신뢰할 수 있는 환경 표현이 필요합니다. DPR-Occ 는 심한 주석 오류가 있더라도 도로와 장애물의 기본 구조를 보존하여 안전한 계획 (Planning) 을 가능하게 합니다.
• 패러다임 전환: 2D 이미지 학습에서 3D 볼륨 학습으로 넘어갈 때, 단순한 손실 함수 수정만으로는 부족하며 **구조적 일관성 (Structural Consistency)**과 **시간적 기억 (Temporal Memory)**을 활용한 검색 공간 규제가 필수적임을 강조합니다.
• 향후 전망: 이 연구는 오토노머스 시스템의 폐루프 (Closed-loop) 통합 및 실제 세계 배포를 위한 신뢰할 수 있는 3D 인식의 기초를 마련했습니다.

요약하자면, 이 논문은 3D 오큐파시 예측에서 불가피한 라벨 노이즈 문제를 체계적으로 분석하고, 이를 해결하기 위해 이중 소스 추론을 기반으로 한 DPR-Occ 를 제안하여, 극한 노이즈 환경에서도 구조적 붕괴 없이 안정적인 3D 인식을 가능하게 함으로써 자율 주행의 안전성을 높이는 데 기여했습니다.