💻 컴퓨터 과학

Degradation-Aware Modality Trust Estimation for Camera--LiDAR BEV Fusion in 3D Object Detection

이 논문은 퇴화 인지 신뢰성 조건화를 통해 모달리티 신뢰도를 추정함으로써, 깨끗한 데이터에서의 성능을 유지하는 동시에 다양한 카메라 퇴화에 대한 강건성을 크게 향상시키는 방식으로 카메라-LiDAR BEV 융합을 강화하는 경량 프레임워크인 DARFusion을 제안한다.

원저자: Weifeng Xu, Yaqian Cui, Hongtao Wang

게시일 2026-10-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weifeng Xu, Yaqian Cui, Hongtao Wang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

자율주행 자동차는 인간 운전자가 보는 것과 같은 일련의 센서에 의존하여 주변 환경에 대한 정신적 지도를 구축함으로써 세상을 항해합니다. 이 팀에서 가장 중요한 두 멤버는 카메라와 레이저 스캐너입니다. 카메라는 인간의 눈처럼 색상, 질감, 물체의 형태에 대한 풍부한 세부 정보를 포착하는 반면, LiDAR라고 알려진 레이저 스캐너는 빛의 빔을 보내 정확한 거리를 측정하고 장면의 정밀한 3D 골격을 만듭니다. 자동차가 안전하게 주행하도록 하기 위해 엔지니어들은 이 두 가지 매우 다른 관점을 하나의 통합된 그림으로 결합해야 합니다. 센서 퓨전(sensor fusion)이라고 불리는 이 과정은 차량이 단순히 차가 저기에 있다는 것을 알 뿐만 아니라, 그 차가 정확히 어디에 있고 크기가 얼마인지까지 이해할 수 있게 해줍니다. 그러나 이 파트너십에는 약점이 있습니다. 카메라는 날씨에 취약하다는 점입니다. 인간의 시야가 비, 안개 또는 어둠에 의해 흐려질 수 있는 것처럼, 카메라의 시야도 눈부심, 모션 블러 또는 저조도에 의해 왜곡될 수 있습니다. 이런 일이 발생하면 카메라는 자동차의 컴퓨터에 혼란스러운 신호를 보냅니다. 만약 컴퓨터가 이러한 오염된 신호를 맹목적으로 신뢰한다면, 렌즈에 묻은 빗방울 자국을 실제 물체로 착각하거나 그림자 속에 있는 보행자를 보지 못할 수도 있습니다. 연구자들의 과제는 자동차의 뇌가 언제 카메라를 믿고, 특히 카메라의 시야가 손상되었을 때 언제 레이저 스캐너에 더 많이 의존해야 하는지를 가르치는 것입니다.

화북전기대학(North China Electric Power University)의 연구팀은 이 문제를 해결하기 위해 DARFusion이라 부르는 새로운 시스템을 개발했습니다. 그들의 접근 방식은 단순하지만 강력한 아이디어에 기반합니다. 즉, 카메라와 레이저 데이터를 단순히 하나로 합치는 대신, 시스템이 먼저 "지금 카메라를 얼마나 신뢰할 수 있는가?"라고 물어야 한다는 것입니다. 표준적인 시스템에서 컴퓨터는 이미지가 선명하든 흐릿하든 상관없이 카메라의 입력을 레이저만큼 신같이 취급하는 경우가 많습니다. 이 새로운 방법은 판단의 층을 추가함으로써 그 역학 관계를 변화시킵니다. 시스템은 카메라로부터 들어오는 시각 정보의 품질을 끊임없이 모니터링합니다. 만약 카메라가 맑은 날을 보고 있다면, 시스템은 물체를 식별하는 데 도움을 주기 위해 풍부한 시각적 세부 정보를 사용합니다. 하지만 카메라가 비, 블러 또는 어둠으로 고전하고 있다면, 시스템은 카메라의 영향력을 줄이고 더 안정적인 기하학적 데이터를 제공하는 레이저 스캐너에 더 많이 의존하도록 학습합니다. 이것은 카메라를 끄는 것이 아니라, 시야가 좋지 않을 때 더 신뢰할 수 있는 정보가 카메라의 목소리에 묻히지 않도록 카메라의 목소리 볼륨을 조절하는 것입니다.

이를 달성하기 위해 연구진은 두 센서 사이에서 문지기 역할을 하는 경량 모듈을 설계했습니다. 카메라와 레이저 데이터가 결합되기 전에, 시스템은 렌즈가 더럽거나, 빛이 너무 어둡거나, 이미지가 너무 흐릿한지를 감지하기 위해 카메라의 시야를 분석합니다. 또한 시스템은 레이저 데이터의 전반적인 신뢰성도 확인합니다. 이러한 점검을 바탕으로, 시스템은 장면의 매 지점마다 카메라에 대한 신뢰 점수를 계산합니다. 이 점수는 카메라의 정보가 최종 그림에 얼마나 섞여야 하는지를 결정합니다. 만약 카메라가 어려움을 겪고 있다면, 시스템은 카메라의 기여도를 줄여 시각적 노이즈에 기반해 자동차가 결정을 내리는 것을 방지합니다. 카메라가 선명하다면, 시스템은 레이저 데이터를 향상시키기 위해 전체 시각적 세부 사항을 허용합니다. 이 과정은 실시간으로 일어나며, 추가적인 센서나 수동 조정 없이도 차량이 변화하는 날씨 조건에 즉각적으로 적응할 수 있게 합니다.

연구팀은 대규모 자율주행 프로젝트의 데이터셋과 잘 알려진 연구 컬렉션이라는 두 가지 주요 실제 주행 장면 데이터셋을 사용하여 이 새로운 시스템을 테스트했습니다. 그들은 완벽한 조건에서 시스템을 평가한 다음, 폭우, 모션 블러, 저조도 야간 주행과 같은 다양한 시뮬레이션된 도전 과제에 노출시켰습니다. 맑은 날씨에서 새로운 시스템은 기존의 최선책들과 동일한 성능을 보여주었으며, 이는 모든 상황이 원활할 때 시스템이 자동차를 느리게 하거나 혼란스럽게 하지 않는다는 것을 증명했습니다. 그러나 조건이 악화되었을 때 차이가 분명해졌습니다. 폭우가 내리는 밤이나 심한 모션 블러를 시뮬레이션한 테스트에서, 새로운 시스템은 기존 방식보다 현저히 뛰어난 성능을 보였습니다. 예를 들어, 비를 시뮬레이션했을 때 이 시스템은 기존 방식에 비해 물체 탐지 능력이 눈에 띄는 차이로 향상되었습니다. 카메라의 시야가 심하게 제한된 가장 어려운 야간 시뮬레이션 조건에서도 시스템은 더 높은 수준의 정확도를 유지했습니다. 이는 자동차의 '뇌'가 혼란스러운 시각적 노이즈를 무시하고 카메라가 신뢰할 수 없을 때 레이저 스캐너에 의존하는 법을 성공적으로 배웠음을 시사합니다.

연구진은 또한 이 개선 사항이 다양한 유형의 차량과 환경에서도 작동함을 검증했으며, 자동차가 도시나 고속도로를 달릴 때 모두 일관된 결과를 보여주었습니다. 그들은 이 시스템이 트럭이나 버스와 같이 안전에 결정적인 큰 물체를 포착하는 데 특히 뛰어나다는 것을 발견했습니다. 이 방법은 상당한 계산 비용을 추가하지 않고도 이러한 결과를 달-성했으며, 이는 거대한 새로운 컴퓨터를 필요로 하지 않고도 현재의 자율주행차에 설치될 수 있음을 의미합니다. 이 연구는 강건한 자율주행의 핵심이 단순히 더 나은 센서를 갖는 것이 아니라, 그것들을 결합하는 더 스마트한 방법을 갖는 것임을 시사합니다. 차량이 자신의 시각적 감각이 실패하고 있음을 인식하고 그에 따라 신뢰도를 조정하도록 가르침으로써, 시스템은 예측 불가능한 현실 세계를 다룰 수 있는 더 탄력적인 인지 능력을 만듭니다. 이 작업은 비가 오거나 밤이거나, 혹은 인간의 시야도 고전하는 다른 까다로운 조건에서 자율주행 자동차를 더 안전하게 만드는 실질적인 경로를 제시합니다.

기술 요약: 3D 객체 탐지를 위한 카메라-LiDAR BEV 융합에서의 퇴화 인지형 모달리티 신뢰도 추정

1. 문제 정의

현재의 카메라-LiDAR Bird's-Eye-View (BEV) 융합 방식은 카메라 BEV 브랜치의 강한 특징 응답(feature response)이 신뢰할 수 있는 시각적 증거에 대응한다는 가정에 의존합니다. 그러나 저조도, 블러(blur), 노이로즈 또는 악천후와 같은 열악한 감지 조건 하에서는 특징 활성화가 유용한 장면 내용이 아닌 센서 아티팩트나 손상된 텍스처로부터 발생할 수 있습니다.

직접적인 결합(concatenation), 컨볼루션 융합 또는 어텐션 메커니즘과 같은 기존의 융합 전략은 주로 "콘텐츠 기반(content-driven)"입니다. 이들은 특징 정렬과 의미론적 콘텐츠를 바탕으로 융합 가중치를 결정하지만, 카메라 스트림이 활성화되어 있으나 퇴화된 상태일 때 시각적 증거의 **신뢰성(reliability)**을 명시적으로 평가하는 메커니즘은 부족합니다. 결과적으로, 이러한 방식들은 LiDAR 모달리티가 안정적인 기하학적 정보를 제공하고 있음에도 불구하고, 퇴화로 인해 유발된 신뢰할 수 없는 시각적 패턴을 결합된 표현(joint representation)으로 의도치 않게 전파할 수 있습니다. 핵심 과제는 명시적인 퇴화 라벨이나 이미지 품질 감독 없이, 활성화된 카메라 퇴화 상황에서 특징 표현을 모달리티 신뢰도 추정과 어떻게 분리할 것인가 하는 점입니다.

2. 방법론: DARFusion

본 논문은 BEV 융합을 모달리티 신뢰도 추정 문제로 재정의하는 경량 프레임워크인 DARFusion(Degradation-Aware and Reliability-Guided Fusion)을 제안합니다. DARFusion은 원시 특징을 직접 융합하는 대신, 신뢰도 단서, 태스크 중심의 컨텍스트 및 퇴화 기술자(degradation descriptor)에 따라 융합 결정을 조절합니다. 파이프라인은 세 가지 주요 구성 요소로 이루어집니다.

2.1 모달리티 신뢰도 교정 (Modality Reliability Calibration, MRC)

공간적 융합 이전에, MRC는 카메라( $F_c$ )와 LiDAR( $F_l$ ) BEV 특징을 전역적으로 재교정합니다.

과정: 전역 평균 풀링(Global Average Pooling, GAP) 연산을 통해 각 모달리티에 대한 압축된 기술자 $s_m$ 을 생성합니다.
출력: 두 개의 경량 브랜치가 $s_m$ $s_{m}$ 을 처리합니다:
1. 특징 맵을 스케일링하는 ( $\tilde{F}_m = q_m \odot F_m$ ) 시그모이드 함수를 통한 신뢰도 단서 $q_m \in [0, 1]$ .
2. 샘플 수준의 모달리티 컨텍스트를 제공하는 예측된 로그 분산(log-variance)으로부터 유도된 태스크 중심 보조 컨텍스트 $u_m$ .
성격: 이는 통계적 불확실성 추정치가 아니라, 모달리티 강도를 조정하기 위해 탐지 손실(detection loss)을 통해 학습된 태스크 중심의 단서입니다.

2.2 퇴화 인지형 컨디셔닝 (Degradation-Aware Conditioning, DAC)

카메라 스트림이 사용 가능하지만 손상된 상태인 '활성 카메라 퇴화' 문제를 해결하기 위해, DAC는 교정된 카메라 BEV 특징( $\tilde{F}_c$ )으로부터 직접 압축된 퇴화 기술자( $d$ )를 추출합니다.

메커니즘: 카메라 특징을 단일 채널 응답 맵 $X$ $X$ 로 투영합니다. 세 가지 응답 통계 대리 지표(proxy)가 계산됩니다:
1. 활성화 레벨 대리 지표 ( $r_b$ ): 전역 평균 활성화 (조도에 민감).
2. 에지 응답 대리 지표 ( $r_s$ ): 평균 에지 응답의 역수 (블러에 민데).
3. 고주파 잔차 대리 지표 ( $r_n$ ): 국소 잔차의 표준 편차 (노이즈에 민감).
기술자: 이 대리 지표들은 학습 가능한 아핀 변환(affine transform)과 시그모이드를 통해 $[0, 1]$ 로 매핑되어 $d = [d_b, d_s, d_n]$ 을 형성합니다. 이 기술자는 외부 감독 없이도 시각적 감지 상태(밝기, 블러, 노이즈)를 융합 게이트에 노출합니다.

2.3 퇴화 조건부 융합 게이트 (Degradation-Conditioned Fusion Gate)

융합 게이트는 결합된 입력 벡터 $Z$ 를 기반으로 카메라와 LiDAR 브랜치의 공간적 가중치를 예측합니다:
$Z = [\bar{F}_c, \bar{F}_l, u_c, u_l, d]$
여기서 $\bar{F}$ 는 투영된 교정 특징을, $u$ 는 보조 컨텍스트를, $d$ 는 퇴화 기술자를 나타냅니다.

연산: 경량 네트워크(ReLU와 시그모이드를 포함한 두 개의 $1\times1$ 컨볼루션)가 게이트 행렬 $G_c$ 와 $G_l$ (단, $G_c + G_l = 1$ )을 출력합니다.
융합: 최종 BEV 특징은 가중 합으로 계산됩니다: $F_{fuse} = G_c \odot \bar{F}_c + G_l \odot \bar{F}_l$ .
논리: 게이트는 퇴화 기술자가 불량한 감지 조건을 나타낼 때 카메라 브랜치의 가중치를 줄이고 LiDAR 기하학에 더 의존하도록 학습됩니다.

3. 주요 기여

문제 정식화: 저자들은 콘텐츠 기반 BEV 융합에서, 퇴화된 감지 상황에서 특징 응답이 모달리티 신뢰도와 얽힐 수 있는 신뢰성 한계를 식별하고 이를 정식화했습니다.
DARFusion 아키텍처: 다음을 통합하는 경량 융합 방법을 제공합니다:
- MRC: 전역 모달리티 특징 재교정을 위해.
- DAC: 외부 품질 라벨 없이 BEV 특징으로부터 압축된 퇴화 기술자(조도, 블러, 노이즈)를 추출하기 위해.
- 신뢰도 가이드 융합: 이러한 단서들을 사용하여 공간적으로 모달리티 신뢰도를 추정하는 게이트.
포괄적 평가: nuScenes 및 KITTI에 대해 다음을 포함하는 퇴화 중심 평가를 수행했습니다:
- 깨끗한 검증 세트.
- 실제 비(rain) 및 야간(night) 서브셋.
- 제어된 합성 퇴화(합성 야간, 모션 블러, 가우시안 노이즈).
- 교차 데이터셋 강건성 일관성.

4. 실험 결과

본 방법은 재현된 BEVFusion 베이스라인 및 기타 최첨단 탐지기들과 비교 평가되었습니다.

4.1 Clean-Set 성능

DARFusion은 깨끗한 데이터에서도 성능을 유지하거나 약간 향상시킵니다:

nuScenes: 68.4 mAP 및 71.5 NDS 달성 (베이스라인 67.8 mAP / 71.0 NDS 대비).
KITTI: 평균 Moderate 3D APR40을 76.2에서 77.1로 향상.
효율성: 0.04M 파라미터만을 추가하였으며(~0.1% 오버헤드), RTX 4090 환경에서 FPS를 4.57에서 4.46으로 소폭 감소시켰습니다.

4.2 퇴화 상황에서의 강건성

DARFusion은 열악한 조건에서 상당한 이점을 보여주었습니다:

실제 환경 서브셋:
- 비(Rain): +1.41 mAP 향상.
- 야간(Night): +1.31 mAP 향상.
합성 퇴화:
- 합성 야간: 저/중/고 심각도 전반에서 일관된 이득을 보였으며, 중간 수준의 퇴화에서 가장 큰 이득(+1.1 mAP)을 보였습니다.
- 모션 블러: 모든 블러 강도( $k=1$ to $21$)에서 높은 mAP를 유지했으며, 최대 +1.2 mAP의 이득을 기록했습니다.
- 가우시안 노이즈: 저-중 수준의 노이즈에서 개선(+0.6 mAP)을 보였으나, 시각적 증거가 심하게 손상되는 극심한 노이즈 수준( $\sigma=30$ )에서는 이득이 감소했습니다.
교차 데이터셋 일관성: 강건성 향상은 nuScenes와 KITTI 모두에서 일관되게 나타났으며, DARFusion은 KITTI의 9가지 테스트된 모든 오염 심각도 설정에서 베이스라인을 능가했습니다.

4.3 메커니즘 분석

Ablation 연구: 퇴화 인지형 컨디셔닝(DAC) 또는 보조 컨텍스트(U)를 제거하면 성능이 하락하여, 신뢰도 단서와 퇴화 기술자 모두의 필요성을 확인했습니다.
행동 분석: 크기 기반 상대적 카메라 기여도( $R_{cam}$ )는 퇴화 심각도가 증가함에 따라 체계적으로 감소했습니다. 스피어만 상관계수 분석은 퇴화 심각도와 카메라 기여도 사이의 강한 음의 상관관계, 그리고 학습된 기술자와 심각도 사이의 양의 상관관계를 확인했습니다.

5. 의의 및 주장

본 논문은 카메라 신뢰도를 명시적으로 모델링하는 것이 BEV 융합의 강건성을 향상시키는 효과적이고 경량화된 전략임을 주장합니다.

핵심 통찰: 융합을 퇴화 기술자에 의해 조건화된 신뢰도 추정 문제로 재정의함으로써, 시스템은 유용한 의미론적 증거와 퇴화로 인한 간섭을 구분할 수 있습니다.
실용성: 본 방법은 퇴화 라벨이나 부가적인 이미지 품질 감독을 요구하지 않으므로, 그러한 그라운드 트루스가 존재하기 어려운 실제 환경 배포에 적합합니다.
한계점: 저자들은 현재 연구가 LiDAR의 변화가 없는 상태에서의 활성 카메라 퇴화에 집중하고 있음을 겸허히 언급했습니다. 이는 결합된 센서 실패나 LiDAR 퇴화를 다루지는 않습니다. 또한, 중간 정도의 노이즈는 잘 처리하지만, 매우 밀도 높은 픽셀 단위의 노이즈는 여전히 도전 과제로 남아 있습니다. 기술자들은 물리적으로 교정된 측정값이 아니라 태스크 중심의 단서입니다.

결론적으로, DARFusion은 특징 표현을 모달리티 신뢰도와 분리하는 실용적인 경로를 제공하여, 시각적 감지가 저하된 상황에서도 3D 객체 탐지 시스템이 강건함을 유지할 수 있도록 합니다.