💻 computer science

Bridge: Basis-Driven Causal Inference Marries VFMs for Domain Generalization

본 논문은 프론트도어 조정을 위한 저랭크 기저를 학습함으로써 객체 감지에서의 허위 상관관계를 완화하고 도메인 일반화를 향상시키기 위해 인과 추론과 비전 기초 모델을 통합하는 새로운 기저 기반 프레임워크인 Bridge 를 제안합니다.

원저자: Mingbo Hong, Feng Liu, Caroline Gevaert, George Vosselman, Hao Cheng

게시일 2026-04-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mingbo Hong, Feng Liu, Caroline Gevaert, George Vosselman, Hao Cheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

도시에서 자전거를 인식하는 법을 학생에게 가르친다고 상상해 보세요. 맑고 화창한 날의 수백 장의 사진을 보여줍니다. 보여준 모든 사진에서 자전거는 사람 바로 옆에 주차되어 있습니다. 학생은 하나의 지름길을 배우게 됩니다. "사람을 보았으면, 반드시 자전거를 보고 있는 것이다."

이제 이 학생을 자전거가 종종 혼자 주차되거나 사람들이 자전거 없이 걷는 다른 도시로 데려가 보세요. 학생은 혼란에 빠집니다. 혼자 걷는 사람을 보자마자 "자전거!"라고 외칠지도 모릅니다. 잘못된 규칙을 배웠기 때문입니다. 그들은 실제 자전거가 아니라 동시 발생(사람이 있는 것)에 집중했습니다.

이것은 컴퓨터 비전 모델이 새로운 환경에서 작동하려 할 때 직면하는 문제와 정확히 일치합니다. 모델은 조명, 배경 스타일, 또는 함께 나타나는 것들 같은 '교란 변수'에 속아넘어갑니다. 이는 그들이 찾아야 할 대상의 일부가 아닌 단서들입니다.

해결책: "브릿지 (Bridge)"

이 논문은 브릿지라는 새로운 방법을 소개합니다. 브릿지는 원시 이미지와 최종 결정 사이에 위치한 지능형 필터나 '인과 관계 탐정'으로 생각할 수 있습니다. 이 필터의 역할은 모델이 게으른 지름길을 이용하지 못하게 막고, 실제 대상에 집중하도록 강요하는 것입니다.

다음은 브릿지가 작동하는 방식을 간단한 비유로 설명한 것입니다:

1. 문제: "허위 상관관계" 함정

논문의 예시에서, 도시 거리 사진으로 훈련된 모델은 보행자 옆에 있는 자전거를 봅니다. 모델이 게으르기 때문에, 보행자를 "자전거 패키지"의 일부라고 가정합니다. 모델이 보행자 없이 안개 낀 어두운 곳이나 예술적인 그림 (새로운 도메인) 에서 자전거를 보게 되면 실패합니다. 자전거 자체라는 "원인" 대신 보행자라는 "교란 변수"에 의존하기 때문입니다.

2. 도구: 비전 파운데이션 모델 (VFMs)

저자들은 DINOv2, SAM, 또는 Stable Diffusion 과 같은 강력한 사전 훈련된 AI 모델을 기반으로 사용합니다. 이들을 수백만 권의 책(이미지)을 읽고 사물의 일반적인 모습을 알고 있는 초지능 사서로 생각하세요. 하지만 이 초지능 사서조차 한 특정 도서관의 작고 편향된 책 샘플만 보여지면 실수를 할 수 있습니다. 처음 본 책들이 모두 고양이 관련이었다는 이유만으로 모든 책이 고양이 이야긴다고 생각할지도 모릅니다.

3. 메커니즘: "인과적 기저 블록 (Causal Basis Block)" (필터)

이것이 핵심 혁신입니다. 브릿지는 **인과적 기저 블록 **(CBB)이라는 특수 모듈을 추가합니다.

비유: 사서가 책을 요약하려 한다고 상상해 보세요. CBB 는 사서에게 노이즈, 오타, 관련 없는 세부 사항이 포함된 모든 단어를 읽게 하는 대신, 본질적인 주제(기저)를 찾도록 요청합니다.
작동 방식: CBB 는 이미지를 가장 중요하고 근본적인 구성 요소로 분해합니다. "노이즈"(그림의 특정 스타일, 시간대, 자전거 옆에 우연히 서 있는 사람 등) 를 필터링하고, 대상을 실제로 정의하는 특징만 유지합니다.
**전면 조정 **(Front-Door Adjustment) 복잡한 수학 용어로, 논문은 "전면 조정"이라는 것을 사용합니다. 쉬운 말로 번역하면, 모델이 사실을 확인하는 "중개인 (매개체)"을 만든다는 뜻입니다. "혼란스러운 배경과 우연한 사람들을 제거하면, 자전거는 여전히 자전거처럼 보이는가?"라고 묻습니다. 그렇다면 탐지를 유지합니다. 그렇지 않다면 오보를 무시합니다.

4. 결과: 강건한 탐정

이 필터를 사용하면 모델은 대상과 함께 보통 나타나는 것에 기반해 추측하는 것을 멈추고, 대상이 실제로 무엇인지 인식하기 시작합니다.

안개 속: 흐릿한 배경을 무시하고 자전거의 형태에 집중합니다.
어둠 속: 색상 부족을 무시하고 구조에 집중합니다.
만화 속: 예술적 스타일을 무시하고 대상의 형태에 집중합니다.

테스트 내용

저자들은 이론만 논의한 것이 아니라, 브릿지를 다섯 가지 다른 "세계"에서 테스트했습니다:

교차 카메라: 한 도시의 카메라에서 다른 도시의 카메라로 이동.
악천후: 맑은 날에서 안개 낀 날이나 비 오는 날로 이동.
실사에서 예술로: 실제 사진에서 만화와 수채화로 이동.
다양한 기상 조건: 황혼과 비 등 다양한 기상 조건에서 테스트.
**드론 차량 **(새로운 데이터셋): 맑은 날, 안개 낀 날, 어두운 날, 그리고 매우 어두운 조건에서의 드론 영상을 사용하여 새로운 테스트 세트를 제작했습니다.

결론

이 논문은 이 "브릿지" 필터를 추가함으로써, 그들의 방법이 이전의 모든 최첨단 모델을 능가했다고 주장합니다. 이미지 생성을 위해 설계된 모델 (Stable Diffusion 등) 이든 객체 탐지를 위해 설계된 모델 (DINOv2 등) 이든, 브릿지는 이들을 더 똑똑하고 정확하며, 까다로운 배경이나 악천후에 속아넘어갈 가능성이 적게 만들었습니다.

간단히 말해: 브릿지는 AI 에게 대상이 머무는 회사가 아니라, 대상 자체를 보도록 가르칩니다.

다음은 논문 "Bridge: Basis-Driven Causal Inference Marries VFMs for Domain Generalization"에 대한 상세한 기술 요약입니다.

1. 문제 제기

객체 감지에서의 도메인 일반화 (DG):
현재 데이터 기반 객체 감지 모델은 소스 도메인에서 보이지 않는 타겟 도메인으로 전이될 때 성능 저하를 겪습니다. 이는 데이터가 제한된 단일 소스 도메인 설정에서 특히 심각합니다.

핵심 문제: 모델은 조명, 공출현 패턴 (예: 사람 근처에 나타나는 자전거), 스타일적 차이와 같은 교란 변수 ( $Z$ ) 로 인해 발생하는 허위 상관관계에 의존하는 경향이 있습니다.
결과: 모델은 객체 레이블 ( $Y$ ) 을 결정하는 인과적 특징을 학습하는 대신, $Z$ 에 의해 유도된 입력 특징 ( $X$ ) 과 레이블 사이의 편향된 연관성을 학습합니다. 이로 인해 분포 외 (OOD) 시나리오에서 실패가 발생합니다 (예: 훈련 데이터에서 자주 함께 나타나므로 자전거를 라이더로 잘못 분류).
기존 DG 의 한계: 현재 접근 방식은 종종 도메인 불변 표현이나 데이터 증강에 초점을 맞추지만, 교란 변수 뒤에 있는 인과 메커니즘을 간과하는 경우가 많습니다. 또한, DINOv2, SAM, Stable Diffusion 과 같은 비전 파운데이션 모델 (VFMs) 이 강력한 사전 훈련된 표현을 제공하지만, 이를 단순히 파인튜닝하는 것은 이러한 허위 상관관계를 완화하지 못해 표현 능력을 낭비합니다.

2. 방법론: Bridge 프레임워크

저자들은 VFM 을 사용하여 객체 감지에 인과 추론을 통합한 새로운 프레임워크인 Bridge를 제안합니다. 핵심 혁신은 교란 변수의 영향을 차단하는 Front-Door Adjustment를 구현하는 Causal Basis Block (CBB) 입니다.

A. 이론적 기반: Front-Door Adjustment

교란 변수 ( $Z$ ) 를 명시적으로 관찰하거나 모델링하지 않고 허위 상관관계를 완화하기 위해, 이 방법은 Front-Door Adjustment를 사용합니다.

메커니즘: 백도어 경로 ( $X \leftarrow Z \rightarrow Y$ ) 를 차단하는 대신, 인과 경로 ( $X \rightarrow M \rightarrow Y$ ) 에 중개 변수 ( $M$ ) 를 도입합니다.
목표: 모델은 $M$ 을 기반으로 $Y$ 를 예측하도록 학습하여, $Z$ 의 노이즈를 효과적으로 필터링합니다.
근사화: 모든 가능한 입력에 대한 전체 기대값을 계산하는 것은 불가능하므로, 저자들은 정규화 가중 기하 평균 (NWGM) 을 사용하여 Front-Door 조정을 근사화하고, 이를 학습 가능한 기저 벡터들의 선형 결합으로 재구성합니다.

B. 인과 기저 블록 (CBB)

CBB 는 고정된 VFM 에 삽입되도록 설계된 플러그 앤 플레이 방식의 엔드 - 투 - 엔드 미분 가능 모듈입니다. 두 가지 주요 단계로 구성됩니다:

샘플 쿼리를 통한 기대값 추정:
- 사전 학습 (dictionary learning) 에서 영감을 받아, 이 방법은 학습 가능한 샘플 쿼리 ( $Q_s$ ) 집합을 사용하여 기대 특징 표현을 근사화합니다.
- 이러한 쿼리는 훈련 세트에서 전역적이고 일반화 가능한 정보를 집계합니다.
- Softmax 를 통해 공간 가중도 맵 ( $A$ ) 이 생성되어 입력 특징을 재가중치하며, 일반화된 정보를 강조합니다.
저랭크 부분 공간 투영:
- 재가중치된 특징은 학습 가능한 기저 벡터 ( $B$ ) 가 펼치는 저랭크 부분 공간으로 투영됩니다.
- 기능: 이 투영은 핵심 인과 표현을 보존하면서 중복되고 작업과 무관한 구성 요소 (노이즈) 를 필터링합니다.
- 수학적 공식화: 기대 특징 $\mathbb{E}[X]$ 는 $C B$ 로 근사화되며, 여기서 $C$ 는 특징을 기저 $B$ 에 투영하여 유도된 샘플 계수입니다.

C. 특징 집계

CBB 의 최종 출력은 견고성을 보장하기 위해 세 가지 구성 요소를 결합합니다:
$F_{out} = \hat{\mathbb{E}}[X] + \hat{\mathbb{E}}[M] + M$

$\hat{\mathbb{E}}[X]$ : 입력의 추정된 기대값 (인과 특징).
$\hat{\mathbb{E}}[M]$ : 중개 변수의 추정된 기대값.
$M$ : 원시 중개 변수 특징 (작업별 세부 정보 보존).
이 집합을 통해 모델은 인과 요인에 집중하면서도 하류 감지 헤드를 위한 필요한 작업별 정보를 유지할 수 있습니다.

3. 주요 기여

Bridge 프레임워크: 판별형 VFM(DINOv2/3, SAM) 과 생성형 VFM(Stable Diffusion) 모두와 원활하게 통합되는 새로운 DGOD 프레임워크입니다. 비용이 많이 드는 전체 네트워크 파인튜닝 없이 허위 상관관계를 해결합니다.
인과 기저 블록 (CBB): 기저 학습을 통해 Front-Door 조정을 구현하는 새로운 모듈입니다. 외부 교란 변수 사전이나 복잡한 후처리가 필요한 기존 작업과 달리, CBB 는 엔드 - 투 - 엔드 학습 가능하고 유연하며 확장 가능합니다.
새로운 벤치마크 (DroneVehicle): 저자들은 날씨 조건 (맑음, 어두움, 안개, 극도로 어두움) 을 주석으로 추가하여 DroneVehicle 데이터셋을 확장함으로써, 다양한 날씨 시나리오에서 UAV 기반 도메인 일반화를 평가하기 위한 포괄적인 벤치마크를 만들었습니다.
최고 수준의 성능: 다섯 가지 벤치마크에 걸친 광범위한 실험을 통해 기존 방법보다 상당한 개선을 입증했습니다.

4. 실험 결과

이 방법은 Cross-Camera, Adverse Weather, Real-to-Artistic, Diverse Weather Datasets, 그리고 새로운 Diverse Weather DroneVehicle 등 다섯 가지 다양한 벤치마크에서 평가되었습니다.

성능 향상: Bridge 는 이전 최고 수준 (SOTA) 방법보다 일관되게 우수한 성과를 거두었습니다.
- Cross-Camera (BDD100K): SD 백본을 사용하여 2 위 (Boost) 를 +3.8 mAP 상회했으며, DINOv2, DINOv3, SAM 을 통해 +1.1 에서 +5.1 mAP까지의 향상을 보였습니다.
- Adverse Weather (FoggyCityscapes): 다양한 백본에서 +3.9 에서 +5.4 mAP의 일관된 향상을 달성했습니다.
- Real-to-Artistic: 스타일화된 데이터셋 (Clipart, Comic, Watercolor) 에서 성능이 개선되었으며, DINOv3 를 사용한 Clipart 데이터셋에서 81.0 mAP로 눈에 띄는 향상을 보였습니다.
- 극한 조건: Extreme-Dark 시나리오 (DroneVehicle) 에서 Bridge 는 VFM 이 34.0 mAP(DINOv3) 를 달성하도록 하여, 기존 Faster R-CNN 베이스라인 (8.1 mAP) 을 크게 능가했습니다.
Ablation 연구:
- Low-Rank Basis와 Sample Queries가 모두 성능에 결정적임을 확인했습니다.
- Bridge 가 교차 어텐션을 사용하는 FACL 방법과 같은 대안적 인과 개입보다 우수함을 보였습니다.
- 최적의 기저 비율이 모델 용량에 따라 달라짐을 입증했습니다 (예: 강력한 DINOv3 의 경우 12.5%, SAM/SD 의 경우 50-70%).
정성적 분석: 기울기 응답 시각화는 Bridge 가 배경 잡음이나 공출현 객체와 같은 허위 단서에서 실제 객체 특징으로 주의를 성공적으로 전환시켜 복잡한 장면에서 오탐지를 줄임을 보여줍니다.

5. 의의

실무에서의 인과 추론: Bridge 는 이론적 인과 그래프를 넘어 학습 가능한 기저 기반 구현으로 이동하여, 딥러닝의 "허위 상관관계" 문제에 대한 실용적이고 확장 가능한 해결책을 제공합니다.
VFM 의 최대화: 이는 고정된 비전 파운데이션 모델의 전체 잠재력을 도메인 일반화 작업에서 발휘하여, 전체 백본을 재학습하지 않고도 사전 훈련된 모델을 분포 변화에 강인하게 만들 수 있음을 입증합니다.
원격 탐사 영향: 날씨 주석이 추가된 DroneVehicle 데이터셋의 도입은 원격 탐사 연구의 중요한 공백을 메우며, 자율 주행 및 감시 응용 분야에 필수적인 악천후 및 저조도 조건에서 AI 를 평가하기 위한 엄격한 벤치마크를 제공합니다.
일반화 가능성: 이 프레임워크는 감지기 무관 (Faster R-CNN, Sparse R-CNN, TOOD 와 호환) 이고 백본 무관 (생성형 및 판별형 모델 모두 작동) 하여, 더 넓은 컴퓨터 비전 커뮤니티를 위한 다재다능한 도구가 됩니다.