💻 computer science

Multi-Modal Guided Multi-Source Domain Adaptation for Object Detection

본 논문은 깊이 지도와 텍스트 프롬프트를 활용하여 도메인 무관한 영역 제안 생성과 학습 가능한 텍스트 임베딩 정렬을 수행함으로써 MSDA 벤치마크에서 최첨단 성능을 달성하는 객체 감지를 위한 새로운 다중 소스 도메인 적응 프레임워크인 MS-DePro를 제안합니다.

원저자: Sangin Lee, Seokjun Kwon, Jeongmin Shin, Namil Kim, Yukyung Choi

게시일 2026-05-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sangin Lee, Seokjun Kwon, Jeongmin Shin, Namil Kim, Yukyung Choi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

특정 인물을 군중 속에서 찾아내도록 경비원을 훈련한다고 상상해 보세요.

문제: "만능" 함정
보통 이 경비원을 훈련시킬 때는 밝은 낮에 찍은 사진 (소스 도메인 1) 과 아마도 밤에 찍은 사진 (소스 도메인 2) 을 사용합니다. 그리고 안개가 낀 아침이나 비 오는 거리 (타겟 도메인) 와 같은 새롭고 보이지 않는 환경에서도 경비원이 완벽하게 작동하기를 원합니다.

문제는 낮과 밤 사진을 단순히 섞어서 "이 모든 것에서 배우라"고 말하면 경비원이 혼란에 빠진다는 점입니다. 낮 사진은 밝은 색채와 날카로운 그림자를 가지고 있는 반면, 밤 사진은 어둡고 입자가 거칠습니다. 경비원은 실제로 존재하지 않는 "중간 지대"를 찾으려 하거나, worst case 로 훈련 사진의 특정 조명에 주의가 산만해져 날씨가 변하면 실패합니다. 이를 도메인 시프트 (Domain Shift) 문제라고 합니다.

구식 해결책: 세부 사항을 "잊으려" 노력하기
이전 방법들은 경비원이 하늘의 색이나 도로의 질감 같은 특정 세부 사항을 무시하고 사람의 "모양"에만 집중하도록 강요함으로써 이 문제를 해결하려 했습니다. 그들은 경비원이 어느 사진이 어떤 소스에서 왔는지 모른 척하게 하는 게임을 통해 이를 수행했습니다. 그러나 해당 논문은 이는 흐릿하고 번진 사진을 뚫어지게 바라보며 자동차의 모양을 배우려는 것과 같다고 주장합니다. 한 가지 유형의 사진 (RGB/일반 사진) 만 있을 때 "모양"과 "조명"을 분리하는 것은 어렵습니다.

새로운 해결책: MS-DePro ("깊이와 텍스트" 탐정)
저자들은 MS-DePro라는 새로운 시스템을 제안합니다. 이는 일반 사진만 보는 대신, 날씨나 조명과 관계없이 세상을 더 잘 이해하도록 돕는 두 가지 추가 도구를 경비원에게 제공합니다.

깊이 지도 (Depth Map, 3D 설계도):
- 비유: 자동차 사진 한 장을 보고 있다고 상상해 보세요. 사진 속에서는 빨간 차와 파란 차가 매우 다르게 보입니다. 하지만 깊이 지도 (사물의 거리를 보여주는 흑백 이미지) 를 보면 두 차 모두 동일한 3D 모양으로 보입니다. 낮이든 밤이든 비가 오든 간에 나무는 나무이고 차는 차입니다.
- 도움: 시스템은 훈련 중에 사진에서 이러한 깊이 지도를 생성하는 특수 도구를 사용합니다. 시스템은 이러한 지도를 사용하여 사물이 어디에 있는지 (위치 파악) 를 찾습니다. 깊이는 색상과 무관한 기하학적이기 때문에 햇빛이나 비에 혼란을 느끼지 않습니다. 이는 사진이 어둡더라도 경비원에게 "여기에 단단한 물체가 있다"고 알려줍니다.
텍스트 프롬프트 (Text Prompt, 스마트 라벨):
- 비유: 경비원이 수첩을 가지고 있다고 상상해 보세요. 경비원은 사진만 보는 것이 아니라 "사람"과 같은 라벨을 읽습니다.
- 도움: 시스템은 이 라벨을 두 부분으로 나눕니다.
  - 보편적 부분: "사람"은 만화책이든 실제 사진이든 항상 사람입니다. 시스템은 깊이 지도를 사용하여 이 보편적 진실을 강화합니다.
  - 구체적 부분: "비 코트를 입은 사람"은 날씨에 특화된 것입니다. 시스템은 사진을 사용하여 이러한 구체적인 세부 사항을 학습합니다.
- 이 두 가지를 분리함으로써 경비원은 절대 변하지 않는 "사람"이라는 핵심 개념을 배우면서도 현재 장면의 특정 모습에 적응할 수 있습니다.

실제 작동 방식
훈련 단계 ("학습" 단계) 동안 시스템은 사진, 생성된 깊이 지도, 텍스트 라벨을 모두 함께 사용합니다. 이는 경비원이 3D 모델과 사전으로 공부하는 것과 같습니다.

그러나 훈련이 완료되고 경비원이 업무를 시작하면 ("추론" 단계), 깊이 지도는 더 이상 필요하지 않습니다. 경비원은 이미 3D 모양과 보편적 개념을 학습했습니다. 이제 경비원은 새로운 안개 낀 사진을 보고 "저건 차야"라고 말할 수 있습니다. 이는 훈련 사진 속 차의 색상이 아니라 깊이 지도에서 차의 모양을, 텍스트에서 차의 개념을 배웠기 때문입니다.

결과
이 논문은 이 방법이 현재까지 가장 우수하다고 (State-of-the-Art) 주장합니다.

서로 다른 사진 소스를 섞으려던 다른 방법들을 능가합니다.
낮에서 밤으로, 또는 실제 사진에서 컴퓨터 생성 이미지로 이동할 때 더 잘 작동합니다.
명시적으로 훈련된 적이 없는 "보이지 않는" 날씨 조건 (폭우나 안개 등) 에서도 잘 작동하여, 단순히 조명을 외운 것이 아니라 사물의 진정한 "모양"을 학습했음을 증명합니다.

한 줄 요약
낮과 밤 사진 사이의 차이를 무시하도록 컴퓨터를 강요하는 대신, 이 새로운 방법은 컴퓨터에게 사물이 실제로 무엇인지 이해할 수 있도록 3D 설계도 (깊이) 와 스마트한 설명 (텍스트) 을 제공합니다. 이를 통해 컴퓨터는 햇빛이든 비가 오든 어둡든 간에 사람이 차가 차임을 이해하듯, 어떤 날씨나 조명 조건에서도 사물을 인식할 수 있습니다.

기술 요약: 객체 감지를 위한 다중 모달 유도 다중 소스 도메인 적응

1. 문제 제기

일반적인 객체 감지 (OD) 모델은 시간대, 스타일 (실제 대 합성), 카메라 아티팩트와 같은 요인으로 인한 도메인 편이로 인해 훈련된 소스 도메인과 다른 타겟 도메인에 배포될 때 종종 실패합니다. 비지도 도메인 적응 (UDA) 방법은 단일 소스 시나리오를 해결해 왔지만, 여러 소스 도메인이 사용 가능한 경우에는 어려움을 겪습니다. 단일 소스 UDA 를 위해 여러 소스를 단순하게 혼합하는 것은 소스 간의 불일치로 인해 단일 소스보다도 성능이 낮은 경우가 많습니다.

기존의 다중 소스 도메인 적응 (MSDA) 방법들은 소스 도메인을 별도로 처리함으로써 이를 완화하려 시도하며, 일반적으로 도메인 무관 네트워크 (Gradient Reversal Layers 사용) 와 도메인 특화 네트워크를 사용합니다. 그러나 이러한 방법들은 근본적인 한계를 겪습니다: 즉, 도메인 특화 RGB 이미지를 도메인 특화 단서를 억제함으로써 도메인 무관 특징을 학습하려 시도한다는 점입니다. 이는 동일한 입력에서 도메인 특화 정보를 동시에 억제하고 인코딩해야 하는 훈련 상의 충돌을 만들어 최적화의 어려움과 느린 수렴을 초래합니다. 더 나아가 RGB 특징은 조명, 색상, 질감의 변화에 본질적으로 민감하므로, 진정한 도메인 무관 표현을 위한 제한된 원천이 됩니다.

2. 방법론: MS-DePro

이러한 한계를 해결하기 위해 저자들은 MS-DePro(Depth and Prompt 을 갖춘 다중 소스 감지기) 를 제안합니다. 핵심 철학은 본질적으로 불변인 추가 입력 모달리티인 **깊이 맵 (depth maps)**과 텍스트를 활용하여 도메인 특화 및 도메인 무관 특징을 명시적으로 분리하는 것입니다.

이 프레임워크는 레이블이 지정된 다중 소스 학생과 레이블이 없는 타겟 교사를 활용하는 Mean-Teacher 아키텍처를 따릅니다. 이는 두 가지 주요 구성 요소로 구성됩니다:

A. 깊이 유도 국소화

깊이 맵이 조명이나 질감에 관계없이 객체의 모양과 구조에 대한 일관된 표현을 제공한다는 점을 인식하여, 저자들은 객체 국소화를 유도하는 데 이를 사용합니다.

메커니즘: 훈련 중에는 오프더셸 (off-the-shelf) 단안 깊이 추정 모델이 입력 RGB 이미지에서 상대적 깊이 맵을 생성합니다.
아키텍처: 시스템은 RGB( $BB_R, RPN_R$ ) 와 깊이 ( $BB_D, RPN_D$ ) 모두에 대해 분리된 백본과 영역 제안 네트워크 (RPNs) 를 사용합니다.
통합: 깊이 분기에서 생성된 영역 제안 ( $p_D$ ) 은 RGB 특징 맵에 투영됩니다. 시스템은 두 모달리티의 제안을 집계하여 객체성 로지트 (objectness logits) 를 기반으로 상위-k 개를 선택합니다. 이를 통해 모델은 RGB 만으로는 놓친 영역을 포착하고 부당한 제안을 필터링할 수 있습니다.
추론: 깊이 분기는 가짜 레이블을 생성하고 학생의 국소화를 정제하기 위해 훈련 중에만 사용됩니다. 추론 시에는 깊이 분기가 제거되고 RGB 네트워크만을 사용하여 감지를 수행하므로 추가적인 지연 시간이 발생하지 않습니다.

B. 다중 모달 유도 프롬프트 학습

저자들은 텍스트의 고수준 의미적 일관성을 활용하여 도메인 무관 지식을 인코딩하고, 도메인 특화 적응을 위해 RGB 특징을 사용합니다.

프롬프트 분해: 학습 가능한 텍스트 프롬프트는 두 가지 토큰 집합으로 분해됩니다:
1. 도메인 무관 토큰 ( $v_m$ ): 도메인 무관 네트워크 (DA-Net) 를 통해 얕은 깊이 맵 ( $\hat{F}_D$ ) 의 특징으로 풍부해집니다. 이는 도메인 간 공유된 기하학적 및 구조적 특성을 포착합니다.
2. 도메인 특화 토큰 ( $d_m$ ): 도메인 특화 네트워크 (DS-Net) 를 통해 얕은 RGB 맵 ( $\hat{F}_R$ ) 의 특징으로 풍부해집니다. 이는 각 도메인에 특화된 스타일 및 외관 단서를 포착합니다.
토큰 버퍼: 추론 시 깊이 맵을 사용할 수 없으므로, 도메인 무관 토큰 ( $\pi_{DA}$ ) 과 도메인 특화 토큰 ( $\pi_{DS}$ ) 은 훈련 중 지수 이동 평균 (EMA) 을 사용하여 사전 계산되어 버퍼에 저장됩니다. 이러한 버퍼는 추론 중 동적 토큰 생성을 대체하여 모델이 계산 오버헤드 없이 정적이며 최적화된 텍스트 프롬프트를 사용할 수 있게 합니다.
분류: 최종 텍스트 프롬프트는 이러한 토큰을 클래스 이름 (예: [v1]...[vM1][d1]...[dM2][CLS]) 과 결합하여 객체 임베딩과 정렬함으로써 분류를 수행합니다.

3. 주요 기여

새로운 프레임워크: 도메인 특화 단서를 억제하기 위해 적대적 학습이 필요하지 않도록 도메인 불변 표현을 인코딩하기 위해 보조 모달리티 (깊이 및 텍스트) 를 명시적으로 활용하는 최초의 MSDA 프레임워크인 MS-DePro 의 도입.
깊이 유도 국소화: 질감과 조명의 도메인 편이에 대한 국소화 강건성을 개선하기 위해 깊이 맵을 활용하여 보완적인 영역 제안을 생성하는 방법.
다중 모달 유도 프롬프트 학습: 학습 가능한 텍스트 임베딩 내에서 도메인 무관 (깊이 유도) 및 도메인 특화 (RGB 유도) 지식을 명시적으로 분리하는 구조화된 프롬프트 학습 접근법.
최첨단 성능: 기존 방법들에 비해 MSDA 벤치마크에서 MS-DePro 가 우수한 성능을 달성함을 보여주는 포괄적인 실험.

4. 실험 결과

저자들은 MS-DePro 를 표준 MSDA 벤치마크에서 평가하고, 이를 다중 소스 도메인 일반화 (MSDG) 로 확장하여 평가했습니다.

MSDA 벤치마크:
- 교차 시간 적응 (BDD100K): MS-DePro 는 53.7 mAP를 달성하여 이전 최첨단 (ACIA) 보다 5.8 mAP 더 높은 성능을 보였습니다. 특히, 소스와 레이블이 지정된 타겟 데이터 모두로 훈련된 "Oracle All-combined" 기준선을 2.9 mAP 상회했습니다.
- 교차 카메라 적응 (Cityscapes/KITTI): MS-DePro 는 68.4 mAP를 달성하여 ACIA 대비 9.3 mAP 향상되었습니다.
- 혼합 도메인 적응: Cityscapes, MS-COCO, Synscapes 를 결합한 설정에서 MS-DePro 는 소스 도메인의 수에 따라 이전 최첨단보다 2.9 에서 4.4 mAP 까지 더 높은 성능을 보였습니다.
도메인 일반화 (MSDG):
- 다양한 날씨: MS-DePro 는 보이지 않는 날씨 도메인 (mPC) 에서 평균 mAP 가 가장 높았으며, PDOC 및 CLIP-Gap 과 같은 방법들을 능가했습니다.
- 실제 대 예술적: 모델은 실제 세계 데이터셋에서 예술적 스타일 (Clipart, Comic, Watercolor) 로의 강력한 일반화를 보여주어 단일 소스 도메인 일반화 기준선을 크게 상회했습니다.
절대 연구 (Ablation Studies):
- 깊이 대 RGB: t-SNE 시각화는 깊이 특징이 도메인 간 단일하고 일관된 클러스터를 형성하는 반면, RGB 특징은 산재해 있음을 확인했습니다.
- 구성 요소 시너지: 깊이 유도 국소화 또는 다중 모달 프롬프트 학습 중 하나를 제거하면 성능이 크게 저하되어 시너지 효과를 확인했습니다.
- 토큰 구성: 도메인 무관 토큰에는 이미지 수준 특징을, 도메인 특화 토큰에는 제안 수준 특징을 사용할 때 가장 좋은 성능을 달성했습니다.
- 계산 비용: 훈련에는 추가적인 깊이 처리가 포함되지만, 깊이 분기가 제거되고 토큰이 사전 계산되므로 추론 비용은 기본 RGB 전용 모델과 동일합니다.

5. 중요성과 한계

본 논문은 MS-DePro 가 보조 모달리티를 사용하여 도메인 특화 및 도메인 무관 특징을 명시적으로 분리하는 효과성을 입증한다고 주장합니다. RGB 이미지에서 도메인 단서를 억제하는 "역설적" 과정에서 벗어나함으로써, 이 방법은 더 강건한 적응을 달성합니다. 결과는 적대적 정렬에만 의존하는 것보다 입력 수준에서 기하학적 단서 (깊이) 와 의미적 단서 (텍스트) 를 활용하는 것이 MSDA 를 위한 더 우월한 전략임을 시사합니다.

한계:
저자들은 단안 추정 모델에 의해 생성된 깊이 맵이 모션 블러, 심한 가림, 악천후, 저조도와 같은 까다로운 조건에서 노이즈가 있을 수 있음을 인정합니다. 이러한 시나리오에서는 영역 제안의 품질과 도메인 무관 토큰의 안정성이 저하되어 성능에 영향을 미칠 수 있습니다. 논문은 깊이 추정 강건성을 개선하는 것이 향후 연구 방향임을 제안합니다.