기술 요약: 소스 프리 객체 감지를 위한 컨텍스트 인식 기반 교사

문제 정의

소스 프리 객체 감지 (SFOD) 는 레이블이 지정된 소스 도메인의 사전 훈련된 객체 감지기를 소스 데이터에 접근할 수 없는 상태에서 레이블이 지정되지 않은 타겟 도메인에 적응시키는 것을 목표로 합니다. 이 설정은 소스 데이터셋의 공유를 막는 개인정보 보호 제약과 데이터 정책으로 인해 소스 데이터 공유가 자주 불가능한 의료 영상 분야에서 중요합니다. 그러나 기존 SFOD 방법들은 지속적인 문제에 직면해 있습니다:

1. 컨텍스트 편향과 클래스 불균형: 소스 데이터로 훈련된 모델들은 종종 지배적인 클래스에 강한 편향을 보이며, 이로 인해 타겟 도메인의 소수 클래스에서 성능이 저하됩니다. 클래스 분포가 매우 편향된 의료 데이터셋에서는 이 문제가 더욱 악화됩니다.
2. 교사 - 학생 불안정성: 대부분의 SFOD 접근법은 Mean Teacher 프레임워크를 활용하는데, 여기서 학생 모델이 의사 레이블을 생성하여 스스로를 훈련시키고, 지수 이동 평균 (EMA) 이 교사를 업데이트합니다. 소스 데이터가 부재한 상태에서, 노이즈가 포함된 의사 레이블은 시간이 지남에 따라 교사 모델을 오염시켜 "드리프트"와 모델 붕괴를 초래하며, 특히 도메인 변화가 클 때 두드러집니다.
3. 근거 (Grounding) 의 부재: 기존 방법들은 종종 클래스 간의 특정 의미론적 관계 (예: 소수 클래스가 어떻게 특정 다수 클래스와 자주 혼동되는지) 를 무시하고, 편향의 근본 원인을 해결하지 못하는 일반적인 증강 또는 정렬 전략에 의존합니다.

방법론: 기반 교사 (Grounded Teacher, GT)

저자들은 관계 모델링, 의미론적 증강, 그리고 기초 모델 가이드를 통합하여 훈련을 안정화하고 소수 클래스 감지를 개선하는 편향 인식형 SFOD 접근법인 기반 교사 (Grounded Teacher, GT) 프레임워크를 제안합니다.

1. 관계 컨텍스트 모듈 (Relation Contextual Module, RCM)

GT 의 핵심은 RCM 으로, 클래스 간의 방향성 혼동을 명시적으로 모델링하여 컨텍스트 편향을 정량화합니다.

• 메커니즘: RCM 은 타겟 의사 레이블에 대한 모델의 예측에서 도출된 전역 혼동 행렬의 지수 이동 평균 (EMA) 을 유지합니다.
• 기능: 이 행렬은 실제 클래스 $c_i$가 클래스 $x_i$로 예측될 확률을 추적합니다. 이 행렬은 정규화되어 클래스 간 편향을 동적으로 추정합니다.
• 도메인 분할: 도메인 변화를 처리하기 위해, 소스 사전 훈련 모델의 탐지 분산 (불확실성) 을 기반으로 타겟 데이터셋을 "소스 유사" 및 "소스 비유사" 하위 집합으로 분할합니다. 이를 통해 표적화된 적응 전략이 가능해집니다.

2. 의미론적 증강 (Semantic Augmentation, SA)

RCM 을 활용하여, 프레임워크는 클래스 불균형을 해결하기 위해 인스턴스 수준의 데이터 증강을 수행합니다.

• Cropbank: 소스 유사 및 소스 비유사 하위 집합 모두에 대한 객체 인스턴스 (크롭) 의 동적 저장소가 유지됩니다.
• 관계 기반 MixUp: 무작위 페어링 대신, SA 는 RCM 을 사용하여 페어를 선택합니다.
  • 다수 클래스의 경우, RCM 의 열 벡터를 사용하여 해당 클래스와 자주 혼동되는 소수 클래스와 인스턴스를 페어링합니다.
  • 소수 클래스의 경우, RCM 의 행 벡터를 사용하여 자기 증강 또는 의미론적으로 관련된 클래스와 페어링을 허용합니다.
• 목표: 이는 소스 유사 및 소스 비유사 영역 모두에서 소수 클래스와 혼동 가능한 클래스의 표현을 선택적으로 증가시켜, 지배적인 카테고리에 과적합하지 않으면서 재현율 (recall) 을 향상시킵니다.

3. 의미 인식 손실 (Semantic-Aware Loss, SAL)

편향된 의사 레이블 하에서 학습을 안정화하기 위해, 저자들은 가중 분류 손실을 설계했습니다.

• 가중치 전략: 이 손실은 RCM 에 기반하여 대각선 정규화된 가중치를 적용합니다. 소수 클래스가 다수 클래스로 자주 오분류되는 경우, 해당 특정 오류에 대한 가중치가 증가합니다.
• 정규화: 정규화 항은 기울기 폭발을 방지하고 가중치가 불균형하게 작아지지 않도록 하여 훈련 과정을 안정화합니다.
• 효과: 이는 모델이 과소 표현되거나 혼동되는 클래스에서의 오류를 수정하는 것을 우선시하도록 강제합니다.

4. LVFM 전문가를 통한 기반 감독

교사 드리프트를 방지하고 추론 오버헤드 없이 안정적인 참조를 제공하기 위해, GT 는 고정된 **전문가 브랜치 (Expert Branch)**를 도입합니다.

• 출처: 이 브랜치는 CLIP, DINOV2, SAM, 또는 BioMedParse 와 같은 대규모 시각 기초 모델 (LVFMs) 을 활용합니다.
• 역할: 전문가 모델은 고정되어 있으며 훈련 중 학생에게 의사 레이블 (바운딩 박스 및 클래스 점수) 을 제공합니다.
• 손실: 의사 감독 손실 (분류 및 회귀 결합) 은 노이즈가 있는 자기 생성 의사 레이블로 인한 지역 최소값에서 학생을 이끕니다. 중요하게도, 이 전문가 가이드는 훈련 중에만 사용되며 추론 시에는 비용이 발생하지 않습니다.

주요 기여

1. 편향 인식 프레임워크: 이 논문은 소수 클래스 샘플이 SFOD 에서 의사 레이블 노이즈와 소스 편향에 특히 취약하다는 점을 식별합니다. GT 는 RCM 을 통해 클래스 편향을 명시적으로 모델링함으로써 이를 해결합니다.
2. 관계적 증강 및 손실: 저자들은 RCM 이 데이터 공간 균형을 위한 의미론적 증강 (SA) 전략과 손실 공간 재가중치를 위한 **의미 인식 손실 (SAL)**을 모두 주도하는 통합 접근법을 제안합니다. 이 이중 메커니즘은 컨텍스트 편향과 클래스 불균형을 동시에 표적합니다.
3. 기초 모델 가이드: 이 논문은 제로샷 표현이 LVFM 에서 파생되어 소스 프리 설정에서 학생 모델을 효과적으로 안내할 수 있음을 보여줍니다. 이는 큰 도메인 변화 하에서도 올바른 표현과 거리를 학습하도록 도와주어 모드 붕괴를 완화합니다.
4. 의료 영상 적용성: 이 프레임워크는 소스 데이터 공유가 제한된 의료 시나리오에 특히 맞춰져 있습니다. 소스 데이터 없이 유방암 탐지 작업 (DDSM, INBreast, RSNA) 에서 최첨단 (state-of-the-art) 결과를 달성합니다.

실험 결과

저자들은 GT 를 자연 이미지 벤치마크와 의료 영상 데이터셋 모두에서 평가했습니다.

• 자연 이미지 (Cityscapes $\to$ Foggy Cityscapes):
  • GT 는 50.8 mAP를 달성하여 이전 최첨단 (SOTA) 인 45.0 mAP 를 +5.8 mAP 상회했습니다.
  • 이는 소스 데이터가 필요한 다른 SFOD 베이스라인 (예: IRG, PETS, LPLD) 과 UDA 방법들보다 우월한 성능을 보입니다.
• 의료 영상 (유방암 탐지):
  • DDSM $\to$ INBreast: GT 는 FPI 0.3 에서 0.45의 재현율을 달성하여 현재 SOTA(0.05) 를 크게 능가했습니다.
  • DDSM $\to$ RSNA: GT 는 FPI 0.3 에서 0.43의 재현율을 달성하여 SOTA 인 0.31 대비 우월했습니다.
  • RSNA $\to$ INBreast: GT 는 FPI 0.3 에서 0.28의 재현율을 달성하여 SOTA 인 0.05 를 개선했습니다.
• 효율성: 전문가 브랜치와 증강으로 인한 추가 훈련 비용은 12% 미만이며, RCM/SAL 을 위해 약 0.3 GB, 전문가 브랜치를 위해 약 1 GB 의 추가 VRAM 이 필요합니다. 전문가 브랜치는 테스트 시 비활성화되므로 추론 지연 시간과 FLOPs 는 베이스라인과 동일하게 유지됩니다.

중요성 및 주장

이 논문은 기반 교사가 소스 프리 도메인 적응에 내재된 불안정성과 편향에 대한 강력한 해결책을 제공한다고 주장합니다. 관계 정규화와 기초 모델 감독을 통해 교사 모델을 기반으로 함으로써, GT 는 노이즈가 있는 의사 레이블로 인해 시간이 지남에 따라 교사 모델이 저하되는 "드리프트" 현상을 효과적으로 완화합니다.

저자들은 그들의 접근 방식이 특정 데이터셋 사전 지식에 의존하지 않고 도메인 전반에 걸쳐 광범위하게 적용 가능하다고 강조하며, 이는 데이터 프라이버시와 단일 센터 편향이 만연한 의료 영상 분야에서 특히 가치 있다고 말합니다. 결과는 소스 데이터에 완전히 접근할 수 없더라도 클래스 간 혼동을 명시적으로 모델링하고 제로샷 기초 모델을 활용함으로써 소스 및 타겟 도메인 간의 격차를 좁힐 수 있음을 시사하며, 자연 및 의료 객체 감지 작업 모두에서 새로운 최첨단 성능을 달성합니다.