💻 computer science

Domain-Agnostic Feature Modulation for Semi-Supervised Domain Generalization

본 논문은 도메인 레이블에 의존하지 않고 주요 벤치마크에서 상당한 성능 향상을 달성하기 위해 강건한 도메인 불변 표현을 생성하는 특징 변조 전략과 도메인 노이즈를 완화하고 의사 레이블 정확도를 향상시키는 동적 손실 스케일링 함수를 제안함으로써 도메인 레이블 무관 반지도 도메인 일반화라는 까다로운 과제를 다룬다.

원저자: Venuri Amarasinghe (University of Moratuwa), Kalinga Bandara (University of Moratuwa), Isun Randila (University of Moratuwa), Asini Jayakody (University of Moratuwa), Chamuditha Jayanga Galappaththige

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Venuri Amarasinghe (University of Moratuwa), Kalinga Bandara (University of Moratuwa), Isun Randila (University of Moratuwa), Asini Jayakody (University of Moratuwa), Chamuditha Jayanga Galappaththige (Queensland University of Technology), Ranga Rodrigo (University of Moratuwa)

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 글은 해당 논문을 쉬운 언어와 창의적인 비유를 사용하여 설명한 것입니다.

큰 문제: "새로운 도시" 도전

로봇에게 동물을 인식하도록 훈련시킨다고 상상해 보세요. 당신은 로봇에게 햇살 가득한 공원에서 찍은 개와 고양이 사진 수천 장을 보여줍니다 (소스 도메인). 로봇은 완벽하게 학습합니다.

하지만 그다음, 로봇을 어둡고 비가 내리는 숲 (타겟 도메인) 으로 데려가 테스트합니다. 조명은 다르고, 나무 모양도 다르고, 동물들의 모습도 다릅니다. 로봇은 혼란에 빠집니다. 비가 내리는 숲의 특징이 로봇의 두뇌를 혼란스럽게 만들어, 젖은 개를 고양이로 오인할 수도 있습니다.

이를 도메인 시프트 (Domain Shift) 라고 합니다. 현실 세계에서는 새로운 환경 (비가 내리는 숲과 같은) 에 대한 완벽한 레이블이 지정된 데이터를 항상 구할 수 없습니다. 우리는 소량의 레이블이 지정된 데이터와 많은 양의 레이블이 지정되지 않은 데이터 (이름이 없는 사진) 만을 가지고 있습니다.

이 논문의 목표는 각 사진이 정확히 어떤 환경 (도메인) 에서 왔는지 알 필요 없이, 주로 레이블이 지정되지 않은 데이터를 사용하여 로봇이 이러한 새로운, 보지 못한 환경에 대처하도록 가르치는 것입니다.

두 가지 주요 장애물

저자들은 기존 방법들의 두 가지 큰 문제를 파악했습니다:

"맞추기 게임" (의사 레이블링): 새로운 데이터에 레이블이 없기 때문에, 로봇은 레이블을 추측해야 합니다 (예: "이게 개일 확률이 90% 입니다"). 이러한 추측을 의사 레이블 (Pseudo-Labels) 이라고 합니다. 만약 로봇이 "비가 내리는 숲" 배경에 혼란을 느껴 잘못된 추측을 한다면, 그 잘못된 추측으로 로봇을 가르치게 되면 로봇은 더 나빠집니다.
"너무 엄격한" 규칙: 잘못된 추측을 피하기 위해, 기존 방법들은 매우 엄격합니다. 로봇이 95% 확신할 때만 학습을 허용합니다.这意味着 로봇이 충분히 확신하지 못하기 때문에 레이블이 지정되지 않은 데이터의 90% 를 버리게 됩니다. 이는 교사가 가장 쉬운 문제만 학생이 공부하도록 허용하고 나머지는 무시하는 것과 같습니다.

해결책: 두 단계로 이루어진 마술

저자들은 도메인 무관 특징 변조 (Domain-Agnostic Feature Modulation) 라는 새로운 방법을 제안합니다. 이를 로봇의 두뇌를 고치는 두 단계의 마술로 생각하세요.

1 단계: "블렌더" (특징 변조)

비유: 누군가에게 개를 인식하도록 가르치려 한다고 상상해 보세요.

문제: "사진" 세계에서는 개가 털을 가지고 있습니다. "스케치" 세계에서는 개가 선으로만 표현됩니다. 로봇이 "털"에 집중하면 스케치 세계에서는 실패합니다. "선"에 집중하면 사진 세계에서는 실패합니다.
해결: 저자들은 특징 변조기 (Feature Modulator) 를 만들었습니다. 이를 블렌더라고 생각하세요.
- 그들은 사진의 구체적인 특징 (털, 선) 을 가져옵니다.
- 이를 "유사 평균 표현 (Similar Average Representation, SAR)"과 섞습니다. SAR 은 사진, 스케치, 만화 등 모든 다른 세계의 개들에서 가장 좋은 부분들을 섞어 만든 "슈퍼 평균 개"라고 상상하세요.
- 블렌더는 세계 간에 너무 많이 변하는 부분 (배경이나 조명 등) 은 줄이고, 동일하게 유지되는 부분 (코의 모양 등) 은 강조합니다.
결과: 로봇은 "비가 내리는 숲" 배경을 보지 않고 "개의 모양"에 집중하기 시작합니다. 이로써 로봇의 추측 (의사 레이블) 이 훨씬 더 정확해집니다.

2 단계: "스마트 볼륨 조절기" (손실 스케일링)

비유: 이제 로봇이 더 나은 추측을 하고 있으므로, 저자들은 더 엄격할 필요가 없다는 것을 깨달았습니다.

옛 방식: "95% 확신할 때만 추측을 들어라." (이는 많은 데이터를 무시합니다).
새 방식: 그들은 손실 스케일링 (Loss Scaling) 함수를 도입했습니다. 볼륨 조절기를 상상하세요.
- 로봇이 매우 확신할 때 (95%), 볼륨은 큽니다 (높은 가중치).
- 로봇이 어느 정도 확신할 때 (75%), 볼륨은 작아지지만 아직 들립니다.
- 중요한 점은 "불확실성" (로봇의 손이 얼마나 떨리는지) 도 확인한다는 것입니다. 로봇이 불안정하면, 잘못된 것을 배우지 않도록 볼륨을 더 줄입니다.
결과: 로봇은 이제 더 많은 데이터 (약간 확신하는 추측 포함) 로부터 학습할 수 있으며, 노이즈에 혼란을 겪지 않습니다.

이것이 중요한 이유 (결과)

저자들은 PACS, OfficeHome 등 네 가지 주요 데이터셋 (각각 다른 이미지 "우주"와 같음) 에서 이를 테스트했습니다.

도메인 레이블 불필요: "이것은 사진 세계에서 왔습니다"라는 레이블이 필요한 다른 방법들과 달리, 이 방법은 맹목적으로 작동합니다. 데이터가 어디서 왔는지 신경 쓰지 않습니다.
더 나은 정확도: 특징을 정제 (1 단계) 하고 데이터를 더 현명하게 활용 (2 단계) 함으로써, 그들의 방법은 FixMatch 와 같은 이전 최선 방법들을 상당한 차이 (약 3-6% 향상) 로 능가했습니다.
"유지율" 승리: 그들은 추측을 정확하게 유지하면서도 훈련 루프에 더 많은 데이터를 유지 (높은 "유지율") 할 수 있었습니다. 이는 학생이 혼란을 겪지 않으면서도 20% 더 많은 문제를 공부하도록 만드는 것과 같습니다.

한 문장으로 요약

이 논문은 컴퓨터 비전 모델이 서로 다른 환경의 "배경 노이즈"를 무시하고 핵심 객체에 집중하도록 가르쳐, 정확히 데이터가 어디서 왔는지 알 필요 없이 훨씬 더 큰 레이블이 지정되지 않은 데이터 풀로부터 학습할 수 있게 합니다.

기술 요약: 도메인 무관 특징 변조를 위한 반지도 도메인 일반화

문제 정의
반지도 도메인 일반화 (SSDG) 는 풍부한 라벨 없는 데이터와 함께 소량의 라벨된 데이터를 활용하여 미지의 타겟 도메인에 대한 모델 일반화 성능을 향상시키는 것을 목표로 합니다. 기존 SSDG 방법들은 종종 라벨 없는 데이터에 대한 의사 라벨링 (PL) 에 의존하지만, 훈련 중에 도메인 라벨에 접근할 수 있다고 가정하는 경우가 많습니다. 이는 실제 시나리오에서 항상 가능한 특권이 아닙니다. 또한 도메인 변화는 "도메인 노이즈"를 유발하여 일관성 없는 의사 라벨을 생성하고 모델 성능을 저하시킵니다. 반지도 학습 베이스라인에서 파생된 방법들은 종종 낮은 의사 라벨 정확도로 인해 고통받으며, 이는 라벨 없는 데이터의 효과적인 활용을 제한합니다. 근본적인 딜레마가 존재합니다. 더 많은 라벨 없는 데이터를 활용하기 위해 신뢰도 임계값을 낮추면 노이즈가 증가하고, 높은 임계값을 유지하면 가치 있는 데이터가 폐기됩니다. 본 논문은 라벨 없는 데이터에 대한 도메인 라벨이 훈련 중에 제공되지 않는 도메인 라벨 무관 SSDG 설정을 다룹니다.

방법론
제안된 접근법은 유사 평균 표현 (SAR), 특징 변조기, 변조된 특징을 이용한 의사 라벨링, 그리고 불확실성 추정이 포함된 손실 스케일링 함수라는 네 가지 핵심 구성 요소로 구성된 새로운 프레임워크를 도입합니다.

유사 평균 표현 (SAR):
도메인별 정보의 영향을 완화하기 위해 저자들은 도메인 라벨을 사용하지 않고 클래스 라벨만을 기반으로 클래스 프로토타입 ( $P_c$ ) 을 정의하여 이를 도메인 무관하게 만듭니다. 도메인 라벨을 사용하여 도메인 간 특징을 평균화하는 방법들과 달리, 이 접근법은 코사인 유사도에 기반하여 클래스 프로토타입에 가중치를 부여함으로써 SAR( $R_c$ ) 을 계산합니다. 이는 배경, 질감 등 도메인 관련 변이를 억제하면서 클래스별 신호를 강조하는 표현을 생성합니다. SAR 은 특징 변조를 위한 강력한 목표 역할을 합니다.
특징 변조:
학습 가능한 특징 변조기 행렬 ( $M$ ) 이 인스턴스별 특징 ( $z$ ) 과 SAR( $R$ ) 을 혼합하기 위해 도입됩니다. 변조된 특징 $Z_m$ 은 다음과 같이 계산됩니다:
$Z_m = M \odot Z + (1 - M) \odot R$
행렬 $M$ 은 각 클래스 내 특징의 분산에 기반하여 초기화됩니다 (높은 분산을 가진 특징은 도메인별일 가능성이 높으므로 하향 가중치가 부여됨) 그리고 대각선 손실 함수를 통해 훈련 중에 업데이트됩니다. 이 과정은 특징을 해당 SAR 쪽으로 이동시켜, 특징 추출기가 밀집된 도메인 불변 표현을 형성하도록 장려하고 분류기가 공유되거나 도메인별인 특징이 아닌 고유한 클래스별 특징에 집중하여 밀접하게 관련된 클래스들을 구별하도록 강제합니다.
변조된 특징을 통한 의사 라벨링:
더 정확한 의사 라벨을 생성하기 위해, 라벨 없는 샘플의 특징은 분류기에 통과시키기 전에 각 클래스의 SAR 쪽으로 변조됩니다. 이러한 변조된 특징에 대해 가장 높은 신뢰도 점수를 보이는 클래스가 의사 라벨로 할당됩니다. 이 전략은 라벨링 과정에서 도메인 간섭을 줄여 고품질의 의사 라벨을 결과로 낳습니다.
불확실성 추정 및 손실 스케일링:
데이터 활용과 라벨 노이즈 간의 트레이드오프를 해결하기 위해, 저자들은 의사 라벨의 불확실성을 추정하기 위해 몬테카를로 (MC) 드롭아웃을 활용합니다. 그들은 각 의사 라벨의 기여도를 그 신뢰도 ( $p_{max}$ ) 와 불확실성 ( $\sigma$ ) 에 따라 조정하는 동적 손실 스케일링 함수( $l_{scale}$ ) 를 도입합니다. 이를 통해 모델은 노이즈를 크게 증가시키지 않으면서도 통제된 방식으로 낮은 신뢰도의 의사 라벨을 포함할 수 있게 되어, "유지율"(사용된 라벨 없는 데이터의 비율) 이 증가합니다.

주요 기여

특징 변조기: 도메인 라벨에 의존하지 않고 클래스 구별 특징을 강화하고 도메인별 정보를 억제하여 더 정확한 의사 라벨로 이어지는 전략.
손실 스케일링 함수: 신뢰도와 불확실성에 기반하여 의사 라벨의 영향을 동적으로 조정함으로써 라벨 노이즈를 완화하면서 라벨 없는 데이터 활용을 최적화하는 메커니즘.
도메인 라벨 무관 설정: 도메인 라벨이 제공되지 않는 더 까다로운 설정에서 SSDG 문제를 해결하며, 네 가지 주요 벤치마크에서 효과성을 입증함.

실험 결과
이 방법은 5 라벨 및 10 라벨 설정 하에 네 가지 표준 도메인 일반화 벤치마크인 PACS, OfficeHome, VLCS, DigitsDG 에서 평가되었습니다.

성능: 제안된 방법 (FM) 은 강력한 FixMatch 베이스라인에 비해 일관된 개선을 달성했으며, 데이터셋 전반에 걸쳐 평균 정확도가 10 라벨 설정에서 3.3%, 5 라벨 설정에서 4.3% 증가했습니다.
구체적 향상: OfficeHome(5 라벨 57.2%, 10 라벨 61.0%), VLCS(75.5% 및 75.3%), DigitsDG(10 라벨 73.0%) 에서 주목할 만한 개선이 관찰되었습니다.
구성 요소 분석: 제거 실험 (Ablation studies) 은 특징 변조기가 의사 라벨 정확도를 향상시키고, 손실 스케일링 함수가 유지율을 크게 증가시킨 것을 확인했습니다. 두 구성 요소의 조합은 정확도와 데이터 활용 사이의 최상의 균형을 제공했습니다.
비교: 이 방법은 도메인 라벨에 의존하며 도메인 라벨 무관 설정에서 잘 작동하지 않는 많은 다른 최첨단 (SOTA) SSDG 방법들 (예: StyleMatch, FBCSA, DGWM) 보다 우수한 성능을 발휘했습니다.

의의
본 논문은 정확한 의사 라벨 달성과 라벨 없는 데이터 활용 극대화 사이의 SSDG 근본적 딜레마를 해결한다고 주장합니다. 특징을 유사 평균 표현 쪽으로 이동시킴으로써, 모델은 명시적인 도메인 감독 없이 밀집된 클래스들을 구별하고 도메인 불변 표현을 형성하는 법을 배웁니다. 동적 손실 스케일링은 일반적으로 폐기되는 낮은 신뢰도의 의사 라벨을 효과적으로 사용할 수 있게 합니다. 저자들은 이러한 혁신들이 도메인 라벨이 없는 상황에서도 모델이 미지의 도메인으로 효과적으로 일반화할 수 있게 한다고 주장하며, 이는 실제 세계의 제약을 더 잘 반영하는 설정입니다.