💻 computer science

Breaking Spurious Correlations via Generative Randomization and Cross-Variant Self-Supervised Learning

이 논문은 컨텍스트가 변화된 객체 변형체를 생성하기 위한 생성적 개입(generative intervention)과 배경 불변 표현(background-invariant representations)을 명시적으로 학습하기 위한 교차 변형 자기 지도 학습(Cross-Variant Self-Supervised Learning)을 결합한 GRSSL이라는 2단계 프레임워크를 제안하며, 이를 통해 여러 벤치마크에서 분포 변화에 대한 최첨단 수준의 강건성을 달성한다.

원저자: Suraj Yadav, Anjaneya Sharma, Siddharth Yadav

게시일 2026-07-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Suraj Yadav, Anjaneya Sharma, Siddharth Yadav

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아이에게 다양한 종류의 새를 식별하는 법을 가르치고 있다고 상상해 보세요. 당신은 수조류(오리 같은)와 육상조류(참새 같은)의 사진을 보여줍니다.

일반적인 교실에서 선생님은 실수로 다음과 같은 실수를 저지를 수 있습니다: 오리는 물 위에만, 참새는 풀밭 위에만 보여주는 것이죠. 매우 똑똑하지만 아주 게으른 아이는 빠르게 지름길을 찾아냅니다. "물이 보이면 오리고, 풀밭이 보이면 참새야." 아이는 새의 깃털이나 부리를 보는 것을 멈춥니다.

이것은 많은 AI 모델에서 일식으로 일어나는 현상입니다. 그들은 **가짜 상관관계(spurious correlations)**를 학습합니다. 즉, 실제 대상이 아닌 배경을 봄으로써 "속임수"를 쓰는 것입니다. 나중에 여러분이 풀밭 위의 오리를 보여주면, AI는 배경에 의존했기 때문에 혼란에 빠지고 실패하게 됩니다.

이 논문은 이러한 "속임수" 행동을 고치기 위한 영리한 2단계 해결책을 제안합니다.

1단계: "마법의 배경 변경기" (생성적 무작위화)

먼저, 연구진은 디지털 사진 편집기 역할을 할 특별한 AI 도구(확산 모델)를 사용합니다.

그들은 새의 사진을 가져옵니다.
"제로샷 세그멘테이션(zero-shot segmentation)" 도구(매우 정밀한 가위라고 생각하세요)를 사용하여 새를 다치게 하지 않고 사진에서 잘라냅니다.
그런 다음, AI를 사용하여 새 뒤에 완전히 새로운 배경을 그려 넣습니다. 호수를 숲으로, 혹은 사막을 설산으로 바꿀 수 있지만, 새 자체는 그대로 유지합니다.

그들은 이렇게 하여 동일한 새를 완전히 다른 세상 속에 있는 수많은 "변형(variants)"으로 만들어냅니다.

2단계: "같은 새, 다른 세상" 게임 (교차 변형 자기 지도 학습)

여기서 마법이 일어납니다. 보통 AI가 학습할 때, 이 새로운 사진들을 단순히 추가적인 숙제처럼 취급합니다. 하지만 이 논문은 이렇게 말합니다. "아니, AI가 게임을 하게 만들자."

그들은 AI에게 명령합니다: "이 호수 위의 오리와, 저 산 위의 '같은' 오리를 봐. 배경은 완전히 다르지만, 이들은 '같은' 새야. 너의 임무는 배경을 무시하고 오직 새에게만 집중하는 거야."

그들은 AI가 배경이 바뀌더라도 객체의 정체성은 유지된다는 것을 배우도록 강제합니다. 이것을 **교차 변형 자기 지도 학습(Cross-Variant Self-Supervised Learning)**이라고 부릅니다. 이는 마치 탐정에게 상대가 모자를 쓰든, 가면을 쓰든, 혹은 다른 도시에 있든 상관없이 용의자의 얼굴을 인식하도록 훈련시키는 것과 같습니다.

마지막 다듬기 (미세 조정)

AI가 이 "게임"을 통해 배경을 무시하는 법을 배운 후, 연구진은 AI가 실제 세상에 나갈 준비가 되었는지 확인하기 위해 마지막 훈련 라운드를 진행합니다. 그들은 GroupDRO라는 기술을 사용하는데, 이는 마치 엄격한 코치처럼 *"네가 쉬운 문제의 99%를 맞히는 건 상관없어. 나는 네가 가장 어렵고 희귀한 문제까지 맞히기를 바란다"*라고 말하는 것과 같습니다.

결과

논문은 AI가 배경 속임수 때문에 보통 실패하는 세 가지 어려운 과제에서 이 방법을 테스트했습니다:

Waterbirds: 물 위와 육지 위의 새를 구별하는 것.
MetaShift: 환경 변화에 대한 일반적인 테스트.
NICO++: 또 다른 복잡한 환경 테스트.

결과:
이 "마법의 배경 변경기"와 "같은 새" 게임을 사용함으로써, AI는 어떤 장소에 놓이더라도 객체를 훨씬 더 잘 인식하게 되었습니다.

Waterbirds 테스트에서, 이 모델은 가장 어려운 사례에서 **92.5%**의 정답률을 기록했습니다 (표준 방식들에 비해 훨씬 낮은 점수와 비교했을 때).
또한 "쉬운" 사례에서도 높은 점수를 유지하여, 일반적인 지식을 잃지 않았음을 증명했습니다.

요약

이 논문은 단순히 데이터셋에 더 많은 사진을 추가하는 것만으로는 충분하지 않다고 주장합니다. 대신, 동일한 객체를 인위적으로 만들어낸 다양한 세상 속에 배치함으로써 AI가 배경을 무시하도록 능동적으로 가르쳐야 합니다. AI가 배경이 아닌 객체 자체에 집중하도록 강제함으로써, AI는 "속임수"를 쓰지 않게 되고 실제 세상이 변하더라도 훨씬 더 신뢰할 수 있게 됩니다.

기술 요약: 생성적 무작위화 및 교차 변이 자기지도 학습을 통한 가짜 상관관계 타파

문제 정의
경험적 위험 최소화(ERM)로 훈련된 심층 신경망은 분포 변화(distribution shifts) 하에서 종종 열악한 일반화 성능을 보입니다. 이러한 실패는 주로 가짜 상관관계(spurious correlations), 즉 타겟 레이블과 배경, 질감 또는 장면 맥락과 같은 시각적 속성 사이의 예측 가능하지만 비인과적인 연관성을 악용하는 현상에 기인합니다. 예를 들어, Waterbirds 벤치마크에서 모델은 조류 고유의 특징을 배우기보다 "물새(waterbirds)"를 "물 배경"과 연관시키고, "육지새(landbirds)"를 "육지 배경"과 연관시키는 법을 배울 수 있습니다. 결과적으로, 이러한 카테고리들이 이례적인 맥락에서 나타날 때 성능이 크게 저하됩니다. Group Distributionally Robust Optimization(GroupDRO)과 같은 기존 방법들은 그룹 재가중치를 통해 이를 해결하려고 시도하지만, 그룹 감독의 품질과 초기 최적화 역학에 여전히 민감하다는 한계가 있습니다. 또한, 최근의 생성적 접근 방식들은 반사실적 이미지를 합성할 때 이를 단순한 데이터 증강으로 취급하며, 인코더가 서로 다른 맥락에서도 동일한 객체에 대해 일관된 표현을 유지하도록 명시적으로 강제하지 못한다는 문제가 있습니다.

방법론
저자들은 생성적 개입과 표현 수준의 불변성 학습을 결합하여 배경에 불변하는 시각적 표현을 명시적으로 학습하는 2단계 프레임워크를 제안합니다.

1단계: 생성적 환경 무작위화
- 격리(Isolation): 파이프라인은 제로샷 세그멘테이션 접근 방식을 활용합니다. 주어진 이미지 $x_i$ 와 레이블 $y_i$ 에 대해, Grounding DINO가 바운딩 박스를 추출하고, 이후 **Segment Anything Model (SAM)**이 픽셀 수준의 이진 마스크를 생성하여 인과적 전경 객체를 격리합니다.
- 합성(Synthesis): 단순한 배경 교체 대신, 본 방법은 구조 보존형 확산 인페인팅 모델인 FLUX.1-Fill을 사용합니다. 배경 영역(반전된 마스크)은 다양한 텍스트 프롬프트(예: "호수", "산", "숲")를 사용하여 재합성되어, 객체의 정체성과 픽셀 구조를 보존하면서 주변 환경을 완전히 바꾸는 일련의 문맥 변화 변이 $V_i$ 를 생성합니다.
2단계: 교차 변이 자기지도 학습(SSL) 및 미세 조정
- 교차 변이 SSL: 생성된 이미지를 단순히 지도 학습 샘용으로 사용하는 대신, 저자들은 대조 사전 학습 전략을 도입합니다. 단일 인과적 객체에 대해, 서로 다른 배경을 가진 두 개의 별도 생성 변이는 하나의 **양의 쌍(positive pair)**으로 취급됩니다. 인코더는 NT-Xent (InfoNCE) 손실을 사용하여 이 뷰들 사이의 유사도를 최대화하도록 훈련됩니다. 이 목적 함수는 인코더가 객체 중심의 표현을 정렬하고 배경 특유의 단서들을 억제하도록 명시적으로 유도합니다.
- 미세 조정(Fine-Tuning): SSL로 사전 학습된 인코더는 분류를 위해 미세 조정됩니다. 여기에는 그룹 가중치를 균일하게 고정하는 ERM 웜업(warm-up) 단계와 GroupDRO 최적화가 포함됩니다. 결정적으로, 저자들은 사전 학습된 불변 특징을 보존하면서 분류기를 타겟 태스크에 적응시키기 위해 이 단계에서 **레이어별 학습률(layer-wise learning rates)**을 사용합니다.

주요 기여

고충실도 생성 파이프라인: 제로샷 세그멘테이션을 통해 인과적 객체를 격리하고, 구조 보존형 확산을 사용하여 다양한 문맥 변화 변이를 생성하는 파이프라인을 도입했습니다.
교차 변이 SSL: 동일한 객체의 변이들을 다양한 배경에 걸쳐 표현을 정렬하는 새로운 대조 사전 학습 전략을 제시합니다. 이는 생성된 데이터를 단순히 추가적인 지도 학습 샘플로 사용하는 것과 차별화되며, 배경 의존성을 직접적으로 목표로 합니다.
강건한 최적화 전략: 불변 특징을 파괴하지 않으면서 최악의 그룹 성능을 최적화하기 위해 ERM 웜업, 레이어별 학습률, GroupDRO를 결합한 미세 조정 프로토콜을 제공합니다.

실험 결과
본 프레임드워크는 심각한 환경적 분포 변화를 특징으로 하는 세 가지 표준 벤치마크인 Waterbirds, MetaShift, **NICO++**에서 평가되었습니다. 본 방법은 높은 평균 정확도를 유지하면서도 최악의 그룹 정확도에서 SOTA(State-of-the-art)를 달성했습니다:

Waterbirds: 최악의 그룹 정확도 92.5% (GroupDRO의 91.6% 대비), 평균 정확도 95.4%.
MetaShift: 최악의 그룹 정확도 81.7%, 평균 정확도 82.6%로 모든 베이스라인을 능가함.
NICO++: 최악의 그룹 정확도 87.4%, 평균 정확도 94.0%.

Waterbirds에 대한 소거 실험(Ablation study) 결과, 교차 변이 SSL 단계를 건너뛰면 최악의 그룹 정확도가 크게 하락(92.5%에서 89.6%로)함을 확인하였으며, 이는 생성된 데이터를 단순히 추가적인 지도 학습 샘플로 사용하는 것만으로는 불충분하며 명시적인 불변성 목적 함수가 필요함을 입증합니다. 마찬가지로, ERM 웜업을 제거하면 노이즈가 있는 소수 샘플에 과적합되어 성능 저하가 발생했습니다.

의의 및 주장
본 논문의 주요 의의는 생성적 개입이 표현 수준의 불변성 목적 함수와 결합될 때 가장 효과적임을 입증했다는 데 있다고 주장합니다. 동일한 인과적 객체의 변이들을 서로 다른 배경에 걸쳐 정렬함으로써, 제안된 방법은 배경에 대한 의존도를 줄이고 분포 변화 하에서의 일반화 성능을 향고합니다. 저자들은 본 접근 방식이 여러 벤치마크에서 강력한 최악의 그룹 성능을 달와냈음을 강조하며, 이는 생성된 변이들이 단순히 추가적인 지도 학습 샘용이 아니라 불변 표현을 학습하는 데 더 결정적인 역할을 수행함을 시사합니다.

저자들은 접근 방식이 생성된 변이의 품질과 다양성에 민감하다는 점을 언급하며, 랜덤 시드에 따른 편차를 한계점으로 인정했습니다. 향-후 연구로는 더 안정적인 변이 선택 및 생성 품질 필터링에 집중할 것을 제안했습니다.

1단계: "마법의 배경 변경기" (생성적 무작위화)

2단계: "같은 새, 다른 세상" 게임 (교차 변형 자기 지도 학습)

마지막 다듬기 (미세 조정)

결과

요약

유사한 논문