🤖 machine learning

Mitigating Spurious Correlations with Memorization-Guided Dataset De-Biasing

이 논문은 핵심 특징과 가짜 특징의 학습 역학을 분리하여 정보가 풍부한 데이터 서브셋을 식별하고 우선순위를 지정함으로써, 그룹 레이블 없이도 단 10%의 원래 훈련 데이터만으로 표준 모델이 우수한 디바이어싱 성능을 달성할 수 있게 하는 2단계 샘플 스코어링 함수를 제안한다.

원저자: Arda Fazla, Abolfazl Hashemi

게시일 2026-06-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Arda Fazla, Abolfazl Hashemi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: AI의 "치트키"

아이에게 새를 식별하는 법을 가르친다고 상상해 보세요. 100장의 사진을 보여줍니다.

90장의 사진은 나무 위에 있는 딱따구리를 보여줍니다.
10장의 사진은 물 위에 있는 딱따구리(아마도 물고기를 잡는 중일 수도 있습니다)를 보여줍니다.

만약 아이에게 나무 위의 딱따구리를 가리키며 "이 새가 뭐야?"라고 묻는다면, 아이는 아마 "딱따구리"라고 대답할 것입니다. 하지만 여기에 함정이 있습니다. 아이는 실제로 새의 부리나 깃털(핵심 특징)을 보고 있는 것이 아닙니다. 아이는 나무(가짜 특징)를 보고 있는 것입니다.

나무가 딱따구리 사진의 90%에 등장하기 때문에, 아이는 "치트키"를 배우게 됩니다: 나무가 보이면 딱따구리다.

이제 나무 위의 딱따구리가 아닌, 호수 위의 딱따구리 사진을 아이에게 보여줍니다. 아이는 "나무 치트키"에 의존하고 있기 때문에 혼란에 빠져, "이건 딱따구리가 아니야!"라고 말하거나 아예 다른 새라고 잘못 추측할 수 있습니다.

AI의 세계에서는 이를 **가짜 상관관계(spurious correlation)**라고 부릅니다. AI는 실제 중요한 패턴(진짜 대상) 대신 쉽고 명백한 패턴(배경)을 학습합니다. 이로 인해 AI는 패턴이 깨지는 상황(예: 물 위의 새)을 마주했을 때 실패하게 됩니다.

기존의 해결책 vs. 새로운 문제

연구자들은 "쉬운" 사진들을 버리고 "어려운" 사진들(물 위의 새 등)만 남겨서 AI가 진짜 특징을 학습하도록 강제하는 방식으로 이 문제를 해결하려 노력해 왔습니다.

하지만 여기에는 문제가 있습니다. 이를 수행하려면 어떤 사진이 "어렵고", 어떤 사진이 "쉬운지"를 알아야 합니다. 그러려면 사람이 모든 사진에 "이것은 물 위의 새임"과 같은 비밀 태그를 일일이 달아줘야 합니다. 하지만 현실 세계에서 우리는 그런 라벨을 거의 가지고 있지 않습니다.

또한, 이 논문은 "어려운" 사진을 찾는 데 흔히 쓰이는 도구들이 고장 났다고 주장합니다. 기존 도구들은 AI의 실수를 보고 "AI가 틀렸으니 이 사진은 어렵다"라고 판단합니다. 하지만 AI가 이미 배경을 이용해 속임수를 쓰고 있다면, 배경이 없을 때만 "쉬운" 사진(나무 위의 새)을 틀리고, 배경이 있을 때는 우연히 "어려운" 사진을 맞힐 수도 있습니다. 즉, 기존 도구들은 혼란에 빠져 엉뚱한 사진을 남기게 됩니다 됩니다.

새로운 해결책: "2단계 탐정"

저자들은 TCSL-CS라고 불리는 새로운 방법을 제안합니다. 이것은 인간의 라벨 없이도 "속임수를 쓰는 자"를 찾아내는 2단계 탐정 과정이라고 생각하면 됩니다.

1단계: "편향 탐정" (가짜 모델 학습)

먼저, 새를 보는 데는 서툴지만 배경을 보는 데는 매우 뛰어난 특수 AI 모델을 훈련시킵니다.

이 모델을 훈련시키되, 특별한 보상을 줍니다: "배경만을 보고 정답을 맞히면 보너스 점수를 준다."
이렇게 하면 모델은 가능한 한 빨리 "치트키"(배경)를 학습하게 됩니다.
이 모델이 훈련되면, 사진들을 살펴봅니다. 만약 "편향 탐정"이 특정 사진에 대해 매우 확신한다면, 그 사진은 강력하고 명백한 배경 패턴을 가지고 있다는 뜻입니다. 반대로 탐정이 혼란스러워한다면, 배경이 까다롭거나 없다는 뜻입니다.

2단계: "진실 탐정" (핵심 모델 학습)

다음으로, 진짜 새의 특징을 학습하는 두 번째 모델을 훈련시킵니다.

여기서 영리한 점은, 이 두 번째 모델에게 "배경은 무시하라"고 명령하는 것입니다. 사실 우리는 이미 배경이 어떻게 생겼는지 알고 있으므로(1단계에서 얻은 정보), 그 지식을 당신의 작업에서 빼버리겠다고 말합니다.
이렇게 하면 두 번째 모델은 배경이라는 "노이즈"가 상쇄되었기 때문에, 오직 새의 부리와 깃털에만 온전히 집중하게 됩니다.

3단계: 성적표 (TCSL)

이제 저자들은 모든 사진에 대해 두 가지 점수를 갖게 됩니다:

가짜 점수(Spurious Score): 사진이 배경에 얼마나 의존했는가? (1단계로부터)
핵심 점수(Core Score): 배경을 무시했을 때 새를 식별하는 것이 얼마나 어려웠는가? (2단계로부터)

그들은 이 점수들을 사용하여 새로운, 더 작은 학습 데이터셋(코어셋, Coreset)을 구축합니다. 그들은 다음 조건을 만족하는 사진들을 선택합니다:

가짜 점수가 낮은 사진 (즉, 배경이 치트키가 될 수 없는 사진).
핵심 점수가 높은 사진 (즉, 새를 식별하는 것이 실제로 어려워서 AI가 잘 학습해야 하는 사진).

결과: 더 작고 똑똑한 데이터셋

저자들은 여러 데이터셋(예: 육지 vs 물 위의 새, 또는 다양한 환경에서의 고양이 vs 강아지 식별)을 통해 테스트했습니다.

마법 같은 일: 그들은 원래 훈련 데이터의 **90%**를 버릴 수 있었습니다.
결과: 그들은 (2단계 탐정 방식에 의해 선택된) 가장 좋은 **10%**의 사진들만 가지고 표준 AI를 훈련시켰습니다.
승리: 이 작고 정교하게 선별된 데이터셋은 인간의 라벨이 필요한 복잡하고 비싼 AI 방식보다 더 나은 성능을 보였습니다. AI는 배경으로 속이는 것을 멈추고, 어려운 상황에서도 실제로 사물을 인식하기 시작했습니다.

요약 비유

역사 시험을 준비한다고 상상해 보세요.

기존 방식: 교과서의 모든 페이지를 공부합니다. "50페이지에는 빨간 깃발 그림이 있다"는 것을 외워서, 질문이 나올 때마다 "빨간 깃발"이라고 찍습니다. 하지만 파란 깃발에 대한 질문이 나오면 낙제합니다.
이 논문의 방식: 먼저 튜터(Tutor)를 고용하여 "빨간 깃발" 트릭을 먼저 배웁니다(1단계). 그 다음, 튜터는 말합니다. "이제 깃발은 무시하고 실제 날짜와 이름들을 공부해라"(2단계).
결과: 튜터는 당신에게 가장 중요하고 까다로운 질문들만 모은 요약 노트를 줍니다(3단계). 당신은 그 10개의 질문만 공부하고, 그림이 아닌 실제 역사를 알게 되어 시험을 아주 훌륭하게 통과합니다.

이 논문은 이 "2단계" 접근 방식을 통해 가장 좋은 10%의 데이터를 선택함으로써, 별도의 비밀 라벨이나 복잡한 수학적 기교 없이도 강력한 AI를 구축할 수 있다고 주장합니다.

기술 요약: 암기 유도형 데이터셋 디바이어싱을 통한 가짜 상관관계 완화

문제 정의

실제 세계의 데이터셋에는 클래스 내에서 매우 일관되게 나타나지만 타겟 레이블과는 인과 관계가 없는 특징인 **가짜 상관관계(spurious correlations)**가 빈번하게 포함되어 있습니다. 경험적 위험 최소화(ERM)를 통해 학습된 딥러닝 모델은 종종 **단순성 편향(simplicity bias)**을 보여, 복잡한 핵심 특징(core features)을 포착하기 전에 더 단순한 가짜 특징을 먼저 학습합니다. 이는 가짜 상관관계가 레이블과 일치하지 않는 소수 그룹에 대해 **최악 그룹 정확도(worst-group accuracy, WGA)**가 낮아지는 결과를 초래합니다.

가짜 상관관계를 완화하기 위한 기존 방식들은 복잡한 최적화 기법을 사용하거나 그룹 레이블(가짜 속성)에 접근해야 하는 경우가 많으나, 표준 ERM 학습을 유지하면서도 가짜 상관관계에 대한 의존도를 줄일 수 있는 방법이 필요합니다. 잠재적인 해결책은 코어셋 선택(coreset selection)—전체 훈련 분포를 대표하는 고품질의 데이터 하위 집합을 구축하는 것—에 있습니다. 그러나 본 논문은 널리 사용되는 샘플 스코어링 함수(예: EL2N, SelfSup)와 코어셋 선택 알고리즘이 이 맥락에서는 실패한다고 주장합니다. 단순성 편향으로 인해 이러한 스코어링 함수들은 가짜 특징에 의해 지배되며, 가짜 상관관계가 강한 샘플을 "쉬운(easy)" 것으로, 그렇지 않은 샘플을 "어려운(hard)" 것으로 오분류합니다. 결과적으로 표준 선택 전략은 그룹 강건성을 위해 필요한 어려운 핵심 특징들을 우선순위에 두는 데 실패합니다.

방법론

저자들은 그룹 레이블 없이도 핵심 특징과 가짜 특징의 학습 역학을 분리하도록 설계된 프레임워크인 TCSL-CS(Two-Stage Cumulative Sample Loss-guided Coreset Selection)를 제안합니다.

1. 이론적 토대

본 논문은 뉴럴 탠전트 커널(NTK) 체계와 스파이크드 공분산 모델(spiked covariance model) 하에서 이론적 분석을 제공합니다. 저자들은 단순성 편향 조건( $\beta_s(2\alpha - 1) > \beta_c$ , 여기서 $\beta$ 는 특징 강도, $\alpha$ 는 다수 그룹 비율) 하에서 가짜 특징이 훈련 초기 단계에 핵심 특징보다 훨씬 빠르게 학습됨을 입증합니다. 이러한 급격한 학습은 샘플 손실(및 따라서 표준 점수)이 가짜 속성에 의해 지배되게 만들어, 어려운 핵심 특징을 식별하는 데 비효력적이게 만듭니다.

2. 2단계 모델 훈련

이러한 역학을 분리하기 위해 저자들은 2단계 훈련 체계(Algorithm 1)를 도입합니다.

1단계 (가짜 모델, $f_s$ ): 가짜 특징만을 학습하도록 편향된 모델을 훈련합니다. 이는 각 에포크(epoch)에서 손실이 가장 낮은 샘플의 가중치를 높임으로써, 가짜 속성이 레이블과 일치하는 샘의( $a=y$ ) 학습을 증폭시켜 달성됩니다.
2단계 (핵심 모델, $f_c$ ): $f_s$ 의 가중치를 고정합니다. 핵심 모델은 가짜 모델의 로짓(logit)을 음의 피드백 메커니즘으로 포함하는 수정된 손실 함수를 사용하여 훈련됩니다:
$L(B_t, W^c_t) = \sum_{i \in B_t} \lambda_i \ell\left(y_i, f_c(x_i; W^c_t) + \log(f_s(x_i))\right)$
이는 $f_c$ 가 편향된 모델의 예측을 보상함으로써 핵심 특징을 학습하도록 유도합니다.

3. 2단계 누적 샘플 손실 (TCSL)

훈련된 모델을 바탕으로 저자들은 두 가지 구성 요소로 이루어진 새로운 스코어링 지표인 TCSL을 정의합니다:

$TCSL_s(x)$ : 가짜 모델 $f_s$ 의 누적 손실입니다. 높은 점수는 가짜 특징이 약하거나 레이블과 일치하지 않는 샘플을 나타냅니다.
$TCSL_c(x)$ : 핵심 모델 $f_c$ 의 누적 손실입니다. 이 점수는 가짜 속성과 독립적으로 핵심 특징의 난이도를 반영합니다.

4. TCSL-CS 알고리즘

코어셋 선택 알고리즘(Algorithm 2)은 견고한 하위 집합을 구축하기 위해 두 단계로 작동합니다:

높은 가짜 속성 샘플 식별: $TCSL_s$ 점수와 손실 곡선에 대한 wKMeans를 사용하여, 가짜 어려움이 높은 샘플(즉, 강한 가짜 상관관계가 결여된 샘플) 그룹( $G_{high}$ )을 식별합니다. 코어셋에 도전적인 소수 그룹 유사 샘플이 포함되도록 이들 중 일부를 선택합니다.
남은 할당량 채우기: 나머지 슬롯은 $TCSL_c$ $T C S L_{c}$ 점수에 따라 다수 그룹( $G_{low}$ $G_{l o w}$ )에서 채워집지다.
- 선택 비율 $r$ 이 높을 때( $r \geq \tau$ ), 알고-리즘은 평균 정확도를 극대화하기 위해 가장 낮은 $TCSL_c$ 점수(가장 쉬운 핵심 특징)를 가진 샘플을 선택합니다.
- $r$ 이 낮을 때( $r < \tau$ ), 알고리즘은 다양한 $TCSL_c$ 난이도의 빈(bin)에서 샘플링하는 **히스토그램 기반 선택(SelectHist)**을 사용하여, 핵심 특징의 다양성을 확보하고 어려운 핵심 특징이 배제되는 것을 방지합니다.

주요 기여

TCSL 점수: 단순성 편향 하에서 기존 스코어들이 이 구성 요소들을 분리하는 데 실패하는 문제를 해결하며, 핵심 특징과 가짜 특징의 학습 난이도를 별도로 정량화하는 새로운 지표입니다.
TCSL-CS 알고리즘: 그룹 레이블 없이도 높은 최악 그룹 정확도를 달ach할 수 있는 그룹 강건한 코어셋 선택 방법입니다. 이는 평균 정확도와 최악 그룹 성능 사이의 균형을 맞추는 코어셋을 구축하기 위해 TCSL 점수를 활용합니다.
이론적 분석: 가짜 특징이 초기 학습 역학을 지배한다는 것을 NTK 체계 하에서 엄밀하게 분석하여, 왜 표준 손실 기반 점수가 가짜 설정에서 실패하는지를 설명합니다.
경험적 우월성: TCSL-CS가 그룹 레이블을 요구하는 다른 디바 biasing 기법들을 포함하여, 원래 훈련 데이터의 10%만을 사용하면서도 우수한 성능을 보임을 입증했습니다.

실험 결과

저자들은 가짜 상관관계가 알려진 네 가지 데이터셋(Waterbirds, cMNIST, MetaShift, UrbanCars-B)에 대해 TCSL-CS를 평가했습니다.

디바이어싱 베이스라인과의 성능 비교: Waterbirds에서 TCSL-CS는 표준 ERM 모델의 WGA를 10.44% 향상시켰으며, 이는 그룹 레이블이 필요한 GroupDRO 및 LC, DFR, JTT와 같은 다른 디바이어싱 방법들을 능가했습니다. 가짜 상관관계가 매우 강력한( $\alpha=0.995$ ) cMNIST에서 TCSL-CS는 차점자보다 11% 이상 높은 성능을 기록했습니다.
코어셋 선택 베이스라인과의 성능 비교: TCSL-CS는 모든 데이터셋에서 표준 코어셋 선택 방법(EL2N, SelfSup, Random, D2)을 크게 앞질렀습니다. 예를 들어, Waterbirds에서 EL2N 기반 방법들은 WGA 점수가 39.88%까지 떨어졌으나, TCSL-CS는 **91.91%**를 달성했습니다.
데이터 효율성: 이 방법은 훈련 데이터의 **10%**만을 사용하여 최첨단 성능을 달성했습니다.
절제 연구(Ablation Studies): 실험을 통해 $TCSL_s$ 와 $TCSL_c$ 가 가짜 및 핵심 특징의 어려움을 성공적으로 분리함을 확인했습니다. 이는 각각 가짜 또는 핵심 특징만을 학습한 모델로부터 도출된 점수와 높은 코사인 유사성을 보였습니다.

의의 및 주장

본 논문은 TCSL-CS가 확장 가능하고 원칙적인 디바이어싱 접근법을 제공한다고 주장합니다. 복잡한 최적화나 그룹 레이블을 요구하는 기존 방식들과 달리, TCSL-CS는 다음과 같은 장점이 있습니다:

표준 ERM 유지: 선택된 코어셋에 대해 표준 ERM 훈련을 사용할 수 있게 하여, 최종 훈련 단계에서 특수한 손실 함수나 최적화 절차를 사용할 필요가 없습니다.
계산 비용 감소: 작은 하위 집합(예: 10%)을 선택함으로써, 비용이 많이 드는 코어셋 선택 단계를 한 번만 수행하고 결과적인 하위 집합을 재사용할 수 있어 대규모 모델 훈련의 계산 부담을 크게 줄입니다.
일반화 가능성: 선택된 코어셋은 아키텍처에 구애받지 않으며, 다양한 모델 백본(ResNet, Inception, DenseNet)에 대해 일관된 성능 향상을 제공합니다.

저자들은 본 연구가 그룹 레이벨 없이도 높은 평균 정확도와 높은 최악 그룹 정확도를 모두 달ach할 수 있도록 설계된 최초의 코어셋 선택 알고리즘이며, 이를 통해 단순성 편향이 데이터셋 선택에 미치는 부정적인 영향을 효과적으로 완화한다고 강조합니다.