기술 요약: 가짜 배경에 대한 강건성 확보를 위한 자동 배경 교체(Automated Background Swapping)

문제 정의

심층 신경망(DNN)은 종종 훈련 데이터 내에서 타겟 레이블과 상관관계는 있지만 인과 관계는 없는 가짜 상관관계(spurious correlations)—즉, 시각적 단서—를 이용함으로써 최첨단 성능을 달ей합니다. 비전 영역에서 이러한 상관관계는 이미지 배경에서 빈번하게 나타납니다. 예를 들어, 소와 낙타를 구분하는 분류기는 동물의 형태학적 특징보다는 풀(grass) 대 모래(sand)의 존재 여부에 의존할 수 있습니다. 이러한 배경 상관관계가 추론 단계에서 깨질 때(예: 모래 위의 소), 성능은 처참하게 저하됩니다.

DRO(Distributionally Robust Optimization)나 IRM(Invariant Risk Minimization)과 같은 기존 완화 전략들은 종종 가짜 상관관계가 깨진 샘플(즉, "소수 그룹" 또는 반사실적 예시)에 대한 접근권을 암묵적으로 가정합니다. 실제로 이러한 샘플을 수집하는 것은 매우 비용이 많이 들거나 불가능할 수 있으며, 특히 특정 타겟-배경 조합이 희귀하거나 물리적으로 얻기 어려운 경우 더욱 그러합니다. 본 논문은 초기 훈련 단계에서 이러한 깨진 상관관계 샘플에 대한 접근 없이도 강건한 분류기를 훈련하는 과제를 다룹니다.

방법론: AutoBackSwap

저자들은 전경(foreground) 객체를 배경(background)으로부터 분리하고 이를 재조합하여 가짜 상관관계를 끊도록 설계된 데이터 증강 프레임워크인 **자동 배경 교체(Automated Background Swapping, AutoBackSwap)**를 제안합니다. 이 방법은 세 가지 주요 단계로 구성됩니다:

1. 분리 (전경/배경 탐지):
   보조 네트워크(탐지기)가 전경과 배경을 분리하는 이진 마스크를 예측하도록 훈련됩니다. 결정적으로, 이 탐지기는 전체 훈련 세트에 대한 조밀한 세그멘테이션 마스크를 요구하는 대신, 패치 단위 레이블이 포함된 작은 보조 데이터셋(예: 수백 개의 샘로 구성)을 통해 훈련됩니다. 탐지기는 주석 비용과 정밀도의 균형을 맞추기 위해 패치 수준(예: $16 \times 16$ 패치)에서 작동합니다.

2. 배경 채우기 (Background Infilling):
   전경이 마스킹되어 제거되면 남은 배경 영역은 불완전해집니다. 생성 모델(저자들은 AOT-GAN을 사용함)은 완전한 배경 이미지를 합성하기 위해 이미지 인페인팅(inpainting)을 수행합니다. 논문에서는 고급 생성 모델이 최상의 결과를 제공하지만, 픽셀 스크램블링(pixel scrambling)이나 상수 채우기(constant infilling)와 같은 더 단순한 전략도 경쟁력 있는 성능을 제공한다는 점을 언급하며, 이는 인페이팅의 구체적인 품질이 강건성의 지배적인 요인은 아님을 시사합니다.

3. 확률적 재구성 (Stochastic Recomposition):
   이 방법은 한 이미지의 전경을 다른 이미지의 인필링된 배경 위에 붙여넣어 새로운 훈련 샘플을 생성합니다. 타겟 레이블($y$)과 가짜 속성($a$) 사이의 상관관계를 끊기 위해, 배경은 전경의 원래 레이블과 관계없이 모든 가용 배경(또는 가용할 경우 특정 속성과 관련된 배경) 세트에서 무작위로 샘플링됩니다. 이 과정은 전경이 클래스를 결정하고 배경은 레이블로부터 분리된 데이터셋을 생성합니다.

최종 분류기는 이 증강된 데이터셋을 사용하여 표준 경험적 위험 최소화(ERM)를 통해 훈련됩니다.

주요 기여

• 확장 가능한 데이터 증강: AutoBackSwap은 전체 데이터셋에 대한 그라운드 트루스 세그멘테이션 마스크나 반사실적 훈련 샘플에 대한 접근 없이도 가짜 배경에 대한 의존도를 줄이는 확장 가능한 접근 방식을 제공합니다.
• 낮은 주석 오버헤드: 이 방법은 보조 탐지기를 훈련하는 데 단 몇 백 개의 패치 레이블 샘플(일부 벤치마크에서는 훈련 데이터 크기의 약 5%)만 필요함을 입증하여, 조밀한 주석이 비용이 많이 드는 도메인에서도 실용적임을 보여줍니다.
• 도전적인 설정에서의 강건성: 기존의 많은 방법들이 훈련 데이터에 소수 그룹이 없을 때 실패하는 것과 달리, AutoBack же AutoBackSwap은 훈련 세트에 다수 그룹만 존재하는 경우(가짜 상관관계가 완벽한 경우)에도 효과적입니다.
• 포괄적인 평가: 저자들은 다양한 벤치마크(Waterbirds, Spurious, 그리고 새로운 Spurious Vehicles 데이터셋)와 설정(일대일 및 다대다 상관관계)에 걸쳐 이 방법을 평가하였으며, GroupDRO, CORAL, 파운데이션 모델을 포함한 최첨단 베이스라인들과 비교하였습니다.

실험 결과

논문은 세 가지 데이터셋에 대한 광범위한 실험을 보고합니다:

1. Waterbirds: 새들이 육지 또는 물 배경에 배치된 합성 데이터셋입니다.

   • 소수 그룹이 있는 경우: AutoBackSwap은 **93.0%**의 최고 최악 그룹 정확도(WGA)를 달성하여, 차순위 베이스라인인 DFR(90.7%)을 앞질렀고 표준 ERM 베이스라인을 크게 상회했습니다.
   • 소수 그룹이 없는 경우: 훈련 시 다수 그룹만 사용 가능한 더 어려운 설정에서, AutoBackSwap은 92.2% WGA를 달성하여 모든 다른 베이스라인(차순위인 Chang et al.은 79.1%로 하락)을 압도했습니다. 이는 훈련 중에 깨진 상관관계를 보지 않고도 일반화할 수 있는 이 방법의 능력을 강조합니다.

2. Spurious: 다양한 환경에 놓인 개 품종의 데이터셋으로, 일대일 및 다대다 상관관계 설정을 포함합니다.

   • AutoBackSwap은 12개 실험 조건 중 9개에서 최고의 성능을 보였습니다.
   • 특히 상관관계가 유지되는 "다대다" 설정에서, 해당 방식에서 일반적으로 어려움을 겪는 GroupDRO 및 CORAL과 같은 방법들을 지속적으로 능가했습니다.

3. Spurious Vehicles: 다양한 맥락에서의 차량 인식을 위한 새로운 합성 벤치마크입니다.

   • 표준 베이스라인(ERM, GroupDRO, CORAL)은 거의 완전히 실패했습니다(WGA가 0-10% 근처).
   • AutoBackSwap은 학습된 경량 탐지기를 사용하여 87.2% WGA를, 그라운드 트루스 세그멘테이션을 사용할 때 90.1% WGA를 달성하여 매우 도전적인 시나리오에서도 그 효능을 입증했습니다.

저자들은 또한 헤비 데이터 증강(Mixup, CutMix)이 종종 강건성을 개선하는 데 실패하고 때로는 성능을 저하시킨다는 점을 언급하며, AutoBackSwap과 같은 표적화된 증강 전략의 필요성을 재확인했습니다.

의의 및 주장

본 논문은 AutoBackSwap이 시각적 인식 시스템에서 가짜 배경 의존성을 완화하기 위한 실용적이고 효과적인 솔루션을 제공한다고 주장합니다. 이 방법의 주요 의의는 다음과 같습니다:

• 훈련 요구사항과 데이터 가용성의 분리: 기존의 강건성 방법들의 흔한 병목 현상인, 상관관계를 깨뜨리는 값비싼 반사실적 데이터셋에 대한 필요성을 제거합니다.
• 최소한의 감독 활용: 탐지기를 위한 작은 보조 데이터셋을 활용함으로써, 균형 잡힌 데이터를 사용할 수 없는 실제 환경에서 강건한 분류기를 배포하는 진입 장ç를 낮춥니다.
• 아키텍처 전반의 일반화: 이 방법은 ResNet과 Vision Transformer(ViT) 백본 모두에서 효과적임이 입증되었습니다.

저자들은 이 방법이 배경 기반의 가짜 상관관계를 구체적으로 겨냥하며, 전경-결합된 편향(foreground-entangled biases)이나 텍스처 편향(texture bias)과 같은 다른 실패 모드는 해결하지 못한다는 점을 언급하며 한계를 겸허히 인정했습니다. 또한 재구성 과정이 의미론적으로 부적절한 이미지를 생성할 수 있다고 주의를 기울였으나, 실험 결과 이것이 평균 정확도에 해를 끼치지는 않는 것으로 나타났습니다. 이 연구는 AutoBackSwap을 분포 변화에 대한 보편적인 치료제가 아니라, 배경 유발 가짜 상관관계에 대한 강건성을 향상시키기 위한 특화된 도구로 포지셔닝합니다.