기술 요약: 비전 모델 편향 감사를 위한 다중 지름길 그룹의 발견 및 공간적 특성 규명

문제 정의

딥러닝 모델은 종종 훈련 분포에 존재하는 가짜 상관관계(spurious correlations)인 "지름길(shortcut)" 특징에 의존하여 높은 평균 정확도를 달성하지만, 이는 테스트 시점, 특히 특정 하위 집단 내에서는 일반화되지 않습니다. 분포 외(out-of-distribution) 테스트는 성능 격차를 드러낼 수 있지만, 특정 지름길과 관련된 구체적인 이미지 영역을 국소화하는 데는 실패합니다. OSCAR와 같은 기존의 어트리뷰션 기반 감사 방법은 전체 데이터셋에 걸쳐 어트리뷰션 맵을 집계하여 단일 데이터셋 수준의 기여도 맵을 생성합니다. 이러한 집계는 지름길 특징이 모든 이미지에서 공간적으로 일관적이라고 가정하며, 이는 특정 이미지의 하위 집단에서만 발생하거나 서로 다른 하위 그룹에서 작업 관련 증거와 다르게 상호작용하는 반복적인 공간 패턴을 가릴 위험이 있습니다. 결과적으로, 감사인은 고정된 학습 모델 내에서 고위험 이미지 하위 집단을 식별하거나 지름길 의존의 구체적인 성격을 이해하기 위한 실행 가능한 공간적 근거를 확보하지 못하게 됩니다.

방법론

제안된 프레임워크인 **공간적 지름길 그룹 발견(Spatial Shortcut Group Discovery)**은 이미지 수준의 기여도 맵을 계산하고 이를 그룹화하여 반복되는 공간 패턴을 밝힘으로써 이러한 한계를 해결합니다. 이 방법은 네 가지 주요 단계로 진행됩니다:

1. 이미지 수준 어트리뷰션 및 순위 지정:
   세 가지 모델이 사용됩니다: 감사 대상 작업 모델($f_{TS}$), 속성 균형 데이터셋으로 학습된 편향 감소 베이스라인 모델($f_{BA}$), 그리고 민감 속성 모델($f_{SA}$)입니다. 각 모델에 대한 어트리뷰션 맵(예: LRP, AttnLRP)을 생성하고, 이를 $R$개의 상호 배타적인 영역으로 분할한 뒤 저해상도 공간 벡터로 변환합니다. 결정적으로, 이미지 간의 변동성을 보존하기 위해 이러한 벡터들을 각 이미지 내에서 순위를 매깁니다.

2. 조건부 정렬 및 기여도 맵:
   부분 상관관계(partial correlation)를 사용하여 이미지 수준의 정렬 점수를 계산합니다:

   • 지름길 정렬 ($\rho_{sc}$): $f_{BA}$의 선형 효과를 제거한 후 $f_{TS}$와 $f_{SA}$ 사이의 정렬을 측정합니다. 점수가 높을수록 작업 모델이 민감 속성과 관련된 영역을 사용함을 나타냅니다.
   • 작업 정렬 ($\rho_{task}$): $f_{SA}$의 효과를 제거한 후 $f_{TS}$와 $f_{BA}$ 사이의 정렬을 측정합니다.
     영역 수준의 기여도 맵($m_{sc}$ 및 $m_{task}$)은 이러한 정렬 점수를 분해하여, 각각의 정렬을 뒷받침하는 양(+)의 기여만을 유지함으로써 도출됩니다.

3. 공간 패턴 그룹화:
   결합된 지름길 및 작업 기여 맵은 각 이미지에 대해 연결되고 정규화됩니다. 이후 두 가지 접근 방식을 통해 반복되는 공간 패턴으로 그룹화됩니다:

   • K-means: 각 이미지를 단일 "지름길 그룹"에 할당합니다.
   • 비음수 행렬 분해(NMF): 이미지가 여러 패턴을 동시에 표현할 수 있도록 하여 소프트 멤버십 가중치를 제공합니다.
     그 결과로 지름길 그룹 프로토타입(멤버십 가중 평균)과 각 그룹의 대표 예시 이미지가 생성됩니다.

4. 테스트 타임 공간적 개입:
   이 맵들의 유용성을 검증하기 위해, 본 논문은 입력 마스킹과 내부 특징 공간 개입을 사용합니다.

   • 입력 마스킹: 높은 지름길 또는 작업 기여도를 가진 영역을 가려 성능 저하를 관찰합니다.
   • 특징 공간 개입: 지름길 억제(억제 전 지름길 맵에서 작업 성분을 제거)와 작업 증폭(증폭 전 작업 맵에서 지름길 성분을 제거)을 제안합니다. 결합된 접근 방식은 두 가지를 동시에 적용하여, 정확도를 유지하면서 하위 그룹 간 격차를 줄입니다.

주요 기여

1. 공간적 지름길 패턴 발견: 본 논문은 이미지 수준의 지름길 및 작업 기여 맵을 계산하고 K-means와 NMF를 사용하여 그룹화하는 방법을 소개합니다. 이는 단일 데이터셋 내에서도 서로 다른 하위 집단 구성과 오류율을 가진 여러 개의 일관된 공간적 지름길 패턴이 공존할 수 있음을 보여주며, 이는 데이터셋 수준의 집계에서는 놓치기 쉬운 미묘한 차이입니다.
2. 표적 실패 감사: 본 프레임워크는 지름길 그룹 멤버십을 사용하여 모델의 총 테스트 오류 중 상당 부분을 포함하는 이미지 하위 집단을 식별하는 리스크 점수를 구축할 수 있음을 입증합니다. 이를 통해 감사인은 무작위 샘플링 대신 고위험 하위 집단에 검사 노력을 집중할 수 있습니다.
3. 실행 가능한 테스트 타임 개입: 연구는 식별된 공간 맵이 실행 가능한 근거를 포함하고 있음을 검증합니다. 작업 기여 영역을 마스킹하면 성능이 저하되는 반면, 지름길 억제와 작업 증폭을 결합한 개입은 다양한 데이터셋과 아키텍처에서 최대 성능 격차(Largest Performance Gap, LPG)를 일반적으로 감소시킵니다.

실험 결과

본 방법은 다섯 가지 데이터셋(CelebA, CheXpert, Waterbirds, Camelyon17, ISIC2019)과 두 가지 아키텍처(ResNet50, ViT-B/16)에 대해 평가되었습니다.

• 패턴 발견: 지름길 그룹 프로토타입에 대한 시각적 검사를 통해 뚜렷한 공간 구조가 드러났습니다. 예를 들어, CelebA에서는 일부 그룹이 작업 관련 영역인 머리카락 영역에 지름길 의존이 집중된 반면, 다른 그룹은 배경/의류에 집중되었습니다. CheXpert에서는 지름길 그룹이 폐 이외의 영역(예: 유방 그림자)을 강조한 반면, 작업 그룹은 폐 영역에 집중되었습니다.
• 리스크 식별: 지름길 그룹 기반 리스크 점수는 무작위 베이스라인보다 훨씬 더 많은 오류를 포함하는 하위 집단을 성공적으로 식별했습니다. 예를 들어, CelebA ViT 모델에서 리스크 점수로 순위를 매긴 상위 20%의 이미지는 전체 홀드아웃 오류의 약 63.5%를 포함했습니다(우연히 기대되는 20%와 비교). NMF 기반 그룹화가 일반적으로 오류 포착 및 독립적으로 학습된 모델 간의 안정성 측면에서 K-means보다 우수한 성능을 보였습니다.
• 개입 효능:
  • 입력 마스킹: 높은 작업 기여 영역을 마스킹하면 심각한 성능 저하가 발생하여, 이 영역들이 예측에 결정적임을 확인했습니다. 지름길 영역을 마스킹하는 것은 가변적인 효과를 보였는데, 종종 정확도를 유지하거나 약간 향상시켰으며, 이는 이러한 단서들이 필수적이지 않거나 가짜임을 시사합니다.
  • 특징 개입: 지름길 억제와 작업 증폭을 결합하면 대부분의 데이터셋에서 LPG를 일관되게 감소시켰습니다. 예를 들어, ViT를 사용한 CheXpert의 경우, 결합된 개입은 정확도를 유지하거나 약간 개선하면서 LPG를 12.8 퍼센트 포인트 감소시켰습니다.
  • 반복적 개입: 개입을 반복적으로 적용하면 지름길 정렬 점수와 하위 그룹 격차가 더욱 감소하여, 맵의 유용성을 입증했습니다.

의의 및 주장

본 논문은 공간적 지름길 그룹 발견이 시각적 검사, 표적 감사, 그리고 테스트 타임 개입 사이의 간극을 메운다고 주장합니다. 데이터셋 수준의 집계를 넘어섬으로써, 이 프레임워크는 지름길 의존성이 이미지와 하위 그룹에 따라 어떻게 변화하는지에 대한 압축적이고 검사 가능한 요약을 제공합니다.

저자들은 본 방식이 모델을 재학습할 필요가 없어, 이미 배포된 고정된 비전 시스템에도 적용 가능하다는 점을 강조합니다. 결과물인 프로토타입과 리스크 점수는 감사인이 다음과 같은 워크플로우를 수행할 수 있도록 돕습니다:

1. 그동안 숨겨져 있던 반복적인 공간적 편향 패턴을 시각화합니다.
2. 높은 오류율을 기준으로 데이터 하위 집단의 우선순위를 정하여 검토합니다.
3. 가짜 단서를 억제하고 작업 관련 증거를 증폭함으로써 테스트 타임에 격차를 완화하도록 개입합니다.

본 논문은 일반화 가능성에 대해 신중한 태도를 유지하며, 본 방법이 단일 민감 속성은 효과적으로 처리하지만 실제 환경에서는 여러 속성이 상호작용할 수 있음을 언급합니다. 또한, 그리드 기반 분할은 어느 정도의 공간적 정렬을 가정하므로, 추가적인 적응 없이는 공간적 변동성이 큰 데이터셋에 적용하는 데 제한이 있을 수 있습니다. 이 연구는 공간적 기여 패턴을 사용하여 비전 모델의 실행 가능한 해석 가능성을 가이드하는 토대를 마련합니다.