Bias Leaves a Gradient Trail: Label-Free Bias Identification via Gradient Probes on Concept Decompositions

기술 요약: 편향은 기울기 흔적을 남깁니다

문제 제기
현대 비전 분류기들은 인과적 특징보다는 우연한 상관관계 (단순화) 를 활용함으로써 높은 분포 내 (in-distribution) 정확도를 달성하는 경우가 많습니다. 이러한 모델들은 훈련 데이터에서는 잘 작동하지만, 이러한 상관관계가 깨지는 분포 변화 (distribution shifts) 상황에서는 실패합니다. 기존 편향 완화 및 분석 방법들은 일반적으로 알려진 우연한 속성이나 그룹 레이블이 포함된 큐레이션된 데이터셋을 필요로 하거나, 모델을 재훈련해야 합니다. 그러나 실제 배포 시나리오에서는 실무자들이 원본 훈련 파이프라인, 편향 주석, 또는 그룹 레이블에 접근할 수 없는 '동결 (frozen)' 모델에 직면하는 경우가 많습니다. 과제는 이러한 숨겨진 우연한 개념들을 식별하고, 재훈련이나 추가 감독 없이 사후 (post-hoc) 로 이를 완화하는 것입니다.

방법론
저자들은 동결된 비전 모델에서 표준 클래스 레이블만을 사용하여 홀드아웃 (held-out) 감사 데이터셋으로부터 우연한 개념을 식별하고 완화하는 레이블 없는 사후 방법을 제안합니다. 이 접근법은 세 가지 주요 단계로 구성됩니다:

1. 비음수 개념 분해 (Non-Negative Concept Decomposition):

   • 모델 $f$는 $h \circ g$로 분해되며, 여기서 $g$는 입력을 중간 표현 $a$로 매핑합니다.
   • 대상 클래스 $y$에 대해, $y$로 예측된 입력에서 패치들을 수집하고 활성화 $A_y$에 비음수 행렬 분해 (NMF) 를 적용합니다.
   • 이를 통해 클래스 조건부 해석 가능한 개념 벡터 ($W_y$) 와 해당 계수 ($U_y$) 의 은행을 도출하여, 표현을 비음수이면서 의미 있는 방향으로 분해합니다.

2. 기울기 기반 편향 식별:

   • 핵심 가설은 우연한 속성들이 오분류된 예제에 대한 기울기 업데이트에 비대칭적으로 반응하는 고유한 개념 방향으로 나타난다는 것입니다.
   • 오분류된 예제 (False Negative 및 False Positive) 에 대해, 저자들은 표현에 대한 손실의 기울기 ($\nabla_a L$) 를 계산하고 단일 기울기 단계를 적용하여 교란된 표현 $a'$을 생성합니다.
   • 그들은 $a$와 $a'$ 사이의 개념 계수 변화를 관찰합니다.
   • 직관: False Negative (대상 클래스 누락) 를 수정하기 위해 모델은 우연한 단서를 추가하는 경향이 있고, False Positive (대상 클래스의 잘못된 예측) 를 수정하기 위해 우연한 단서를 제거하는 경향이 있습니다. 본질적인 개념 (진실된 증거) 은 이러한 강한 비대칭 패턴을 보이지 않습니다.
   • 편향 점수 (Bias Score) ($S_{y,k}$) 는 감사 세트 전반에 걸쳐 이러한 추가 및 제거의 일관성에 기반하여 각 개념 $k$에 대해 계산됩니다. 높은 점수를 가진 개념들은 후보 편향 방향으로 순위가 매겨집니다.

3. 추론 시 완화 (Inference-Time Mitigation):

   • 편향 개념이 식별되면, 모델 파라미터를 업데이트하지 않고 추론 시 억제됩니다.
   • 이 방법은 클래스 조건부 개념 은행을 병합하고, 유사한 개념들을 클러스터링하며, 식별된 편향 개념에 직교하는 부분 공간으로 입력 표현을 투영합니다.
   • 억제된 표현은 분류 전에 원래 활성화 노름을 유지하도록 재조정됩니다.

주요 기여

• 레이블 없는 발견: 편향 또는 그룹 주석을 요구하지 않고 표준 클래스 레이블에만 의존하여 동결된 모델 내의 우연한 개념을 식별하는 방법.
• 기울기 프로브: 개념 활성화와 기울기 단계 간의 상호작용을 활용하여 편향 개념을 본질적 증거와 구별하는 새로운 점수 매김 메커니즘.
• 실행 가능한 완화: 재훈련이나 파라미터 업데이트 없이 최악의 그룹 정확도를 향상시키는 실용적인 추론 시 억제 기술.
• 해석 가능성: 모델이 무엇에 의존하는지 해석 가능한 감사를 제공하기 위해 관련 활성화 패치가 있는 개념 벡터를 출력합니다.

실험 결과
이 방법은 Colored MNIST (CMNIST), Waterbirds, CelebA라는 세 가지 표준 벤치마크에서 평가되었습니다.

• 개념 정렬: Waterbirds 와 CMNIST 에서 NMF 분해는 알려진 우연한 속성 (예: 새의 배경 유형, 숫자의 색상) 과 정렬된 개념을 신뢰성 있게 복원했습니다.
• 편향 점수 매김: 제안된 기울기 기반 점수는 본질적인 개념보다 편향 정렬 개념을 더 높은 순위로 성공적으로 배치했습니다. 0.55 의 임계값이 편향 개념을 효과적으로 분리하는 것으로 발견되었습니다.
• 완화 성능:
  • Waterbirds: 상위 순위 개념을 억제함으로써 최악의 그룹 정확도를 17.9 퍼센트 포인트 (45.9% 에서 63.8% 로) 향상시켰고, 최악의 클래스 정확도는 8.5 포인트 향상되었습니다.
  • CelebA: 식별된 개념이 주석된 성별 속성과 부분적으로만 일치함 (색상뿐만 아니라 머리 모양/길이를 포착) 에도 불구하고, 억제는 최악의 그룹 정확도를 10.4 퍼센트 포인트 (43.4% 에서 53.8% 로) 향상시켰습니다.
  • CMNIST: 결과는 혼재되었습니다. 편향 개념이 식별되었지만, 억제 사용된 특정 분해 순위에서 색상과 모양이 긴밀하게 얽혀 있어 최악의 그룹 정확도를 일관되게 향상시키지는 못했습니다.
• 비교: 이 방법은 무작위 억제 제거 실험보다 우월한 성능을 보여, 식별된 방향이 구체적으로 편향 정렬임을 확인시켰습니다. Group DRO 나 DFR 과 같은 감독된 기준선들이 요구하는 그룹 레이블이나 재훈련 없이 작동하지만, 이러한 재훈련 모델들의 절대적 성능 수준에는 미치지 못합니다.

의의 및 주장
이 논문은 배포된 비전 모델을 위한 해석 가능한 감사 도구와 실행 가능한 편향 제거 핸들을 모두 제공한다고 주장합니다. 그 주요 의의는 편향이 알려지지 않고 재훈련이 불가능한 '발견 문제'를 해결하는 데 있습니다.

• 저자들은 이 방법이 CelebA 에서 보인 것처럼 주석된 속성과 완벽하게 일치하지 않을지라도 (머리 길이나 배경 질감 같은 미묘한 대리 변수를 포착), 모델 오류를 유발하는 의사결정 관련 우연한 방향들을 식별한다고 강조합니다.
• 이 접근법은 더 침습적인 재훈련이 필요한지 결정하기 전에 적용할 수 있는 비용이 없는 사후 개입으로 제시됩니다.
• 논문은 한계를 인정하며, 단일 스케일 패치 분해는 CelebA 의 성별과 같은 공간적으로 분산된 편향에 어려움을 겪을 수 있으며, 이 방법이 효과적으로 작동하려면 감사 세트에 충분한 수의 오분류된 예제가 필요하다고 지적합니다.