기술 요약: UNMASK – 텍스트 분류기에서 가짜 지름길(Spurious Shortcuts)의 발견 및 인과적 검증

문제 정의

대규모 크라우드소싱 코퍼스로 학습된 신경 언어 모델은 종종 실제 언어적 또는 인과적 관련성은 없으나 타겟 레이블과 상관관계가 있는 가짜 표면 패턴(지름길, shortcuts)을 악용하여 높은 벤치마크 정확도를 달럽니다. 기존의 접근 방식들은 이러한 상관관계를 식별하는 데 진전을 이루었으나, 두 가지 주요 한계점을 가집니다:

1. 인간 의존성: 대부분의 방법론은 특징 어휘(feature vocabulary)를 수동으로 지정해야 하거나, 그룹 구조를 파악하기 위해 불투명한 대리 지표(proxies)에 의존합니다.
2. 상관관계와 인과관계의 간극: 기존의 자동화된 발견 방식은 데이터셋 수준의 통계적 상관관계 단계에서 멈추는 경우가 많으며, 특정 학습된 모델이 실제로 해당 특징을 악용하는지 여부를 검증하지 못합니다. 예를 들어, 모순 쌍(contradiction pairs)에서의 단어 "never"처럼 특정 특징이 레이블과 통계적으로 상관관계가 있을 수는 있지만, 모델이 예측을 위해 반드시 그 특징에 의존하는 것은 아닐 수 있습니다.

본 논문은 다음과 같은 근본적인 질문을 다룹니다: 사전 지식 없이 어떻게 가짜 표면 특징을 식별할 수 있으며, 학습된 모델이 이들에 인과적으로 의존하는지 어떻게 검증할 수 있는가?

방법론: UNMASK 파이프라인

UNMASK는 추가적인 인간의 주석(annotation) 없이 작동하는 완전 자동화된 파이프라인입니다. 이는 후보 특징의 표현형으로 **실행 가능한 불리언 표현식(executable boolean expressions)**을 사용하여 네 가지 단계로 통합됩니다.

1. 후보 생성 (발견)

• 입력: 레이블이 없는 학습 예시들.
• 과정: SCGENLLM이라 명명된 대규모 언어 모델(LLM)이, 예시들 사이에서 일관되게 나타나지만 논리적으로는 필수적이지 않은 표면 수준의 패턴을 제안하도록 프롬프트됩니다.
• 출력: 각 후보에 대해, LLM은 자연어 설명과 더불어, 결정적으로 모든 입력 텍스트에 대해 TRUE/FALSE를 결정론적으로 평가하는 실행 가능한 불리언 표현식 $b(x)$를 반환합니다.
• 근거: 자연어 설명은 모호할 수 있는 반면, 불리언 표현식을 사용하는 것은 하위 모든 단계에서 결정론적인 평가를 가능하게 합니다.

2. 통계적 검증

이 단계는 후보들이 진정한 데이터셋 수준의 인공물(artifacts)임을 보장하기 위해 후보를 필터링합니다.

• 중복 제거: 후보들은 설명 유사성에 따라 중복이 제거되며, 이후 실현된 커버리지(해당 특징이 트리거하는 샘 samples의 집합)를 기준으로도 중복이 제거됩니다.
• 논리 검증: EVALUATORLLM이 불리언 표현식의 구문론적, 의미론적 정확성을 확인합니다. 잘못된 표현식은 반복적으로 재작성됩니다.
• 2단계 복제:
  • 발견 단계: 발견 세트(discovery set)에 대해 피셔의 정확 검정(Fisher's exact test)을 사용하여 특징을 레이블과 테스트합니다. 허위 발견율(FDR)은 벤자민-호크버그(Benjamini-Hochberg) 절차를 통해 제어됩니다.
  • 검증 단계: 유의미한 특징들은 홀드아웃 검증 세트(held-out validation set)에서 다시 테스트됩니다.
  • 필터: 정의적 특징(coverage ceiling)이나 비예측적 특징(precision floor)은 제외됩니다.
• 출력: 통계적으로 검증된 특징들의 집합($F_{val}$).

3. 인과적 검증

이 단계는 모델이 사용할 수 있는 특징과 모델이 실제로 의존하는 특징을 구분합니다.

• 의존성 스크리닝: 카운터팩추얼(counterfactual) 생성 전, 파이프라인은 특징이 존재하지만 실제 레이블이 그와 모순되는 경우 모델이 해당 레이블을 과잉 예측하는지 확인하여 "가짜 의존성"을 스크리닝합니다.
• 카운터팩추얼 생성: 생존한 특징들에 대해, GENERATORLLM은 의미적 레이블은 유지하면서 표면 패턴을 제거하는 최소한의 편집($x_{cf}$)을 수행합니다. 독립적인 EVALUATORLLM이 이 편집을 검증합니다.
• 효과 측정: 파이프라인은 원본 입력과 카운터팩추얼 입력 사이의 가짜 레이블에 대한 모델의 예측 확률 변화량($\Delta p$)을 측정합니다.
• 분류: 특징이 제거되었을 때 가짜 레이블에 대한 모델의 확신도가 유의미하게 감소하는 경우에만 해당 특징을 인과적으로 악용됨($F_{causal}$)으로 분류합니다. 이는 데이터셋 수준의 상관관계와 모델 수준의 악용을 분리합니다.

4. 모델 디바이어싱 (Debiasing)

• 그룹 정의: 검증된 불리언 표현식은 주석이 필요 없는 그룹 레이블 역할을 합니다. 각 특징과 레이블에 대해, 그룹은 특징의 존재/부재와 클래스 레이블의 데카르트 곱(Cartesian product)으로 정의됩니다.
• 완화: 이러한 그룹들은 수동적인 인구통계학적 또는 편향 주석 없이 Deep Feature Reweighting (DFR), Product-of-Experts (PoE), 또는 SCER과 같은 표준 기법을 사용하여 디바이스된 모델을 학습하는 데 사용됩니다.

주요 기여

1. 완전 자동화된 파이프라인: UNMASK는 실행 가능한 불리언 표현식을 사용하여 가짜 특징을 생성, 검증 및 완화함으로써, 인간이 정의한 특징 어휘의 필요성을 제거합니다.
2. 인과적 검증 프로토콜: 파이프라인은 카운터팩추얼 검증 단계를 도입하여 데이터셋 수준의 상관관계와 모델 수준의 악용을 분리합니다. 이는 높은 데이터셋 수준의 오즈비(odds ratio)가 모델의 의존을 보장하지 않는다는 증거를 제시합니다.
3. 주석 없는 디바이어싱: 발견된 불리언 표현식을 그룹 레이블로 사용함으로써, UNMASK는 인구통계학적 주석 없이도 CivilComments-WILDS 데이터셋에서 수동 레이블 기반의 DFR과 대등한 성능을 달성합니다.
4. 태스크 일반화 능력: 발견 및 검증 단계는 RewardBench2 선호도 데이터에 적용되어, 태스크별 수정 없이도 보상 모델의 해석 가능한 편향(예: 길이, 포맷팅, 거절 언어)을 드러냅니다.

실험 결과

자연어 추론 (MNLI, HANS 등)

• 재발견: MNLI로 학습된 BERT 및 RoBERTa에 대해, UNMASK는 어휘 중첩(lexical overlap) 및 부정 편향(negation biases)을 포함한 기성 편향들을 독립적으로 재발견했습니다.
• 검증률: BERT에서는 10개 중 9개, RoBERTa에서는 10개 중 6개의 특징을 검증했습니다.
• 아키텍처 간 차이: 인과적 검증을 통해 RoBERTa가 BERT가 악용하는 세 가지 모순 클래스 특징에 면역이 있음을 밝혀냈으며, 이는 상관관계 분석만으로는 보이지 않는 차이입니다.
• 성능: 지름길에 대한 강건성을 테스트하도록 설계된 HANS 벤치마크에서, UNMASK 기반 디바애싱은 in-distribution 성능을 유지하면서 BERT의 정확도를 최대 12.58 퍼센티지 포인트(52.41%에서 PoE-IPW-Group 사용 시 64.99%로) 향상시켰습니다.

CivilComments-WILDS (독성 탐지)

• 인구통계학적 특징 회복: 파이프라인은 인구통계학적 정체성 토큰을 포함하는 특징을 채굴하여, 인구통계학적 레이블 없이도 8개의 정형적 정체성 중 6개를 회복했습니다.
• 최악 그룹 정확도 (WGA): UNMASK에서 도출된 프로그래믹 그룹을 사용하여, DFR은 BERT에서 71.84%, RoBERTa에서 **72.12%**의 WGA를 달랐습니다. 이는 수동 인구통계 주석에 의존했던 이전 연구(Kirichenko et al., 2023)의 70.1% WGA와 일치합니다.
• 베이스라인 비교: UNMASK는 단순한 발견 베이스라인(PMI 통계 및 LLM 전용 후보)보다 WGA에서 3.65 pp 더 높은 성능을 보였으며, 이는 단일 토큰 통계보다 구성적 불리언 표현식이 우수함을 입증합니다.

감성 분석 (SST-2, IMDB)

• 게이트키핑 역할: 통제된 절제 실험(ablation)으로서, 파이프라인은 표면 단어가 지름길이 아닌 태스크 신호인 감성 태스크에 적용되었습니다.
• 결과: 인과적 검증은 악용된 특징을 **제로(zero)**로 반환하였으며, 이는 파이프라인이 불필요한 곳에 디바이어싱을 강제하는 정제 도구가 아니라 결정적인 결정 게이트 역할을 수행함을 확인시켜 줍니다.

RewardBench2

• 보상 모델 선호도 데이터에 적용되어, 거절된 응답에서의 길이/포맷팅 선호도 및 안전 태스크에서의 거절 언어 계층 구조와 같은 알려진 편향을 회복함으로써 분류 이상의 적용 가능성을 보여주었습니다.

의의 및 주장

본 논문은 UNMASK가 데이터셋 수준의 통계적 인공물과 모델 수준의 지름길 악용 사이의 간극을 메운다고 주장합니다. 주요 의의는 다음과 같습니다:

• 가시성(Audibility): 결정론적인 불리언 표현식을 통해 분류기의 지름길을 "이름 붙일 수 있고, 테스트 가능하며, 제거 가능한" 것으로 만듭니다.
• 인과적 엄밀성: 모든 상관관계가 있는 특징이 악용되는 것은 아니며, 모델 아키텍처(예: BERT vs. RoBERTa)가 어떤 지름길을 활용하는지에 큰 영향을 미친다는 증거를 제공합니다.
• 실용성: 복잡한 독성 탐지 태스크에서 수동 인구통계 주석의 막대한 비용 없이도 고품질의 디바이어싱을 가능하게 하며, 수동 레이블 방식과 대등한 성능을 달성합니다.

저자들은 한계점도 언급합니다: 파이프라인은 실행 가능한 불리언 표현식의 표현력에 의해 제한되며(잠재적/의미적 지름길을 놓칠 수 있음), 인과적 단계는 생성기가 다른 입력 속성을 변경하지 않고 최소한의 편집을 생성할 수 있는 능력에 의존한다는 점입니다.