Attribution-Guided Masking for Robust Cross-Domain Sentiment Classification

기술 요약: 강건한 교차 도메인 감정 분류를 위한 귀속 기반 마스킹

문제 제기

사전 훈련된 트랜스포머 모델 (예: BERT, RoBERTa) 은 도메인 내 감정 분류에서 최첨단 성능을 달성하지만, 도메인 외 데이터로 이전될 때 빈번히 심각한 성능 저하를 겪습니다. 저자들은 이 일반화 격차 ($\Delta$) 가 도메인 불변 감정 마커보다는 도메인 특이적 가짜 토큰(예: @멘션, 해시태그, 은어) 에 대한 모델의 과도한 의존성에 의해 주도된다고 가설을 세웠습니다.

이 논문은 초기에 사후 토큰 수준 귀속 변화 (post-hoc token-level attribution drift) 가 이러한 실패를 예측할 수 있는지 조사했습니다. 저자들은 도메인 간 토큰 수준 중요도의 변화를 정량화하기 위해 귀속 변화 점수 (ADS) 를 도입했습니다. 그러나 여러 형식에 대한 포괄적인 테스트 결과, ADS 와 일반화 격차 사이에 의미 있는 상관관계가 없음을 발견했습니다. 이 부정적 발견은 사후 귀속 변화가 이전 난이도를 예측하기에 불충분한 신호임을 시사하며, 예측에서 훈련 시간 개입으로의 전환을 필요로 합니다.

방법론: 귀속 기반 마스킹 (AGM)

저자들은 미세 조정 단계 동안 가짜 토큰에 대한 의존성을 동적으로 탐지하고 처벌하기 위해 설계된 귀속 기반 마스킹 (AGM) 프레임워크를 제안합니다. 이 방법은 타겟 도메인 레이블이나 인간 주석이 필요하지 않습니다.

핵심 구성 요소:

1. 귀속 계산: 모델은 교차 엔트로피 손실 ($L_{CE}$) 을 기반으로 토큰 수준 귀속 점수 ($a$) 를 계산하기 위해 Gradient$\times$Input 근사를 활용합니다.
   $$a = \nabla_h L_{CE} \odot h$$

2. 가짜 토큰 탐지: 시퀀스 내에서 절대 귀속 크기가 75 백분위수 ($\tau_{high} = 0.75$) 를 초과하는 토큰은 잠재적 가짜 토큰으로 플래그됩니다.

3. 반사실 생성: 플래그된 토큰은 [MASK] 로 대체되며, 공유 가중치 마스킹 언어 모델 (MLM) 이 문맥상 적절한 대체어를 예측합니다. 모델의 예측된 감정 레이블이 변경되지 않는 경우에만 반사실 시퀀스가 유지되어 핵심 감정이 보존되도록 합니다.

4. 훈련 목적 함수: AGM 손실 함수는 표준 분류 손실에 두 가지 보조 항을 결합합니다.

   • 귀속 마스킹 손실 ($L_{mask}$): 플래그된 토큰의 높은 귀속 점수를 직접 처벌합니다.
     $$L_{mask} = \frac{1}{|M|} \sum_{i \in M} (a_i)^2$$
   • 반사실 대비 손실 ($L_{CCL}$): (선택 사항) 평균 제곱 오차를 사용하여 원본 및 반사실 입력의 풀링된 표현을 정렬하여 도메인 불변 표현을 강제합니다.

   전체 목적 함수는 다음과 같습니다:
   $$L_{AGM} = L_{CE} + \lambda_1 L_{mask} + \lambda_2 L_{CCL}$$

실험 설정 및 결과

이 방법은 IMDb, Amazon, TripAdvisor, Sentiment140 등 네 가지 다양한 도메인에 걸쳐 엄격한 제로샷, leave-one-out 이전 프로토콜을 사용하여 평가되었습니다. 주요 지표는 일반화 격차 ($\Delta = |F1_{source} - F1_{target}|$) 였으며, 낮은 값이 더 나은 강건성을 나타냅니다.

주요 발견:

• 어려운 이전 작업에서의 성능: 가장 어려운 이전 작업인 Sentiment140 에서 AGM 은 $\Delta = 0.244$의 일반화 격차를 달성했습니다. 이는 도메인 적대적 훈련 (DANN, $\Delta=0.264$), 분포 강건 최적화 (DRO, $\Delta=0.248$), Fish ($\Delta=0.247$) 보다 우수한 성능이었습니다. 불변 위험 최소화 (IRM, $\Delta=0.238$) 와는 비교 가능한 성능을 보였으나, 현저히 낮은 분산을 보였습니다 (AGM 은 $\pm 0.015$, IRM 은 $\pm 0.036$).
• 안정성과 해석 가능성: 광범위한 하이퍼파라미터 튜닝이 필요하고 불안정성을 보였던 IRM 과 달리, AGM 은 8 개의 무작위 시드에서 일관된 결과를 제공했습니다. 독특하게도 AGM 은 토큰 수준의 해석 가능성을 제공하여 정확히 어떤 특징이 일반화 격차를 주도하는지 드러냅니다.
• 정성적 분석: 히트맵은 AGM 이 도메인 특이적 아티팩트 (예: @멘션, 숫자, 은어) 에 대한 귀속을 성공적으로 억제하고 도메인 불변 감정 마커에 대한 의존성을 전환함을 확인했습니다.
• 결손 연구 (Ablation Study): 이 연구는 귀속 기반 마스킹이 핵심 구성 요소임을 확인했습니다. $L_{mask}$를 제거하거나 귀속 기반 선택을 무작위 토큰 선택으로 대체하면 어려운 이전 작업에서 성능이 일관되게 저하되었습니다 ($\Delta$가 약 $0.260$으로 증가). 반사실 대비 손실 ($L_{CCL}$) 은 선택 사항인 것으로 나타났으며, "마스킹 전용" 변형은 더 적은 계산 오버헤드로 동등한 성능을 달성했습니다.

중요성 및 기여

이 논문은 세 가지 주요 기여를 주장합니다:

1. 진단적 통찰: 사후 귀속 변화는 일반화 실패의 신뢰할 수 없는 예측자임을 보여주며, 공유 어휘 토큰은 안정적인 귀속을 지니는 반면 문제적인 도메인 특이적 토큰은 교차 도메인 비교에서 제외됨을 설명합니다.
2. 새로운 개입: 외부 감독이나 타겟 레이블이 필요 없이 그래디언트 기반 귀속을 통해 가짜 토큰 의존성을 자동으로 식별하고 처벌하는 훈련 시간 개입인 AGM 을 도입합니다.
3. 강건한 일반화: 엄격한 평가를 통해 AGM 이 가장 어려운 이전 작업에서 경쟁력 있는 일반화를 달성하며, 스타일적 거리가 극단적일 때 실패하는 글로벌 표현 정렬 방법 (DANN 등) 보다 우수함을 보여줍니다.

한계:
저자들은 이 연구가 이진 영어 감정 분류로 제한됨을 지적합니다. 이 접근법은 더블 백워드 패스와 반사실 생성으로 인해 훈련 시간이 약 2~3 배 느려지는 계산 비용을 도입합니다. 또한, AGM 이 Sentiment140 에서 IRM 과 경쟁력 있는 성능을 보이지만, 차이점이 겹치는 신뢰 구간 내에 있으므로 통계적 유의성에 관해 결과를 주의 깊게 해석해야 합니다.

결론:
이 작업은 도메인 특이적 아티팩트를 이용하는 대신 내재적 의미에 의존하는 감정 분류기를 개발하는 경로를 제공하며, 강건하고 해석 가능한 제로샷 이전을 위한 확장 가능한 솔루션을 제시합니다.