💻 computer science

Latent Attribution Regularization: Cross-Domain Attribution-Consistency Training for Stable NLP Explanations

이 논문은 의미를 보존하는 유의어 치환 하에서 기여도 일관성을 강제하는 훈련 단계 방법론인 잠재 기여도 정규화(Latent Attribution Regularization, LAR)를 소개하며, 이 방법이 모델의 정확도를 저해하지 않으면서 미세 조정된 트랜스포머의 그래디언트 기반 설명의 안정성을 유의미하게 향상시킨다는 것을 입증하는 동시에, 이러한 안정성을 정확하게 측정하기 위해서는 적절한 토큰 정렬이 필수적임을 확립한다.

원저자: Junaid Hassan

게시일 2026-09-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junaid Hassan

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 컴퓨터가 어떻게 결정을 내리는지 이해하는 흔한 방법은 컴퓨터가 입력값의 어느 부분에 가장 많은 주의를 기울였는지 살펴보는 것입니다. 기계가 문장을 읽고 그것이 행복한지 슬픈지를 결정한다고 상상해 보십시오. 연구자들은 모델이 그 판단을 내리는 데 있어 어떤 단어를 가장 중요하게 고려했는지 보여주는 지도를 생성할 수 있습니다. '특성 기여도(feature attributions)'라고 알려진 이 지도들은 사람들에게 AI의 결정을 설명하기 위해 점점 더 많이 사용되고 있습니다. 그러나 한 가지 골치 아픈 패턴이 나타났습니다. 만약 의미가 같은 유의어로 단어를 바꾸어 문장을 아주 약간만 수정하더라도, 지도가 완전히 바뀌어 버리는 현상입니다. 문장의 의미와 최종 답변은 변하지 않았음에도 불구하고, 컴퓨터는 갑자기 다른 단어를 그 결정의 이유로 지목할 수 있습니다. 이는 마치 AI가 신뢰할 수 없거나 혼란스러워하는 것처럼 느껴지게 하여 설명을 불신하게 만들지만, 실제로는 그 변화가 컴퓨터가 텍스트를 읽는 방식 때문에 발생한 착시일 수 있습니다.

독립 연구자인 주나이드 하산(Junaid Hassan)의 새로운 연구는 이 문제를 조사하며, 겉으로 보이는 불안정성의 상당 부분이 컴퓨터가 단어를 분해하는 방식 때문에 발생하는 측정 오류라는 점을 밝혀냈습니다. 현대의 언어 모델은 인간처럼 단어 전체를 읽는 것이 아니라, 대신 '서브워드 토큰(subword tokens)'이라고 불리는 더 작은 조각들로 텍스트를 자릅니다. 단일 단어가 유의어로 교체될 때, 이 작은 조각들의 개수가 변할 수 있으며, 이는 뒤따르는 모든 토큰의 위치를 이동시킵니다. 만약 연구자들이 목록상의 위치를 기준으로 중요도 점수를 비교한다면, 그들은 서로 다른 것들을 비교하고 있는 셈입니다. 예를 들어, 한 책의 첫 페이지를 다른 책의 두 번째 페이지와 맞추는 것과 같습니다. 연구자는 위치가 아닌 실제 정체성을 기준으로 단어를 일치시킴으로써 이 문제를 해결하는 방법을 개발했으며, 이를 통해 이러한 설명들의 안정성이 이전에 생각했던 것보다 훨씬 더 높다는 것을 발견했습니다.

이 교정된 측정 방식을 바탕으로, 이 연구는 '잠재 기여도 정규화(Latent Attribution Regularization)'라는 새로운 훈련 기법을 소개합니다. 이 방법은 AI 모델이 입력 텍스트가 유의어로 인해 약간 변경되더라도 그 설명 지도를 일관되게 유지하도록 가르칩니다. 훈련 과정 동안 모델은 문장과 그 문장의 약간 변형된 버전을 함께 보여주며, 변하지 않은 단어들에 대한 중요도 점수가 두 버전 모두에서 유사하게 유지될 경우 보상을 받습니다. 이는 텍스트의 감정을 올바르게 분류하는 표준 작업과 병행하여 수행됩니다. 목표는 단순히 정답을 맞히는 것뿐만 아니라, 어휘가 바뀔 때 그 답변 뒤에 숨겨진 추론이 일정하게 유지되도록 하는 것입니다.

연구자는 디스틸버트(DistilBERT)라는 모델을 사용하여 영화 리뷰 데이터셋으로 이 접근 방식을 테스트했습니다. 실험은 1,500개의 사례를 가진 작은 테스트와 더 현실적인 20,000개의 사례를 가진 더 큰 테스트, 두 가지 규모로 진행되었습니다. 두 경우 모두 모델은 새로운 일관성 기법을 적용하여 훈련되었고, 적용하지 않고도 훈련되었습니다. 결과는 일관성 기법으로 훈련된 모델이 훨씬 더 안정적인 설명을 생성한다는 것을 보여주었습니다. 텍le이 경미한, 중간 정도의, 또는 강한 수준의 유의어 치환으로 변경되었을 때, 일관성 기법을 적용한 모델의 설명은 적용하지 않은 모델보다 훨씬 더 자주 일관성을 유지했습니다. 예를 들어, 더 큰 테스트에서는 텍스트 변화가 더 어려워질수록 안정성 향상이 커졌으며, 이는 어려운 조건 하에서의 명확한 이점을 보여주었습니다.

결정적으로, 이러한 안정성 향상은 텍스트를 이해하는 모델의 능력에 희생을 치르지 않았습니다. 새로운 기법으로 훈련된 모델은 영화 리뷰를 분류하는 데 있어 기존 모델과 동일한 높은 정확도를 달了一습니다. 더 큰 실험에서 두 그룹 모두 약 82%의 정확도에 도달했는데, 이는 모델이 본연의 주요 업무를 잊지 않으면서도 더 일관되게 학습할 수 있음을 증명합니다. 또한 이 연구는 극심한 불안정성이라는 초기 발견이 실제로 측정 방법의 산물이었음을 확인했습니다. 정렬 방식이 교정되자 기초적인 안정성은 이미 높았으나, 새로운 훈련 방법이 이를 더욱 높였습니다.

이러한 결과는 사용자에게 자신의 결정을 설명하는 AI 시스템을 구축하는 개발자들에게, 설명을 더 신뢰할 수 있게 만드는 실질적인 방법을 제시합니다. 훈련 단계에서 이러한 일관성 검사를 추가함으로써, AI는 미세한 어휘 변화로 인한 노이즈를 무시하고 진정한 의미에 집중하는 법을 배울 수 있습니다. 연구자는 이 작업이 특정 유형의 모델과 단일 작업에 대해 수행되었지만, 이 방법은 표준 훈련에 저위험으로 추가할 수 있는 방식이며, AI 설명을 실제 응용 분야에서 더 신뢰할 수 있게 만들 수 있다고 언급합니다. 연구는 AI 모델 자체의 결함으로 여겨졌던 불안정성이 측정 방식의 속임수였을 수 있으며, 적절한 도구와 훈련을 통해 우리는 스스로를 더 꾸준하게 설명할 수 있는 시스템을 구축할 수 있다는 결론을 내립니다.

기술 요약: 잠재적 속성 정규화 (Latent Attribution Regularization, LAR)

문제 정의

미세 조정된 트랜스포머 모델의 그래디언트 기반 특징 속성(feature attributions)은 입력이 의미를 보존하는 작은 섭동(예: 유의어 치환)을 겪을 때 높은 불안정성을 보이는 경우가 많습니다. 만약 모델의 예측과 입력의 의미는 일정한데 설명(explanation)이 급격하게 변한다면, 그 설명은 신뢰할 수 없습니다.

본 논문은 이 분야에서 이전에 간과되었던 중요한 측정 아티팩트(measurement artifact)인 **토큰화 드리프트(tokenization drift)**를 식별합니다. 표준 서브워드 토큰화(WordPiece) 방식은 단일 단어의 치환이 서브워드 토록의 개수를 변화시켜 이후의 모든 토큰 위치를 이동시킬 수 있음을 의미합니다. 이전 연구(Yin et al., 2022)에서 수행된 것처럼 원시 위치 인덱스(raw positional indices)를 비교하여 속성 안정성을 평가하는 것은 심각한 불일치를 초래합니다. 저자는 이러한 단순한 접근 방식이 안정성 상관관계를 타당한 수준인 약 $\approx 0.90$ 에서 $\approx 0.03$ 까지 급락시켜, 실제 모델의 동작과는 무관하게 완전한 불안정성을 보이는 것처럼 잘못된 인상을 준다는 것을 입증합니다.

방법론

1. 교정된 평가 프로토콜

이 측정 아티팩트를 해결하기 위해, 저자는 **정확한 토큰 정렬 절차(exact token-alignment procedure)**를 도입합니다:

정렬: 토큰을 위치로 비교하는 대신, 알고리즘은 원래 시퀀스와 섭동된 시퀀스의 토큰을 정확한 문자열 정체성(string identity)에 따라 순서를 유지하며 매칭합니다.
범위: 이 지표는 (치환에 의해 변경되지 않은) "배경" 토큰들에 대해서만 스피어먼 순위 상관계수(Spearman rank correlation)를 계산합니다. 치환된 단어들은 설계상 상관계수 계산에서 제외됩니다.
요건: 최소 3개의 토큰이 성공적으로 매칭되는 샘플에 대해서만 통계량에 기여합니다.

2. 잠재적 속성 정규화 (LAR)

교정된 평가를 바탕으로, 저자는 NLP를 위한 훈련 시 정규화 전략을 응용합니다:

목적 함수: 훈련 손실은 표준 교차 엔트로피( $L_{CE}$ )와 원본 입력( $x$ ) 및 섭동된 입력( $\tilde{x}$ )의 특징 속성 간의 코사인 유사도 패널티를 결합합니다.
$L_{LAR} = L_{CE}(f(x), y) + \lambda \left(1 - \cos(a(x), a(\tilde{x}))\right)$
속성 방법: 본 연구는 더블 백프로파게이션(double-backward) 루프 내에서의 계산 단순성을 위해 Integrated Gradients (IG) 대신 입력 그래디언트의 $\ell_2$ 노름( $\nabla_{e_i} \log_y(f(e))$ )을 사용합니다.
섭동: 입력은 형용사와 부사를 WordNet 유의어로 치환함으로써 섭동됩니다. 일부 기존의 대조적 생성(contrastive generation) 방법들과 달리, 이 과정은 모델 확신도 보존을 위한 필터링을 거치지 않습니다.
훈련 vs. 평가 비대칭성: 평가는 정확한 토큰 정체성을 사용하지만, 훈련 손실은 속성을 위치 기반으로 비교합니다(더 짧은 시퀀스에 맞춰 절단). 이는 정체성 기반 매칭이 그래디언트-오브-그래디언트(gradient-of-gradient) 계산에 필요한 미분 가능한 더블 백프로파게이션 계산과 호환되지 않는 이산적(discrete) 연산이기 때문입니다.

3. 실험 설정

모델: DistilBERT (66M 파라미터), 실제 학습이 아닌 재기억(re-memorization)을 방지하기 위해 비-태스크 튜닝된 체크포인트(무작위 초기화된 분류 헤드)에서 초기화되었습니다.
태스크: SST-2에 대한 이진 감성 분류.
규모: 실험은 두 가지 규모로 진행되었습니다:
- 소규모 (Small): 1,500개 예시, 1 에폭.
- 대규모 (Large): 20,000개 예시, 2 에폭 (검증 정확도 $\approx 82\%$ 도달).
대조군 (Control): 동일한 시드, 데이터, 옵티마이저 설정을 사용하는 매칭된 교차 엔트로피 전용 대조군 ( $\lambda=0$ )을 사용했습니다.
섭동 강도: Light (15%), Medium (35%), Heavy (60%) 치환율에서 평가되었습니다.

주요 결과

1. 토큰 정렬 아티팩트

정규화가 없는 예비 실험에서, 단순한 위치 기반 정렬은 $\bar{\rho} \approx 0.035$ 의 안정성 상관관계를 나타냈습니다. 동일한 데이터와 모델에 대해 정확한 토큰 정렬 교정을 적용했을 때, 베이스라인 안정성이 $\bar{\rho} \approx 0.90$ 으로 상승했습니다. 이는 이전 문헌의 겉보기 불안정성이 상당 부분 측정 아티팩트였음을 확인시켜 줍니다.

2. LAR를 통한 안정성 개선

두 가지 훈련 규모와 10개의 독립적인 시드 모두에서, LAR ( $\lambda=0.5$ )는 대조군에 비해 통계적으로 유의미한 속성 안정성 향상을 보였습니다:

소규모: 모든 섭동 강도에서 유의미한 개선 (paired t-test $p \le 0.012$ ).
대규모: 모든 섭동 강도에서 유의미한 개선 (paired t-test $p = 0.002\text{--}0.004$ ; Wilcoxon $p = 0.004\text{--}0.006$ ).
크기: 안정성 개선 폭은 섭동의 심각도에 따라 증가했습니다 (예: 대규모 설정에서 light 섭동 시 $+0.026$ , heavy 섭동 시 $+0.036$ ).
일관성: 10개 시드 중 9개가 모든 섭동 강도에서 개선의 방향성에 동의했습니다.

3. 정확도 트레이드오프 (Accuracy Trade-offs)

결정적으로, 안정성 이득은 측정 가능한 정확도 저하 없이 이루어졌습니다:

소규모: 대조군 (73.2%) vs. LAR (73.3%).
대규모: 대조군 (81.6%) vs. LAR (82.3%, $p=0.42$ ).

의의 및 주장

본 논문은 속성 강건성(적대적 공격 하의 비전 분야에서 이전에 연구됨)과 NLP 안정성 평가의 접점에 기여합니다.

측정 아티팩트의 교정: 주요 주장은 이전의 NLP 속성 안정성 평가가 토큰화 드리프트로 인해 근본적으로 결함이 있었다는 것입니다. 저자는 신뢰할 수 있는 비교를 가능하게 하는 필수적인 교정법(정확한 토큰 정렬)을 제공합니다.
NLP에 일관성 정규화의 첫 적용: 저자는 비전 기반의 속성 정규화(예: Wang and Kong, 2022)와 NLP 사이의 간극을 메웁니다. 이들은 적대적 노이즈가 아닌 의미 보존 섭동 하에서 코사인 유사도 목적 함수를 트랜스포머 미세 조정에 적응시켰습니다.
직접적인 훈련 목적 함수: 안정성 지표를 사후 분석(post-hoc) 평가용으로만 사용했던 이전 연구들과 달리, 본 논문은 안정성 지표(구체적으로 유의어 치환을 통한 안정성)를 직접적인 훈련 목적 함수로 사용합니다.
실무적 함의: 설명(explanation)이 최종 사용자에게 노출되는 미세 조정된 트랜스포머를 배포하는 실무자들에게, LAR은 표준 미세 조정에 추가할 수 있는 저위험 옵션을 제공합니다. 이는 분류 성능을 희생하지 않으면서, 특히 상당한 의미적 섭동 하에서 통계적으로 견고한 안정성 향상을 제공합니다.

한계 및 범위

저자는 다음과 같은 제약 사항을 명시적으로 언급합니다:

단일 태스크/아키텍처: 결과는 SST-2 및 DistilBERT에 국한됩니다.
속성 방법: 연구는 Integrated Gradients (IG)가 아닌 입력 그래디언트 노름을 사용합니다.
훈련/평가 비대칭성: 훈련 손실은 위치 기반 정렬을 사용하고 평가는 정체성 기반 정렬을 사용합니다. 이 간극을 좁히는 것이 향후 연구 과제입니다.
섭동 생성: 유의어 치환은 모델 확신도 보존을 필터링하지 않으며, 이는 원래의 안정성 지표 프로토콜과 다릅니다.
수렴: 대규모 실험은 $\approx 82\%$ 정확도에 도달했으며, 이는 완전히 수렴된 SST-2 미세 조정( $\approx 90\%+$ )보다 낮은 수준입니다. 따라서 완전한 수렴 시의 동작에 대한 가능성을 열어둡니다.