💬 NLP

Learning to Explain: Supervised Token Attribution from Transformer Attention Patterns

이 논문은 트랜스포머 어텐션 패턴을 토큰 수준의 중요도 점수로 매핑하는 법을 자동으로 학습하여, 기존의 규칙 기반 어텐션 집계 및 모델 불가지론적 설명 방법들에 대해 더욱 적응적이고 계산 효율적인 대안을 제공하는 경량 신경망인 ExpNet을 소개한다.

원저자: George Mihaila

게시일 2026-01-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: George Mihaila

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 텍-스트를 읽고 영화 리뷰가 긍정적인지 혹은 문장이 문법적으로 올바른지 결정하는 것과 같은 결정을 내리는 초지능 로봇("트랜스포머" 모델)을 가지고 있다고 상상해 보세요. 문제는 이 로봇이 블랙박스라는 점입니다. 로봇은 답을 내놓지만, 왜 그 답을 선택했는지는 알 수 없습니다. 의료나 법률처럼 중요한 상황에서는 단순히 블랙박스를 믿을 수 없습니다. 우리는 그 이유(추론 과정)를 알아야 합니다.

이 논문은 이 미스터리를 해결하기 위해 ExpNet(Explanation Network, 설명 네트워크)이라는 새로운 도구를 소개합니다. 이 도구가 어떻게 작동하는지 쉽게 설명하면 다음과 같습니다.

문제점: 로봇의 "내적 독백"

로봇 내부에는 **셀프 어텐션(Self-Attention)**이라 불리는 메커니ме니즘이 있습니다. 이것을 로봇의 내부적인 "시선"이라고 생각할 수 있습니다. 로봇은 문장을 읽을 때, 서로 다른 단어들을 바라보며 각 단어에 얼마나 집중할지를 결정합니다.

기존 방식: 이전에는 과학자들이 고정된 규칙(예: "로봇이 가장 오래 응시한 단어를 항상 중요하다고 본다")을 사용하여 어떤 단어가 중요한지 추측하려고 했습니다. 이는 마치 어떤 사람이 메뉴판을 오랫동안 쳐다보고 있다는 이유만으로 그 사람의 최애 음식을 추측하려는 것과 같습니다. 때로는 작동하기도 하지만, 종종 규칙이 너무 경직되어 있어 미묘한 차이를 놓치곤 합니다.
다른 방식: 다른 방법들은 로봇을 미스터리 박스처럼 취급하여, 다양한 입력을 넣어보며 로봇이 어떻게 반응하는지 살핍니다. 이는 느리고 비용이 많이 들며, 종종 로봇이 이해하지 못하는 엉뚱한 문장을 만들어내기도 합니다.

해결책: ExpNet (더 "번역가")

저자들은 ExpNet을 만들었습니다. 이것은 로봇의 "시선"(어텐션 패턴)을 읽고 이를 명확한 설명으로 번역하는 법을 배우는 번역가 또는 코치와 같습니다.

고정된 규칙을 사용하는 대신, ExpNet은 인간으로부터 학습합니다.

훈련: 연구진은 인간이 이미 중요한 단어들(근거/rationale)을 하이라이트 해둔 예시들을 ExpNet에게 보여주었습니다.
학습: ExpNet은 해당 예시들 동안 로봇의 내부 "시선"을 관찰하며 다음과 같이 파악했습니다. "아, 로봇이 이 특정 상황에서 'terrible'이라는 단어를 이런 방식으로 바라볼 때, 인간은 이 단어가 부정적인 리뷰의 핵심 이유라고 생각하는구나."
결과: ExpNet은 가볍고 빠른 신경망이 되어, 로봇의 어텐션 패턴을 보고 "이 단어들이 중요하다"라고 높은 정확도로 말할 수 있게 됩니다.

작동 원리 (비유)

로봇이 사건을 해결하는 탐정이라고 상상해 보세요.

로봇의 어텐션: 탐정은 돋보기를 가지고 있습니다. 그는 여러 단서(단어) 위로 돋보기를 움직입니다.
기존 방식들: 그들은 탐정이 돋보기를 가장 오래 머물게 한 단서가 가장 중요한 단서라고 가정했습니다.
ExpNet: ExpNet은 마스터 탐정이 사건을 해결할 때, 인간 전문가가 실제로 지목한 '결정적 증거(smoking gun)'를 지켜본 수습 탐정입니다. 수습 탐정은 마스터의 시선 패턴을 인식하는 법을 배웠습니다. 이제 마스터가 새로운 사건을 마주했을 때, 수습 탐정은 마스터가 해당 유형의 사건에 대해 훈련받지 않았더라도 즉시 단서들을 짚어낼 수 있습니다.

대규모 테스트: 일반적인 규칙을 학습할 수 있는가?

저자들은 매우 까다로운 시나리오인 **교차 작업 일반화(Cross-Task Generalization)**를 통해 ExpNet을 테스트했습니다.

그들은 두 가지 다른 유형의 문제(예: 혐오 표현 탐지와 영화 리뷰 분석)로 ExpNet을 훈련시켰습니다.
그런 다음, ExpNet이 한 번도 본 적 없는 완전히 다른 문제(예: 문법 검사)로 테스트를 진행했습니다.

결과: ExpNet은 단순히 정답을 암기한 것이 아니라, 중요성의 언어를 학습했습니다. ExpNet은 기존의 13가지 다른 방법들보다 더 나은 성능을 보였으며, 심지로 본 적 없는 새로운 작업에서도 그러했습니다. 이는 로봇의 "시선" 속에 인간이 중요하다고 여기는 것들에 대한 보편적인 단서가 들어있음을 증와하며, ExpNet이 이를 해독하는 데 가장 뛰어나다는 것을 입증했습니다.

왜 이것이 더 나은가?

빠릅니다: 로봇을 수천 번 찌르고 건드려야 하는 다른 방법들과 달리, ExpNet은 로봇의 내부 데이터를 빠르게 살펴보고 즉시 답을 줍니다.
정확합니다: 테스트된 그 어떤 방법보다 인간의 추론 방식과 잘 일치했습니다.
유연합니다: 매번 새로운 주제에 맞춰 재훈련할 필요 없이 다양한 종류의 텍스트(감성 분석, 문법, 혐오 표현 등)에 걸쳐 작동합니다.

한계점 (Catch)

스승이 필요합니다: 학습을 위해 ExpNet은 인간이 이미 중요한 단어들을 하이라이트 해둔 예시가 필요합니다. 만약 인간의 예시가 없는 완전히 새로운 작업이 있다면 아직 훈련할 수 없습니다 (단, 다른 작업으로 훈련했을 때 여전히 잘 예측할 수 있다는 점을 논문은 보여줍니다).
단어 단위로 설명합니다: 이는 단어 단위로 설명합니다. "not bad"(나쁘지 않다 = 좋다)와 같은 구절의 뉘앙스를 놓칠 수 있는데, 이는 "not"과 "bad"를 별개로 보기 때문입니다.
인간의 편향을 반영합니다: ExpNet은 인간의 주석(annotation)으로부터 학습하므로, 훈련에 참여한 인간이 편향되어 있다면 ExpNet도 그 편향을 배우게 됩니다. 즉, 절대적인 진리가 아닌 인간의 추론을 반영합니다.

요약

이 논문은 로봇이 어떻게 생각하는지를 경직된 규칙이나 느린 실험을 통해 추측하는 대신, **작고 똑똑한 조력자(ExpNet)**를 키워 모델의 내부 어텐션 패턴을 읽도록 가르쳐야 한다고 주장합니다. 인간의 예시로부터 학습함으로써, 이 조력자는 AI가 왜 그런 결정을 내렸는지 빠르고 정확하게 설명할 수 있으며, 이를 통해 강력한 AI 도구들을 더욱 신뢰할 수 있고 투명하게 만들 수 있습니다.

기술 요약: 설명 학습 (ExpNet)

문제 정의

의료, 법률, 금융과 같은 고위험 도메인에서 트랜스포머 기반 모델의 배포가 저해되는 이유는 모델의 불투명성 때문이며, 이는 신뢰와 책임성을 저해한다. 트랜스포머의 셀프 어텐션(self-attention) 메커니즘은 해석 가능성을 제공할 수 있는 잠재적 원천을 제공하지만, 기존의 설명 추출 방식들은 다음과 같은 중대한 한계를 지닌다:

모델 불가지론적 방법 (예: LIME, SHAP): 모델을 블랙박스로 취급하여 내부 추론 과정을 무시한다. 이들은 높은 계산 비용을 발생시키며, 자연어 처리(NLP)에서는 섭동(perturbation, 단어 마스킹 또는 교체)을 통해 의미론적으로 유효하지 않은 입력을 생성함으로써, 인과적 해석을 혼란스럽게 하는 분포 외(out-of-distribution) 사례를 만들어낸다.
어텐션 기반 방법: 내부 신호를 활용하기는 하지만, 수동으로 정의된 집계 전략과 고정된 휴리스틱 규칙(예: 여러 헤드나 레이어에 걸친 어텐션 가중치의 평균화)에 의존한다. 이러한 미리 결정된 규칙은 서로 다른 작업에 걸쳐 인간의 추론과 일치하는 데 필요한 최적의 어텐션 특징 조합을 포착하지 못할 수 있다.

핵심적인 문제는 경직된 수작업 규칙이나 비용이 많이 드는 블랙박스 섭동에 의존하지 않고, 트랜스포머의 어텐션 패턴을 인간이 판단한 토큰 중요도로 매핑하는 방법을 자동으로 학습할 수 있는 방법이 부족하다는 것이다.

방법론

본 논문은 트랜스포머의 어텐션 패턴으로부터 토큰 수준의 중요도 점수로 가는 명시적 매핑을 학습하도록 설계된 경량 신경망인 **ExpNet (Explanation Network)**을 소개한다.

1. 베이스 모델 및 특징 추출

베이스 모델: 이 접근 방식은 특징 추출기로서 동결된(frozen) BERT-base 모델을 사용한다. 모델은 수정되지 않으며, 오직 어텐션 패턴만이 활용된다.
특징 설계: ExpNet은 BERT의 마지막 셀프 어텐션 레이어(Layer 12)에서 특징을 추출하며, 여기에는 12개의 어텐션 헤드가 포함된다. 각 토큰 $j$ $j$ 에 대해, 모델은 [CLS] 토큰과 관련하여 두 가지 구별되는 비대칭적 관점을 포착한다:
- 태스크-투-토큰 어텐션 ( $A_{[CLS],j}$ ): 집계 메커니즘([CLS])이 토큰 $j$ 에 얼마나 강하게 주의를 기울이는지를 측정한다.
- 토큰-투-태스크 어텐션 ( $A_{j,[CLS]}$ ): 토큰 $j$ 가 태스크 표현(task representation)에 얼마나 주의를 기울이는지를 측정한다.
입력 벡터: 이러한 특징들은 각 토큰에 대해 24차원 벡터( $2 \times 12$ 헤드)로 결합되며, 이를 통해 단순히 평균을 내는 대신 양방향의 개별 헤드 기여도를 보존한다.

2. 네트워크 아키텍처

ExpNet은 다음과 같이 구성된 단순한 피드 포워드 네트워크이다:

입력 레이어: 24 차원.
은닉 레이어: 16개의 유닛과 ReLU 활성화 함수.
출력 레이어: 토큰 $j$ 가 중요할 확률 $\hat{y}_j \in [0, 1]$ 을 생성하는 단일 시그모이드 유닛.

3. 훈련 절차

감독 (Supervision): 네트워크는 인간이 주석을 단 근거(rationale)를 사용하여 토큰 수준의 이진 분류기로 훈련된다. 레이블은 단어 수준의 주석에서 서브토큰(subword token)으로 투영된다 (만약 단어의 서브토큰 중 하나라도 중요하다고 표시되면, 모든 서브토큰이 양성 레이블을 받는다).
데이터 필터링: 훈련은 기본 BERT 분류기가 올바른 예측을 수행한 인스턴스에서만 수행된다. 이는 설명 모델이 오류 패턴으로부터 발생하는 노이즈를 피하고, 성공적인 추론과 관련된 어텐션 패턴을 학습하도록 보장하기 위함이다.
손실 함수: 클래스 불균형(대부분의 토큰은 중요하지 않음)을 해결하기 위해 크로스 엔트로피 대신 **포컬 로스(Focal Loss)**를 사용한다. 이는 쉬운 예제의 가중치를 낮추고 분류하기 어려운 토큰에 학습을 집중시킨다.
추론: 이진 예측을 생성하기 위해 0.5의 임계값을 적용한다. 빈 설명을 방지하기 위해 최소 하나의 토큰이 중요하게 표시되도록 하는 폴백(fallback) 메커니즘을 갖춘다.

4. 실험 설계

평가는 교차 작업 일반화(cross-task generalization) 프로토콜을 채택한다. ExpNet은 두 가지 NLP 작업의 결합된 근거 데이터를 통해 훈련되며, 홀드아웃(held-out)된 세 번째 작업에 대해 평가된다. 사용된 작업은 다음과 같다:

HateXplain: 혐오 표현 탐지 (인간 근거).
SST-2: 감성 분석 (LLM + 인간 근거).
CoLA: 문법적 수용 가능성 (LLM + 인간 근거).

이 설정은 ExpNet이 특정 작업에 특화된 휴리스틱이 아니라 일반화 가능한 설명 패턴을 학습하는지를 테스트한다.

주요 기여

새로운 프레임워크: 고정된 집계 규칙 대신 어텐션 패턴으로부터의 학습 가능한 매핑을 사용하여, 어텐션 특징의 최적 조합을 자동으로 발견하는 지도 학습 접근 방식을 제시한다.
교차 작업 일반화: 두 가지 작업에서 훈련되었을 때 서로 다른 NLP 도메인(감성, 문법, 혐오 표현)에 걸쳐 성공적으로 설명할 수 있음을 입증하였다.
아키텍처 검증: 양방향 어텐션 특징(태스크-투-토큰 및 토큰-투-태스크)의 사용과 특정 네트워크 설계의 정당성을 입증하는 종합적인 절제 연구(ablation studies)를 수행하였다.
경험적 성능: 모델 불가지론적 방법(LIME, SHAP), 그래디언트 기반 방법(Integrated Gradients, Grad-CAM), 어텐션 기반 기술(Rollout, GAE, AttCAT)을 포함한 광범 sel한 베이스라인 모델들과 비교하여 우수한 성능을 보여주었다.

결과

ExpNet은 세 가지 데이터셋에 대해 13개의 베이스라인 방법과 비교하여 토큰 수준 F1-score 및 AUROC를 기준으로 평가되었다.

F1-Score 성능: ExpNet은 교차 작업 설정에서 세 가지 작업 모두에서 가장 높은 F1 점수를 달성했다:
- SST-2: 0.398 (최고 베이스라인인 GAE/MGAE의 0.350 대비).
- CoLA: 0.468 (최고 베이스라인인 Grad-CAM의 0.356 대비), 31%의 상대적 개선.
- HateXplain: 0.473 (최고 베이스라인인 Grad-CAM의 0.396 대비), 19%의 상대적 개선.
AUROC 성능: ExpNet은 경쟁력 있는 AUROC 값(지속적으로 0.7 이상)을 달성했으나, 항상 최고치를 기록한 것은 아니다. 저자들은 차이점을 언급했다: ExpNet은 올바른 토큰 집합을 선택하는 데 탁-월한 반면(높은 이진 분류 정확도), 일부 그래디언트 기반 방법은 모든 토큰에 대한 상대적 순위 품질을 더 효과적으로 보존할 수 있다.
효율성: ExpNet은 사전 계산된 어텐션 특징에 대해 경량 MLP의 단일 순전파(forward pass)만을 요구하므로 계산 효율성이 높으며, 모델 불가지론적 방법의 샘플링 및 섭동 비용을 피할 수 있다.

의의 및 주장

본 논문은 ExpNet이 지도 학습을 통해 트랜스포머 어텐션을 체계적으로 인간과 정렬된 설명으로 정제할 수 있음을 보여준다고 주장한다. 그 의의는 다음과 같다:

우수한 정렬: ExpNet은 인간의 근거와 일치하는 데 있어 확립된 베이스라인들을 일관되게 능가하며, 이는 학습된 매핑이 추출된 설명을 위해 수작업으로 만든 휴리스틱보다 우수함을 시사한다.
일반화 가능성: 두 가지 작업에서 훈련되어 세 번째 작업을 성공적으로 설명할 수 있다는 능력은, 모델이 특정 분류 목적과 독립적으로 인간이 중요하게 여기는 특징이 트랜스포머 어텐션에 어떻게 나타나는지에 대한 근본적인 패턴을 포착하고 있음을 나타낸다.
실용성: 설명 품질을 개선하면서도 계산 효율성을 유지함으로써, ExpNet은 실시간 고위험 애플리케이션에 해석 가능한 모델을 배포할 수 있는 실행 가능한 경로을 제공한다.

저자들은 훈련을 위한 인간 주석 근의 의존성(비록 교차 데이터셋 결과가 제로샷 적용 가능성을 시사하지만), 인코더 전용 모델에 대한 집중, 그리고 구절 수준의 의미론을 놓칠 수 있는 토큰 수준의 입도(granularity)를 한계로 인정한다. 이들은 이를 근본적인 결함이 아니라 디코더 전용 모델 및 더 넓은 도메인 커버리지로 확장하기 위한 영역으로 규정한다.