Towards Explainability of SLMs by investigating Token Level Activation

기술적 요약: 토큰 수준 활성화를 조사한 SLM 의 설명 가능성 추구

문제 제기
BERT 와 같은 트랜스포머 기반 모델이 자연어 이해 (NLU) 에 혁명적인 영향을 미쳤음에도 불구하고, 그 내부 메커니즘은 여전히 대부분 불투명합니다. 어텐션 가중치에 의존하는 전통적인 해석 가능성 방법들은 종종 진정한 의미적 설명을 제공하지 못하며, 의미적으로 약하지만 구조적으로 중요한 토큰 (예: 구두점, 기능어) 을 의미 있는 내용 대신 자주 강조합니다. 또한, 기존 해석 가능성 접근법들은 모델 독립성을欠缺하거나, 비용이 많이 드는 기울기 계산을 요구하거나, 특히 구문론적 및 의미론적 정보가 통합되는 것으로 여겨지는 중간 레이어 (6~9) 내의 특정 중간 처리 역학을 격리하지 못하는 경우가 많습니다. 따라서 어텐션 상관관계가 아닌 내부 활성화 강도에 기반하여 개별 토큰의 표현적 중요도를 정량화하고 순위 매길 수 있는 경량화된 효율적인 방법이 시급히 필요합니다.

방법론
저자들은 bert-base-uncased 모델의 레이어 8에 exclusively 초점을 맞춘 **활성화 흐름 네트워크 (Activation Flow Network, AFN)**라는 새로운 모델 독립적 프레임워크를 제안합니다. 방법론은 다음 단계를 거쳐 진행됩니다:

1. 토큰 수준 활성화 강도 정량화:
   어텐션 헤드를 분석하는 대신, 이 프레임워크는 레이어 8 의 각 토큰에 대한 숨겨진 상태 벡터 ($h_i$) 를 추출합니다. 토큰의 표현적 강도 ($S_i$) 는 768 차원 숨겨진 상태 벡터의 **L2 노름 (유클리드 노름)**으로 정의됩니다:
   $$S_i = \|h_i\|_2$$
   이 스칼라 값은 토큰의 활성화 크기 및 표현적 우선순위를 직접 측정하는 지표로 작용합니다.

2. 임계값 기반 활성화 버킷 구성:
   지배적인 의미론적 활성화와 구조적 배경 노이즈를 구분하기 위해, 저자들은 주어진 문장에 대한 활성화 분포의 **상위 사분위수 (75 백분위수)**를 사용하여 경험적 활성화 경계 ($\tau$) 를 정의합니다:
   $$\tau = Q_{0.75}(S)$$
   토큰은 두 그룹으로 나뉩니다:

   • HIGH-활성화: $S_i > \tau$ (의미론적으로 두드러진 토큰).
   • LOW-활성화: $S_i \leq \tau$ (구조적 지원 토큰).
     이 프레임워크는 HIGH-활성화 토큰이 표현적 변화를 지배하는지 여부를 결정하기 위해 기여 비율 ($R_H$) 을 계산합니다.

3. 비교적 활성화 변화 분석:
   문맥과 작업 지시 사항에 대한 민감도를 탐구하기 위해, 저자들은 두 개의 유사한 문장 또는 다른 프롬프트 조건 하에서 대응하는 토큰의 숨겨진 상태 벡터 간 차이의 L2 노름으로 계산된 **토큰 수준 활성화 변화 ($\Delta_i$)**를 도입합니다:
   $$\Delta_i = \|h_{A,i} - h_{B,i}\|_2$$
   이 지표는 문맥적 교란 (예: "day"를 "walk"로 변경) 또는 목표 지향적 프롬프트 (예: "요약" 대 "번역") 로 인해 벡터 공간에서 발생하는 기하학적 이동을 정량화합니다.

주요 기여

• 의미론적 통합 구역으로서의 레이어 8: 본 연구는 구조적 정보가 의미론적 통합에 자리를 내어주는 중요한 전환점으로서 레이어 8 을 식별하며, 구문론적 및 의미론적 처리 간의 균형을 맞춥니다.
• 어텐션 대비 활성화 크기: 이 연구는 종종 구두점에 집중함으로써 오해를 불러일으키는 어텐션 가중치보다 숨겨진 상태 노름 (L2) 이 의미론적 중요도에 대한 더 신뢰할 수 있는 신호를 제공함을 입증합니다.
• 경량화된 해석 가능성: AFN 프레임워크는 기울기 기반 귀속 방법론에 대한 계산적으로 효율적이고 비침습적인 대안을 제공하며, 숨겨진 상태를 추출하기 위해 단일 순전파만 필요합니다.
• 의미론적 변화의 정량화: 활성화 변화 지표의 도입은 특정 단어 변경이나 작업 지시 사항이 모델의 내부 표현 경로를 어떻게 변경하는지 정량화할 수 있게 합니다.

결과
732 개의 감정 관련 어구 코퍼스 및 특정 사례 연구에 대한 실험적 분석은 다음과 같은 관찰 결과를 도출했습니다:

• 의미론적 지배성: 내용을 담고 있는 단어들 (예: "prime", "minister", "Canada", "beautiful") 은 레이어 8 에서 일관되게 가장 높은 활성화 강도를 보였으며, 관사나 구두점과 같은 구조적 토큰보다 훨씬 높은 순위를 차지했습니다.
• 레이어 비교: 레이어 8 과 레이어 9 간의 비교는 레이어 8 이 내용 풍부한 토큰에 더 민감한 반면, 레이어 9 는 동일한 토큰에 대해 상대적으로 낮은 활성화를 보임을 확인시켜 주었으며, 이는 더 깊은 레이어에서 의미론적 내용에서 구문론적 구조로 초점이 이동함을 시사합니다.
• 활성화 버킷화: 상위 사분위수 임계값은 토큰을 성공적으로 분리했으며, HIGH-활성화 토큰 (내용 단어) 은 일관되게 최상위 순위를 차지했습니다. 교란 실험에서 HIGH-활성화 토큰은 전체 토큰 수의 약 25% 를 차지하면서도 총 의미론적 활성화 변화의 약 **76%**에 기여했습니다.
• 문맥적 파급 효과: 변경되지 않은 구조적 토큰들 (예: "at", "the") 은 문맥이 변경될 때 (예: "day at the park" 대 "walk at the beach") 상당한 활성화 변화를 보였으며, 이는 레이어 8 이 의미론적 일관성을 유지하기 위해 전체 구를 역동적으로 재인코딩함을 나타냅니다.
• 프롬프트 민감성: 입력에 서로 다른 작업 지시 사항 ("요약" 대 "번역") 이 접두사로 추가되었을 때 [CLS] 토큰 및 기타 토큰에서 활성화 변화가 관찰되었으며, 이는 고수준 프롬프트가 중간 표현 공간을 유도함을 입증했습니다.

의의 및 주장
본 논문은 활성화 크기가 의미론적으로 정보 풍부한 토큰 주변에 집중된다는 사실을 밝혀냄으로써 BERT 를 더 투명한 "유리 상자"로 변환한다고 주장합니다. 저자들은 이 프레임워크가 어텐션 중심 분석에 대한 계산적으로 효율적이고 해석 가능한 대안을 제공한다고 단언합니다. 레이어 8 을 격리하고 L2 노름을 활용함으로써, 이 연구는 의미론적 처리 동안 어떤 토큰이 최대 표현적 강도를 지니는지 직접적으로 식별할 수 있는 방법을 제시합니다. 이 연구는 이러한 활성화 흐름을 이해하는 것이 복잡한 기울기 계산이나 모델 특정 탐지 분류기 없이도 연구자들이 BERT 가 어떻게 구조적 및 의미론적 정보를 균형 있게 유지하고 작업 지시 사항이 모델의 내부 경로를 어떻게 영향을 미치는지 더 잘 이해하는 데 도움이 될 수 있음을 시사합니다.