기술 요약: 트랜스포머 상태 역학을 위한 마르코프 회로 추적

문제 제기

기계적 해석 가능성은 주로 트랜스포머의 고립된 행동을 설명하기 위해 국소 회로, 특징, 어텐션 헤드를 분석하는 데 초점을 맞춰 왔습니다. 그러나 부분적으로 관측된 시퀀스 작업은 다른 계산 패러다임을 요구합니다. 모델은 미래 예측을 informing 하기 위해 시간에 따라 내부 요약 (상태) 을 유지하고 업데이트해야 합니다. 숨겨진 마르코프 모델 (HMM) 은 잠재 상태에 대한 베이지안 신조 벡터가 최적 해법인 이러한 작업을 위한 수학적으로 엄밀한 프레임워크를 제공하지만, 트랜스포머 활성화가 실제로 이러한 상태 전이 역학을 인코딩하는지 테스트할 수 있는 통제된 벤치마크는 부족합니다. 기존 연구는 종종 잠재 상태, 신조 벡터, 그리고 반사실적 타겟에 대한 정확한 기준치 (ground truth) 에 동시에 접근하지 못한 채 탐지 (probing), 패칭 (patching), 상태 추출과 같은 구성 요소를 고립적으로 연구합니다.

방법론: 마르코프 회로 추적 (MCT)

본 논문은 트랜스포머 활성화에 거친 상태 전이 구조가 포함되어 있는지 테스트하도록 설계된 진단 파이프라인인 **마르코프 회로 추적 (MCT)**을 소개합니다. 이 방법론은 전이 및 방출 복잡성이 다양한 6 가지 서로 다른 HMM 계열을 사용하는 통제된 합성 벤치마크 내에서 작동합니다.

벤치마크

이 벤치마크는 잠재 상태, 전이 행렬, 방출 확률이 정확하게 알려진 HMM 의 가시적 방출을 기반으로 학습된 초소형 인과 트랜스포머 (2 레이어, 128 너비, 약 275k 파라미터) 를 훈련합니다. 이 설정은 다음을 제공합니다:

1. 정확한 기준치: 잠재 상태 시퀀스, 베이지안 신조 벡터, 그리고 전이 행렬.
2. 정확한 타겟: 베이지안 최적 다음 토큰 예측 및 강제 상태 반사실적 타겟 (잠재 상태가 특정 값으로 강제되었을 때의 다음 토큰 분포).

MCT 파이프라인

HMM 방출로 훈련된 트랜스포머가 주어지면, MCT 는 다음 단계를 수행합니다:

1. 상태 추출: 상태 추출기 $g$는 활성화 벡터 $a_{\ell,t}$를 이산적 후보 상태 $z_t$로 매핑합니다. 참조 추출기는 잔여 활성화에 대한 K-평균 클러스터링을 사용합니다.
2. 신조 복구: 선형 릿지 프로브가 활성화에서 정확한 베이지안 신조 벡터로 매핑하여 신조 정보가 존재하는지 테스트합니다.
3. 전이 복구: 추출된 상태 시퀀스를 사용하여 전이 행렬을 추정하며, 이를 행별 KL 발산을 사용하여 실제 HMM 전이 행렬과 비교합니다.
4. 마르코프 차수 테스트: 추출된 상태에 0 차, 1 차, 2 차의 경험적 모델을 적합시켜 1 차 마르코프 신호의 강도를 평가합니다.
5. 상태 강제 (개입): 이는 핵심 인과 테스트입니다. 복구된 상태 클러스터의 중심점을 특정 토큰 위치에서 모델에 패칭합니다. 그런 다음 모델의 출력을 정확한 HMM 반사실적 타겟 (잠재 상태를 강제함으로써 resulting 하는 분포) 과 비교합니다. 성능은 패칭된 모델의 출력과 정확한 타겟 간의 KL 발산으로 측정됩니다.

주요 결과

작업 학습

18 회 실행 (6 개 HMM 계열 $\times$ 3 개의 시드) 을 통해 트랜스포머는 예측 작업을 효과적으로 학습하여 베이지안 최적 예측자 대비 평균 초과 손실이 불과 0.0138에 그쳤습니다.

상태 및 전이 복구

• 신조 정보: 선형 프로브는 모든 계열에서 활성화로부터 신조 정보를 복구할 수 있음을 확인했으나, 품질은 HMM 계열에 따라 크게 달라졌습니다.
• 전이 구조: 잔여 및 PCA 기반 상태 추상화는 부분적인 전이 구조를 복구했습니다. 신호는 지속적 (sticky 전이) 및 쉬운 분리 (낮은 방출 엔트로피) 영역에서 가장 강력했습니다.
• 한계: 모호한 방출 및 6 상태 영역에서는 복구가 약했습니다. 정확한 신조 클러스터링은 활성화 유도 클러스터링보다 더 강력한 상한선으로 남아있어, 모델이 이산적 잠재 레이블의 직접적인 복사본이 아닌 연속적인 신조와 유사한 객체를 표현함을 시사합니다.

상태 강제 (인과적 증거)

상태 강제 개입은 인과적 유용성에 대한 가장 명확한 증거를 제공했습니다:

• 성능: 복구된 상태 중심점을 패칭하는 것은 KL 발산을 정확히 반사실적 타겟까지 0.1957(패칭 전) 에서 평균 0.0532로 감소시켰습니다.
• 통제: 이 개선은 잘못된 상태 중심점, 평균 활성화, 무작위 활성화, 섞인 레이블 중심점, 그리고 일부 집계 지표에서는 실제 상태 중심점까지 포함한 통제 그룹보다 현저히 우수했습니다.
• 함의: 복구된 상태 추상화는 인과적으로 의미 있으며, 특정 맥락에서 샘플링된 잠재 레이블보다 모델의 내부 예측 상태에 더 가깝습니다.

기여

1. 통제된 벤치마크: 트랜스포머 해석 가능성 방법을 테스트하기 위한 정확한 잠재 레이블, 베이지안 신조, 전이 행렬, 그리고 반사실적 타겟을 제공하는 통합 프레임워크.
2. 진단 파이프라인 (MCT): 활성화에서 상태 추상화로 매핑하고, 마르코프 차수를 테스트하며, 상태 강제를 통해 인과적 관련성을 검증하는 참조 파이프라인.
3. 경험적 발견: 소형 트랜스포머가 베이지안 예측자에 가까운 것을 학습하며, 그 잔여 활성화가 특히 강한 전이 신호를 가진 영역에서 부분적이고 거친 전이 구조를 포함한다는 증거.

중요성 및 주장

본 논문은 MCT 를 숨겨진 상태를 복구하는 완전한 알고리즘이 아닌, 트랜스포머 상태 역학을 위한 진단 프레임워크로 위치시킵니다. 저자들은 다음과 같이 주장합니다:

• MCT 는 합성 환경에서 부분적인 예측 전이 구조를 성공적으로 탐지합니다.
• 해석 가능성 신호가 강한 곳 (지속적/쉬운 영역) 과 약한 곳 (모호한/고엔트로피 영역) 을 식별합니다.
• 정확한 HMM 반사실적 조건을 사용한 상태 강제 테스트는 추출된 상태 추상화의 인과적 관련성을 평가하는 엄격한 방법을 제공합니다.

이 연구는 범위가 소박하며, 작업이 합성적이고 모델이 초소형이며 참조 추출기가 단순함을 인정합니다. 자연어 추론이 동일한 상태 구조를 갖는다고 주장하는 것이 아니라, 활성화 유도 추상화가 정확한 기준치에 대비하여 거친 예측 역학을 드러낼 수 있는지 테스트하기 위한 기준선을 확립합니다.