기술적 요약: 분포 변화 하에서 충실한 사전 기반 해석을 위한 기하학적 적응형 설명자

문제 제기

기계적 해석은 희소 자동 인코더 (SAE) 및 트랜스코더와 같은 사전 기반 설명자에 의존하여 신경망의 은닉 활성화를 희소하고 해석 가능한 특징 방향으로 분해합니다. 이러한 설명의 핵심 요구 사항은 충실성입니다. 즉, 설명자는 모델이 실제로 수행하는 계산을 정확하게 반영해야 합니다.

그러나 기존 설명자들은 일반적으로 동일 분포 (ID) 데이터로 훈련됩니다. 모델이 이질 분포 (OOD) 입력을 접할 때, 은닉 활성화의 기하학적 구조가 변화합니다. 본 논문은 분포 변화가 모델이 적극적으로 사용하는 OOD 활성 부분공간을 ID 훈련 설명자 부분공간에서 회전시킨다고 규명합니다. 이러한 정렬 불일치를 충실성 격차라고 하며, 이로 인해 ID 훈련된 사전들은 OOD 활성화를 충실하게 재구성하지 못하게 됩니다. 기존 연구는 휴리스틱 재훈련 또는 잔차 모듈을 통해 이를 해결하려 했으나, 근본적인 기하학적 정렬 불일치의 원칙적 진단이나 재훈련 없이 이를 수정하는 방법을 제시하지는 못했습니다.

방법론: 기하학적 적응형 설명자 (GAE)

저자들은 기하학적 적응형 설명자 (GAE) 를 제안합니다. 이는 라벨이 없는 OOD 활성화만을 사용하여 ID 훈련된 설명자를 OOD 활성 부분공간에 재정렬하는 폐형식 (closed-form) 사후 방법입니다. GAE 는 경사 업데이트나 반복적 훈련 없이 작동합니다.

이론적 기반

본 논문은 은닉 활성화의 2 차 모멘트 행렬 $M_e = \mathbb{E}[h(X)h(X)^\top]$을 사용하여 문제를 형식화합니다.

1. 충실성 격차 ($\Delta$): 설명자의 부분공간 ($\Pi_{dec}$) 과 OOD 활성 부분공간 ($\Pi_{OOD}$) 사이의 프로베니우스 거리로 정의됩니다.
2. 기하학적 메커니즘: 저자들은 (명제 1) ID 훈련된 설명자의 충실성 격차가 2 차 모멘트 변화의 크기 ($\|M_{OOD} - M_{ID}\|_F$) 에 의해 상한이 결정됨을 증명합니다.
3. 열화 제어: 또한 (명제 2) OOD 충실성 손실의 설명자 의존적 구성 요소는 충실성 격차의 제곱에 의해 엄격하게 제어됨을 증명합니다. 따라서 격차를 줄이는 것은 OOD 충실성을 개선하기 위해 필요충분 조건입니다.

알고리즘

GAE 는 두 단계로 사전에 적응합니다:

1. 1 단계: 부분공간 회전 (직교 프로크루스테스):
   ID 훈련된 사전 $W_{dec}^{ID}$를 회전시켜 그 열공간을 OOD 2 차 모멘트 행렬의 상위-$r$개 고유벡터에서 유도된 추정 OOD 활성 부분공간 $\hat{\Pi}_{OOD}$에 정렬합니다. 회전 행렬 $T^\star$는 원래 사전과의 거리를 최소화하도록 선택되어 가능한 한 원래 특징 구조를 보존합니다. 이 단계는 구성상 충실성 격차 ($\Delta = 0$) 를 제거합니다.
2. 2 단계: 제약된 디코더 재적합:
   1 단계는 부분공간을 정렬하지만 샘플 수준의 재구성을 최적화하지는 않습니다. 2 단계는 폐형식 제약 리지 회귀를 통해 디코더 가중치를 재적합합니다. 이 단계는 OOD 활성화에서의 재구성 오차를 최소화하면서 1 단계에서 회전된 사전으로부터의 편차를 패널티로 부과하고, 디코더가 OOD 활성 부분공간 내에 유지되도록 보장합니다.

전체 파이프라인은 분석적이어서 역전파가 필요하지 않습니다.

주요 기여

1. 기하학적 진단: 본 논문은 사전 기반 설명자에서 OOD 충실성 열화를 유발하는 기하학적 메커니즘으로 충실성 격차를 규명합니다. 이 격차가 2 차 모멘트 변화와 함께 증가하며 OOD 충실성 손실의 감소 가능 부분을 직접 통제한다는 이론적 경계를 제공합니다.
2. GAE 알고리즘: 설명자의 사전과 OOD 활성 부분공간을 재정렬하는 훈련 없는 폐형식 방법입니다. 이는 적응된 설명자가 적응되지 않은 ID 설명자보다 엄격하게 우월함을 보장하는 이론적 보장 (정리 1) 을 제공하며, 개선 정도는 초기 정렬 불일치의 제곱에 비례하여 증가합니다.
3. 경험적 우위: GAE 는 여러 모델과 OOD 설정에서 인과적 충실성 측면에서 훈련 기반 베이스라인 (처음부터의 완전 재훈련 및 미세 조정 포함) 과 맞먹거나 능가하며, 경사 계산이 전혀 필요하지 않고 약 2,000 개의 라벨 없는 OOD 샘플만 사용합니다.

실험 결과

저자들은 Transcoders 와 Top-K SAE 를 사용하여 GPT-2 Small과 Pythia-1.4B에서 GAE 를 평가했습니다. 평가는 세 가지 유형의 분포 변화를 다루었습니다:

• 시간적: 모델 사전 훈련 컷오프 이후에 수집된 웹 텍스트 (FineWeb).
• 도메인: 전문 어휘를 가진 금융 공시 문서 (Edgar).
• 적대적: 환각을 유발하는 프롬프트 (HaluEval).

성능 지표:

• 인과적 충실성: 정규화된 AOPC (nAOPC) 와 정규화된 포괄성 (nComp) 으로 측정.
• 재구성 품질: 델타 교차 엔트로피 ($|\Delta CE|$) 로 측정.

주요 발견:

• GAE 대 훈련 기반 베이스라인: GAE 는 대부분의 설정에서 Retrain(OOD 데이터에서 처음부터 훈련) 및 Finetune(웜스타트 미세 조정) 과 같은 방법들을 능가했습니다. 예를 들어, 적대적 변화 하의 GPT-2 트랜스코더에서 GAE 는 가장 강력한 베이스라인 (SAEBoost) 대비 nComp 를 4.6% 향상시키고 재구성 오차 ($|\Delta CE|$) 를 93% 감소시켰습니다.
• 효율성: 훈련 기반 베이스라인이 수백만 개의 토큰을 처리하고 수 시간의 GPU 시간이 필요했던 반면, GAE 는 2,048 개의 샘플에 대한 단일 순전파를 사용하여 3 초 미만(GPT-2 의 경우 0.5 초, Pythia-1.4B 의 경우 2.9 초) 에 적응을 완료했습니다.
• 메커니즘 검증: 제거 실험은 1 단계 (부분공간 회전) 가 성공적으로 충실성 격차를 닫았음을 확인했으며, 2 단계는 기하학적 정렬을 희생하지 않으면서 인과적 일관성 (특징 귀속) 을 복원하는 데 필요함을 입증했습니다.
• 사례 연구: 회로 귀속 작업 (예: "American" 또는 "Henry" 예측) 에서 GAE 는 디코더의 방향성을 수정하여 식별된 특징이 모델을 올바른 의미 클래스로 밀어내도록 보장한 반면, 고정된 ID 설명자는 종종 목표 클래스에서 멀어지는 방향을 가리켰습니다.

중요성 및 주장

본 논문은 GAE 가 기계적 해석에서 OOD 충실성 문제에 대한 원칙적이고 효율적이며 이론적으로 근거된 해결책을 제공한다고 주장합니다. 저자들은 이 문제를 데이터 커버리지 문제가 아닌 기하학적 정렬 불일치로 프레임함으로써, 재훈련의 계산 비용 없이도 충실한 설명을 복원할 수 있음을 입증합니다.

저자들은 GAE 가 배포 분포가 역동적으로 변화하고 재훈련이 불가능한 실시간 적응 시나리오에서 특히 중요하다고 언급합니다. 그들은 방법이 상위-$r$개 SVD 잘라내기에 의존한다는 점 (잔여 특징 정보 제거) 과 대규모 모델에서는 아직 평가되지 않았다는 점을 겸손하게 인정합니다. 그러나 결과는 기하학적 재정렬이 해석 가능성의 견고성을 유지하기 위한 강력하고 미활용된 레버임을 시사합니다.