기술 요약: 기호적 메커니즘 데이터 귀속 (Symbolic Mechanistic Data Attribution, SMDA)

문제 정의

기존의 데이터 귀속 방법론은 기존에 특성화된 저수준 회로(예: 뉴런, 어텐션 헤드 또는 알려진 SAE 피처)로 학습 예제를 추적하는 데는 효과적이다. 그러나 이러한 방법들은 기저의 회로가 사전에 알려지지 않은 경우, 고수준의 행동 결정이 어떻게 학습 데이터에 의해 형성되는지를 설명하는 데 어려움을 겪는다. 이러한 격차는 유해한 순응(harmful compliance), 아첨(sycophancy), 또는 거절(refusal) 행동과 같이 단일 식별 단위가 아닌 여러 구성 요소의 상호작용에서 발생하는 복잡한 안전 현상을 진단하는 능력을 제한한다. 또한, 표준적인 영향 함수(influence functions)는 블랙박스로 작동하는 반면, 수동적인 회로 분석은 고수준 정책에 적용하기에는 확장성이 부족하다.

방법론: 기호적 메커니즘 데이터 귀속 (SMDA)

저자들은 SMDA를 제안한다. 이는 데이터 귀속의 대상을 미리 지정된 회로 구성 요소가 아니라, 희소 오토인코더(Sparse Autoencoder, SAE) 피처에 대한 **학습된 기호적 정책(learned symbolic policy)**으로 전환하는 프레임워크이다. 이 방법은 다음 단계들을 통해 작동한다:

1. 기호적 정책 구축:

   • 프레임워크는 홀드아웃 평가 세트에 대해 특정 레이어(Llama-3.2-3B-Instruct의 Layer 10)에서 추출된 SAE 피처 활성도를 추출한다.
   • 유해한 프롬프트와 무해한 프롬프트 사이에서 상당한 활성도 차이를 보이는 피처 부분 집합($d=75$)을 선택한다.
   • 이러로써 특정 피처의 기여도를 모델링하기 위해 폐쇄형(closed-form) **릿지 회귀(Ridge regression)**를 적합(fit)시킨다. 출력값은 기호적 정책 가중치 벡터 $W$이며, 각 엔트리는 특정 피처가 거절 결정에 미치는 기여도를 나타낸다.

2. 영향력 계산:

   • 주어진 지도 미세 조정(SFT) 학습 쌍 $z_i$에 대해, SMDA는 단일 그래디언트 단계가 기호적 정책 가중치 $W$에 미치는 효과를 근사한다.
   • 가중치의 변화 $\Delta W_i$는 1차 테일러 전개(first-order Taylor expansion)를 사용하여 두 가지 경로로 분석적으로 분해된다:
     • $\Delta X$ 경로: 그래디언트 업데이트에 의해 발생하는 내부 SAE 피처 활성도의 변화.
     • $\Delta Y$ 경로: 그래디언트 업데이트에 의해 발생하는 모델의 출력 거절 로그 확률(log-probabilities)의 변화.
   • 최종 영향력 점수는 내적 $\langle \Delta W_i, W \rangle$이며, 이는 학습 쌍이 현재의 방향으로 정책을 더 밀어붙이는지(양수) 아니면 반대 방향으로 밀어내는지(음수)를 나타낸다.

3. 실험 설정:

   • 모델: Llama-3.2-3B-Instruct.
   • SAE: Layer 10의 잔차 스트림(residual stream)에 대해 학습된 BatchTopK SAE를 사용하며, 이는 12,288개의 피처를 생성한다.
   • 데이터: 200개의 SFT 학습 쌍(유해한 거절 100개, 무해한 순응 100개)과 다양한 구성(유해-무해, 유해-자연적, 유해-균형)으로 나뉜 11,000개의 평가 세트.

주요 기여

1. 프레임워크 혁신: 저수준의 사전 정의된 단위에서 벗어나, SAE 피처에 대한 학습된 기호적 정책으로 귀속 대상을 전환하는 SMDA를 도입하였다. 이를 통해 기저의 회로 구조를 알 수 없는 환경에서도 귀속이 가능해졌다.
2. 분석적 분해: 학습 효과를 피처 활성화($\Delta X$)와 출력 확률($\Delta Y$) 경로로 분리하는 폐쇄형 영향력 계산법을 도출하여, 학습 데이터가 어떻게 행동을 변화시키는지에 대한 메커니즘적 통찰을 제공한다.
3. 실증적 분석: Llama-3.2-3B-Instruct의 거절 행동에 SMDA를 적용하여, 200개의 SFT 쌍을 분석함으로써 안전 행동의 체계적인 격차와 피처 간 간섭 패턴을 밝혀냈다.

주요 결과

기호적 정책 및 학습 영향력 분석을 통해 세 가지 주요 결과가 도출되었다:

1. 안전 행동의 체계적 격차:

   • 기호적 정책의 계수들을 통해 베이스 모델이 유해한 콘텐츠를 신뢰성 있게 탐지(피처 활성화)하지만, 이를 거절 결정으로 번역하는 데는 실패한다는 것을 확인했다.
   • 종교적 스테레오타입, 보호 대상 그룹의 특징화, 논쟁적 프레이밍과 관련된 피처들은 큰 음수 계수(순응을 예측함)를 가졌다. 이는 모델이 유해성을 표현하고는 있지만, 해당 범주에 대한 대응하는 거절 정책을 학습하지 못했음을 의미한다.

2. 학습 영향력의 질적 차이:

   • $\Delta X / \Delta Y$ 분해 결과, 유해한 학습 쌍과 무해한 학습 쌍이 질적으로 다른 영향을 미친다는 것을 보여주었다.
   • 특정 피처의 경우, 유해한 쌍은 주로 모델의 출력 확률($\Delta Y$)을 변화시켰으나, 무해한 쌍은 두 경로 모두에 영향력을 고르게 분산시켰다. 이는 안전 미세 조정이 균일한 과정이 아님을 시사한다.

3. 교차 피처 간섭 (Cross-Feature Interference):

   • 개별 학습 쌍은 빈번하게 "파괴적 간섭(catastrophic interference)"을 보였는데, 이는 하나의 의미론적 범주(예: 폭력)를 대상으로 하는 쌍이 의미론적으로 무관한 다른 피처(예: 저작권 요청)의 계수를 크게 변화시키는 현상이다.
   • SMDA는 지배적인 효과가 의도하지 않은 피처에 미치는 "미교정된(miscalibrated)" 학습 쌍(예: 성적 콘텐츠에 대한 거절 쌍이 일반적인 정보 요청을 주로 억제하는 경우)을 성공적으로 식별하였으며, 이는 안전 데이터 큐레이션의 잠재적 비효율성을 강조한다.

의의 및 주장

본 논문은 메커니즘적 해석 가능성과 데이터 귀속을 결합함으로써, 블랙박스 형태의 영향 함수보다 더 세밀하고, 수동적인 회로 분석보다 더 확장 가능한 진단 도구를 제공한다고 주장한다.

• 회로에서 정책으로: SMDA는 개별 구성 요소를 이해하는 것과 결정 수준의 행동을 이해하는 것 사이의 간극을 메운다. 이는 기호적 정책 자체를 귀속의 대상으로 취급함으로써, 단순히 어떤 피처가 존재하는지가 아니라 모델이 그 피처들을 어떻게 가중치 있게 다루는지를 드러낸다.
• 진단적 유용성: 이 프레임워크는 의도하지 않은 교차 피처 간섭을 일으키는 학습 쌍을 식별하거나, 모델이 유해성은 감지하지만 거절은 하지 못하는 특정 범주를 밝혀내는 등 안전 공학을 위한 해석 가능한 신호를 제공한다.
• 한계 및 범위: 저자들은 SMDA가 전체 모델이 아닌 기호적 정책(약 64~70%의 테스트 정확도를 가진 75개 피처의 릿지 회귀)에 귀속된다는 점을 언급하며 현재의 범위를 겸허히 제한하였다. 또한, 이 방법이 일관된 영향력 프로필을 가진 학습 쌍을 식별할 수는 있지만, 해당 쌍을 제거했을 때 다운스트림 안전성이 개선되는지를 검증하기 위한 재학습 실험을 통한 인과적 검증은 수행하지 않았음을 명시하였다. 본 연구는 검증된 데이터 큐레이션 도구라기보다는 향후 개입 연구를 위한 필수적인 전제 조건으로서 제시되었다.