기술 요약: 비음수 예시별 피셔 인자 분해(Non-Negative Per-Example Fisher Factorization)를 통한 언어 모델 처리 전략의 규명

문제 정의

언어 모델의 행동을 구성하는 휴리스틱과 알고리즘을 이해하는 것은 안전하고 신뢰할 수 있는 배포를 위해 매우 중요합니다. 트랜스포머 회로(Transformer circuits)에 대한 기존 연구는 특정하고 미리 지정된 행동(예: 간접 목적어 식별)에 대해 해석 가능한 계산 그래프를 성공적으로 식별해 왔으나, 이러한 접근 방식은 연구자가 관심 있는 행동을 사전에 정의해야 하므로 편향을 초래하고 직관적이지 않은 모델 전략을 누락할 위험이 있습니다.

그래디언트 클러스터링(gradient clustering)과 같은 최근의 비지도 학습 방법은 손실(loss)에 대한 모델 파라미터의 그래디언트를 기준으로 예시들을 그룹화하여 모델의 행동을 발견하려고 시러합니다. 그러나 이러한 방법들은 두 가지 주요 한계점을 가집니다:

1. 단일 유전자 가정(Monogenic Assumption): 이들은 각 예시에 대해 단일 내부 모듈이 행동을 주도한다는 가정하에 작동합니다. 그러나 실제 모델의 행동은 종종 "다중 유전자(polygenic)"적입니다. 즉, 여러 요인이 동시에 영향을 미치는 경우가 많습니다(예: 여러 가능한 연속성을 포함하는 모호한 문맥). 그래디언트 클러스터링은 단일 요인 할당을 강제하므로 이러한 복잡성을 포착하지 못합니다.
2. 그래디언트의 제한된 범위: 단일 로그 확률(또는 손실)의 그래디언트는 모델의 예측 분포 중 매우 좁은 부분만을 포착합니다. 이는 특정 클래스를 예측하는 방향으로 편향되어 있어, 특히 고엔트로피 또는 다중 클래스 시나리오에서 다양한 클래스 전반에 영향을 미치는 요인을 포착하기에는 부적합합니다.

방법론: NPEFF

저자들은 사전 지정 없이 다중 유전적 행동 요인을 발견하도록 설계된 해석 가능성 방법인 **NPEFF (Non-Negative Per-Example Fisher Factorization)**를 소개합니다.

1. 예시별 피셔(Per-Example Fisher, PEF) 행렬

NPEFF는 손실 그래디언트 대신 예시별 피셔(PEF) 행렬 $F(x)$를 사용합니다:
$$F(x) = \mathbb{E}_{y \sim p_\theta(y|x)} [\nabla_\theta \log p_\theta(y|x) \nabla_\theta \log p_\theta(y|x)^T]$$
PEF는 양의 준정부호(positive semi-definite, PSD) 행렬로, 파라미터 섭동(perturbation)과 모델의 전체 예측 분포 변화 사이의 관계를 나타냅니다. 단일 결과에 집중하는 그래디언트와 달리, PEF는 모든 잠재적 예측에 걸친 민감도를 포착하므로 여러 요인이 분포에 영향을 미치는 다중 유전적 행동을 분석하는 데 적합합니다.

2. 무작위 투영을 통한 효율적 계산

PEF 행렬은 현대적 모델의 크기(수경 개의 항목)로 인해 계산이 불가능합니다. 이를 해결하기 위해 저자들은 무작위 투영(Achlioptas, 2003)을 사용하여 PEF를 근사합니다. 이들은 저계수 행렬 표현(LRM-PEF)을 구축하고 차원을 축소하기 위해 무작위 투영을 적용합니다. 결정적으로, 저자들은 이러한 투로가 압축 센싱(compressed sensing, Donoho, 2006) 기술을 사용하여 희소 파라미터 공간 벡터를 복구할 수 있음을 입증하였으며, 이를 통해 특정 행동 요인에 대응하는 구체적인 모델 방향을 식별할 수 있게 합니다.

3. 비음수 분해(Non-Negative Decomposition)

NPEFF의 핵심은 PEF 집합을 rank-1 PSD 행렬들의 비음수 결합으로 근사하는 분해 알고리즘입니다:
$$\min \sum_{i=1}^m \| G_i^T G_i - \sum_{j=1}^C W_{ij} h_j h_j^T \|_F^2 \quad \text{subject to} \quad W_{ij} \geq 0$$
여기서 $h_j h_j^T$는 성분 $j$의 "의사 피셔(pseudo-Fisher)"를 나타내며, $W_{ij}$는 비음수 계수입니다. 이 공식화는 각 예시가 여러 요인의 가중 결합으로 설명될 수 있도록 하여 다중 유전성을 직접 모델링합니다. 알고리즘은 계수를 업데이트하는 과정(NMF와 유사한 곱셈 업데이트 사용)과 의사 피셔 벡터를 업데이트하는 과정(경사 하강법 사용)을 교대로 수행합니다.

4. G-NPEFF 변형

계산 비용을 줄이기 위해 저자들은 예측된 클래스/토큰의 로그 확률 그래디니언트로 구성된 rank-1 행렬에 동일한 분해 알고리즘을 적용하는 G-NPEFF를 제안합니다. G-NPEFF는 비용은 저렴하지만, 클래스 수가 증가함에 따라 지배적인 예측 클래스에 편향되기 때문에 다중 유전적 요인을 포착하는 데 덜 효과적인 것으로 나타났습니다.

주요 기여 및 결과

1. 해석 가능한 다중 유전적 요인의 발견

SST2(감성 분석), Yahoo Answers Topics(주제 식별), CLINC150(의도 분류)과 같은 작업에 대한 인간 및 LLM 평가를 통해, 저자들은 NPEFF 성분이 해석 가능한 테마(예: "급격한 체중 감소에 대한 질문" 또는 "배우에 대한 긍정적 묘사")와 일치함을 입증했습니다.

• 다중 유전성(Polygenicity): 거의 독점적으로 "단일 유전자(monogenic)" 행동만을 복구하는 그래디언트 클러스터링과 달리, NPEFF는 상당한 비율의 다중 유전적 요인을 성공적으로 복구했습니다. 이는 상위 예측뿐만 아니라 분포 전체에 영향을 미치는 요인을 포착하는 것을 나타내는 LnP-tuned(ground-truth 라벨에는 튜닝되었으나 모델의 특정 예측에는 튜닝되지 않은) 성분의 높은 비율을 통해 입증되었습니다.
• 비교: NPEFF는 그래디언트/활성화 값에 대한 SVD 및 그래디언트 클러스터링을 포함한 베이스라인보다 이러한 미묘한 다중 요인 행동을 식별하는 데 있어 더 우수한 성능을 보였습니다.

2. 파라미터 섭동을 통한 인과적 검증

저자들은 압축 센싱을 사용하여 투영된 의사 피셔로부터 파라미터 공간 벡터를 재구성함으로써 NPEFF 성분의 인과적 중요성을 검증했습니다. 이 방향을 따라 섭동을 적용했을 때 다음과 같은 현상이 관찰되었습니다:

• 섭동은 해당 성분의 계수가 높은 예시들에 대한 모델의 예측을 크게 방해합니다.
• 이러한 방해는 선택적이며, 무작위 예시보다 대상 예시에 훨씬 더 큰 영향을 미칩니다.
• 이는 NPEFF가 찾아낸 방향이 특정 행동 요인의 처리에 인과적으로 연결되어 있음을 확인시켜 줍니다.

3. 인컨텍스트 러닝(ICL) 분석

저자들은 ICL을 분석하기 위해 NPEFF를 적용했습니다. 제로샷(zero-shot) NPEFF 튜닝을 기반으로 선형 분류기를 구축한 결과, 이 분류기는 6-샷(6-shot) ICL과 유사한 정확도를 달ency하며 매우 유사한 예측을 수행했습니다.

• 발견: 이는 ICL을 통한 성능 향상의 상당 부분이 모델이 컨텍스트로부터 완전히 새로운 행동을 배우는 것이 아니라, 기존의 제로샷 행동 요인들을 과업 형식에 맞게 재가중(re-weighting)하는 데서 온다는 것을 시사합니다.

4. 효율성 및 확장성

• G-NPEFF: 논문은 클래스 수가 적은 작업의 경우 G-NPEFF가 전체 NPEFF와 유사한 성능을 보임을 보여주며, 비용 효율적인 대안을 제시합니다.
• 절제 실험(Ablations): 무작위 투영 크기와 성분 수에 대한 절제 실험은 이 방법이 견고함을 보여줍니다. 공격적인 차원 축소에도 불구하고, 분해 과정은 모델 행동에 대한 중요한 정보를 유지합니다.

의의 및 주장

본 논문은 NPEFF가 다중 유전적 모델 행동의 요인을 밝혀내는 새롭고 적합한 방법이며, 그래디언트 기반 클러스터링 방법이 가진 결정적인 공백을 메운다고 주장합니다.

• 방법론적 참신함: 의사 피셔 행렬과 rank-1 PSD 행렬에 대한 비음수 분해를 활용함으로써, NPEFF는 언어 모델 처리의 다중 요인적 특성을 존중하는 프레임워크를 제공합니다.
• 인과적 해석 가능성: 성분을 파라미터 공간의 방향으로 매핑하고 이를 선택적으로 방해할 수 있는 능력은, 이 성분들이 실제 모델의 처리 전략을 나타낸다는 강력한 인과적 증거를 제공합니다.
• 실용적 유용성: 이 방법은 복잡한 행동(ICL과 같은)을 구성 요소 요인으로 해체할 수 있게 하여, 더 정밀한 모델 수정 및 안전 개입을 향한 경로를 제시합니다.

저자들은 NPEFF가 특정 행동에 중요한 파라미터 공간의 방향을 식별할 뿐, 이 방향에 대응하는 명시적인 알고리즘이나 계산 회로를 구축하는 것은 향후 트랜스포머 회로 연구의 영역임을 언급하며 연구 범위를 겸손하게 제한했습니다. 또한, 섭동 코드가 방해를 허용하긴 하지만, 대규모로 정교한 모델 행동 수정을 수행하는 것은 맥락에 적절한 드문 행동을 의도치 않게 제거할 위험이 있다는 점을 경고했습니다.