기술 요약: LLM의 특징 특이적 오차 수정(Feature-Specific Error Correction)에 대한 증거

문제 정의

대규모 언어 모델(LLM)의 내부 표현은 여전히 이해가 부족한 상태로 남아 있다. 지배적인 가설 중 하나는 LLM이 모델의 차원보다 더 많은 특징(feature)을 표현하기 위해 **중첩(superposition)**을 활용하며, 잠재적으로 **중첩 내 연산(computation in superposition, CiS)**을 수행한다는 것이다. 이론적 연구(Hänni et al., 2024)에 따르면, CiS가 기능하기 위해서는 네트워크가 일반적인 방향보다 특정 "특징 방향(feature directions)"을 우선시하는 **오차 수정(error correction)**을 구현하여 간섭 노이즈를 억제해야 한다고 예측한다. 그러나 이러한 예측은 경험적 검증이 부족한 상태이다. 정답(ground-truth) 특징 방향이 없으면, 모델이 특정 방향을 특권화(privileged)하여 취급하는지 테스트하기 어렵다. 본 논문은 LLM이 특징 특이적 오차 수정(Feature-Specific Error Correction, FSEC)—즉, 비특징 방향에 대한 섭동(perturbation)에는 덜 민감하고 특징 방향에는 더 민감하게 반응하는 성질—을 보이는지 결정하기 위한 경험적 테스트를 제안한다.

방법론

저자들은 활성화 고원(activation plateaus, 작은 섭동이 하위 응답에 미미한 영향을 주는 영역)의 기하학적 구조를 측정하기 위한 섭동 기반의 경험적 테스트를 제안한다.

1. 섭동 설정:

   • 초기 레이어($\ell=2$)의 잔차 스트림(residual-stream) 활성화를 타겟 방향 $d$를 향해 벡터를 회전시켜 섭동을 가한다(노름 일치 섭동, norm-matched perturbation). 이때 벡터의 노름(norm)은 유지된다.
   • 하위 응답은 섭동된 잔차 스트림과 섭동되지 않은 잔차 스트림 사이의 $L_2$ 거리로 측정된다.
   • **고원 파괴 각도(plateau-breaking angle, $\alpha$)**는 특정 응답 임계값을 초과하는 데 필요한 최소 섭동 각도로 정의된다.

2. 방향 유형:

   • 후보 특징 방향: 대조적 프롬프트(예: 성별, 감성, 언어), MELBO(하위 응서 최적화를 위한 비지도 학습), 그리고 SAE(Sparse Autoencoder) 디코더 컬럼을 통해 구축된다.
   • 베이스라인 방향: 무작위 등방성(isotropic) 방향, PCA 방향, 그리고 무작위 차이(unpaired activations의 차이) 방향이다.

3. 슈퍼엘립스(Superellipse) 테스트:

   • 두 방향($d_1, d_2$)의 혼합물에 따라 활성화를 섭동시키며 혼합 각도 $\phi$를 변화시킨다.
   • 두 방향에 대한 투영(projection)의 함수로서 고원 파괴 각도 $\alpha(\phi)$를 모델링한다.
   • 응답은 다음과 같은 분해의 $L_p$-노름으로 모델링된다: $R(v) = F(\sum w_i |\hat{f}_i^\top v|^p)$.
   • 이론적 예측:
     • 만약 모델이 섭동의 크기에만 반응한다면(등방성), 경계는 타원($p=2$)이 된다.
     • 만약 모델이 개별 특징 방향을 우선시한다면(FSEC), 경계가 바깥쪽으로 부풀어 올라 $p > 2$인 슈퍼엘립스를 형성한다. 이는 혼합된 방향의 간섭을 억제하기 위해, 혼합된 특징의 경우 순수 특징 방향보다 더 큰 섭동이 필요함을 의미한다.

주요 기여

1. FSEC를 테스트로 제적: 저자들은 $L_p$-노름 분해의 지수 $p$를 통해 LLM의 섭동 응답을 모델링함으로써, 중첩 내 연산을 위한 테스트로서 FSEC를 공식화하였다.
2. 경험적 증거 제공: 후보 특징 방향이 그 혼합물보다 우선시된다는 첫 번째 경험적 증거를 제시하였다.
3. 교차 모델 재현: 여섯 가지 다양한 LLM(Gemma-2-9B, Qwen3-1.7B, Llama-3.1-8B, Mistral-7B-v0.3, Aya-Expanse-8B, Yi-1.5-9B)에서 결과가 재현되었다.
4. 토이 모델 검증: 알려진 정답 특징을 가진 토이 디노이징 네트워크(denoising network)를 통해 방법론을 검증하였으며, 방향이 특징으로부터 회전함에 따라 $p > 2$가 회복됨을 확인하였다.

결과

• 대조적 방향: 318개의 대조적 방향 쌍(부, 성별, 언어 등의 개념 포함)에 대해, 적합된 슈퍼엘립스 지수는 일관되게 $p > 2$를 나타냈다(평균 $p \approx 2.42$, 중앙값 $2.30$).
• MELBO 및 SAE 방향: 이러한 후보 특징 방향들 또한 $p > 2$를 나타냈으나(MELBO 평균 $2.21$, SAE 평균 $2.28$), 대조적 방향보다는 약간 낮았다.
• 베이스라인: PCA, 무작위, 무작위 차이 방향은 모두 $p \approx 2$ 근처에 군집을 이루었으며(평균 $2.03 \sim 2.05$), 이는 이들이 특권을 부여받지 못했음을 나타낸다.
• 회전 분석: 대조적 방향을 무작위 직교 방향으로 회전시킬 때, 지수 $p$는 $\approx 2.4$에서 $\approx 2.0$까지 단조 감소하였다. 이는 $p$가 특징 방향과의 정렬도를 추적함을 보여준다.
• 강건성: 섭동 레이어, 측정 레이어, 응답 메트릭(코사인 거리, KL-divergence), 토큰 위치를 포함한 다양한 절제 실험(ablation)에서도 결과가 유지되었다.

의의 및 주장

본 논문은 LLM이 특징 특이적 오차 수정을 구현한다는 가설을 뒷받침하는 첫 번째 경험적 증거를 제공한다고 주장한다.

• $p > 2$의 해석: 저자들은 $p=2$(이차 형식)로는 모델의 차원이라는 제한된 자유도 내에서 다수의 특징 방향을 선택적으로 우선시할 수 없다고 주장한다. 반면, $p > 2$는 네트워크가 특정 특징 방향에는 매우 민감하면서도 그 혼합물으로부터 발생하는 간섭은 억제할 수 있게 한다.
• 하한선: 저자들은 측정된 LLM의 $p \approx 2.3$이 **하한선(lower bound)**일 가능성이 높다고 조심스럽게 언급한다. 후보 방향들(대조적, MELBO, SAE)이 실제 정답 특징의 불완전한 근사치이기 때문에, 정렬 불일치가 방향적 민감도를 희석시켜 $p$를 2에 가깝게 편향시키기 때문이다. 토이 모델 실험은 이를 뒷받침하며, 정렬 불일치가 발생함에 따라 $p$가 정답 범위($3\text{--}3.4$)에서 관찰된 LLM 범위로 감소함을 보여준다.
• 한계점: 논문은 $p > 2$가 FSEC를 위한 필요조건이지만, 특정 방향이 특징임을 증명하기 위한 충분조건은 아니라고 명시한다(예비 실험에서 $p$를 최대화하는 것만으로는 특징을 완전히 복구할 수 없음이 나타남). 또한, 활성화 고원의 존재가 오차 수정을 반드시 입증하는 것은 아니며, 다른 강건성 메커니즘에서 기인할 수도 있다. 그러나 방향에 대한 차별적 처리($p > 2$인 특징 vs $p \approx 2$인 베이스라인)는 우선적 처리에 대한 강력한 관찰 결과로 남는다.

결론적으로, 본 논문은 특징 방향과 비특징 방향을 구분하는 정량적 지표($p$)를 확립함으로써, LLM의 중첩 및 오차 수정에 관한 이론적 프레임워크에 대한 강력한 경험적 지지를 제공한다.