기술 요약: LLM의 슈퍼 웨이트(Super Weights)와 선택적 학습의 실패

문제 제기

최근 연구(Yu et al., 2025)는 특정 스칼라 파라미터를 제거했을 때 성능이 수 차례 급격히 저하되는 대규모 언어 모델(LLM) 내의 개별 파라미터인 "슈퍼 웨이트(Super Weights)"를 식별했다. 이 발견은 다음과 같은 가설을 제시했다: 만약 특정 파라미터가 이토록 결정적이라면, 이러한 "중요한" 파라미터만을 의도적으로 타겟팅하여 업데이트하는 미세 조정(fine-tuning) 전략이 무작위적이거나 분산된 파라미터 서브셋을 업데이트하는 방식보다 훨씬 효과적일 것이며, 잠재적으로 더 높은 성능을 보일 것이라는 가설이다.

본 논문은 이 가설에 이의를 제기한다. 본 연구는 파라미터의 중요성(제거 시 발생하는 치명적 실패로 정의됨)이 고립된 상태에서의 파라미터 학습 가능성을 의미하는지 조사한다. 저자들은 슈퍼 웨이트만을, 혹은 그들의 즉각적인 로컬 이웃(local neighborhood)만을 학습시키는 것이 성공적인 모델 적응을 이끌어낼 수 있는지, 아니면 이러한 희소하고 좌표 특이적인 학습이 치명적인 실패로 이어지는지를 테스트한다.

방법론

저자들은 OLMo-1B 및 OLMo-7B를 대상으로 포괄적인 실험 세트를 수행하였으며, 10가지 다른 모델 패밀리(Llama, Phi, Mistral, Gemma 변체 포함)에 걸쳐 가지치기(pruning) 재현 실험을 진행했다.

1. 슈퍼 웨이트 일관성 검증

이전 연구는 단일 순전파(forward pass)를 통해 슈퍼 웨이트를 식별했다. 저자들은 이러한 웨이트들이 입력 특이적인 아티팩트가 아니라 모델의 구조적 속성임을 검증하기 위해 1,000개의 무작위 WikiText-2 샘플을 실행했다. 그 결과, 9개의 특정 웨이트 위치가 100%의 입력에 대해 일관되게 가장 큰 활성화 스파이크를 생성함을 발견했으며, 이를 통해 구조적 안정성을 확인했다.

2. 가지치기 재현

저자들은 여러 아키텍처에서 Yu et al. (2025)의 가지치기 실험을 재현했다. 식별된 슈퍼 웨이트 좌표를 0으로 설정(zero out)하고 퍼플렉시티(perplexity) 및 정확도(ARC-Easy, Winogrande)에 미치는 영향을 측정했다. 또한, 단순 크기 기반 랭킹(magnitude-based ranking)이 원본 논문에서 다루지 않은 모델에서도 슈퍼 웨이트를 식별할 수 있는지 테스트했다.

3. 선택적 학습 실험

핵심 연구는 나머지 파라미터를 동결(freeze)한 상태에서 격리된 파라미터 서브셋을 학습시키는 것을 포함했다:

• 직접 슈퍼 웨이트 학습 (Direct Super Weight Training): 상위-$k$개의 슈퍼 웨이트만을 학습 ($k \in \{100, 1000, 4096, 8192\}$).
• 이웃 학습 (Neighborhood Training): 슈퍼 웨이트와 반경 1 이내의 모든 파라미터(3x3 패치 형성)를 함께 학습하며, 학습 파라미터 수를 약 36,864개까지 증가시킴.
• 무작위 대조군 (Random Control): 희소성 대 좌표 선택의 효과를 격리하기 위해, 슈퍼 웨이트 좌표를 제외하고 동일한 레이어의 동일한 수의 무작위 선택된 위치를 학습함.
• LoRA 변체:
  • Vanilla LoRA: 어텐션 레이어에 대한 표준 저계수 적응(low-rank adaptation).
  • LoRA-dproj-SW-freeze: 다운 프로젝션(MLP) 레이어의 슈퍼 웨이트 좌표에 해당하는 인덱스를 가진 어텐션 위치에서의 LoRA 업데이트를 제한함.
  • LoRA-$\Delta W$-SW-freeze: LoRA 업데이트 행렬($\Delta W$) 자체 내에서 크기가 가장 큰 상위 1,000개 위치를 동결함.

4. 이론적 분석

저자들은 다음 사항에 대한 이론적 근거를 제공했다:

• 고유 차원 (Intrinsic Dimensionality): 희소한 좌표 정렬 업데이트는 저계수 분해(low-rank decomposition)와 비교했을 때 미세 조정 서브스페이스의 극히 적은 부분($k/N$)만을 포착한다.
• 옵티마이저 역학 (Optimizer Dynamics): 적응형 옵티마이저는 이러한 아웃라이어 위치에서의 곡률(Hessian)이 $M^2$배 더 크기 때문에, 슈퍼 웨이트 위치에서의 업데이트를 암묵적으로 억제한다 (여기서 $M$은 활성화 증폭 비율이다).

주요 결과

1. 격리된 슈퍼 웨이트 학습의 실패

슈퍼 웨이트를 격리하여 학습시킨 결과, 성능이 완전히 붕괴되어 OLMo-1B와 OLMo-7B 모두에서 정확도가 무작위 추측 수준(4지 선다형 ARC-Easy의 경우 ~25%, 2지 선다형 Winogrande의 경우 ~50%)으로 떨어졌다.

• 학습 파라미터 수를 100개에서 8,192개로 늘려도 개선되지 않았다.
• 로컬 이웃으로 확장(최대 36,864개 파라미터)해도 성능 회복에 실패했다.
• 최적화 과정 중 학습 손실(training loss)은 감소했으나, 검증 퍼플렉시티(validation perplexity)가 폭발적으로 증가하여, 일반화 없이 학습 데이터에 과적합되었음을 나타냈다.

2. 실패의 특이성

이 실패는 희소성이나 모듈 유형의 문제가 아니라 슈퍼 웨이트 좌표에 특이적인 현상이다:

• 무작위 대조군: 동일한 다운 프로젝션 레이어에서 무작위로 선택된 동일한 수의 위치를 학습했을 때는 베이스라인보다 정확도가 향상되었다 (OLMo-1B의 경우 60.65% 대비 64.18%).
• 저계수 대조군: 다운 프로젝션 레이어에 랭크-8 저계수 업데이트를 적용했을 때도 성공적이었다 (68.77%).
• 결론: 붕괴는 모델이 의존하는 관계적 구조를 깨뜨리는 특정 슈퍼 웨이트 좌표를 타겟팅했기 때문에 발생했다.

3. LoRA의 견고성

• Vanilla LoRA는 파라미터의 0.16%만을 사용하여 성공적으로 수행되었으며, 각각 66.88%(OLMo-1B)와 77.3%(OLMo-7B)의 정확도를 달성했다.
• 위치적 제한: 슈퍼 웨이트 좌표에 대응하는 어텐션 업데이트 위치를 동결한 경우(LoRA-dproj-SW-freeze), 성능에 측정 가능한 영향이 없었다. 10회의 시드(seed)를 이용한 절제 실험 결과, Vanilla LoRA와 제한된 변체 사이에 통계적으로 구별 불가능한 결과($p > 0.05$)를 보였다.
• LoRA-내부 임계성: LoRA 업데이트 행렬($\Delta W$) 내의 가장 큰 크기를 가진 위치를 동결하는 것 역시 아무런 효과가 없었으며, 이는 베이스 모델의 슈퍼 웨이트를 동결했을 때의 치명적 실패와 대조적이다.

4. 가지치기 일반화

슈퍼 웨이트를 가지치기했을 때 OLMo, Phi-3, Mistral, Llama-3-8B에서 치명적인 저하가 발생했지만, 단순 크기 기반 식별은 다른 모델(예: Llama-3.1, Qwen2.5, Gemma-2)에서 임계 웨이트를 식별하는 데 실패했다. 이는 슈퍼 웨이트가 단순히 크기에 의해 보편적으로 정의되는 것이 아니라, 모델 패밀리마다 특이적인 활성화 아웃라이어임을 시사한다.

의의 및 주장

본 논문은 파라미터의 중요성이 고립된 상태에서의 학습 가능성을 의미하지 않는다는 점을 확립했다. 저자들은 다음과 같이 주장한다:

1. 구조적 vs 학습 가능성: 슈퍼 웨이트는 고정된 고이득 증폭기(high-gain amplifier) 역할을 한다. 이들을 단독으로 수정하는 것은 네트워크의 협응된 구조를 깨뜨린다. 효과적인 미세 조정은 웨이트 자체를 수정하기보다 (LoRA를 통해) 이 웨이트들로 흘러 들어오는 *표현(representations)*을 업데이트하는 것을 필요로 한다.
2. 희소성보다 협응: PEFT의 성공은 개별적으로 중요한 웨이트를 타겟팅하는 것이 아니라, 전체 레이어에 걸친 구조적 분해(LoRA의 저계수 구조와 같은)에 달려 있다. LoRA가 성공하는 이유는 저계수 인자가 레이어 전체에 걸쳐 업데이트를 협응시켜 관계적 구조를 보존하는 반면, 희소 학습은 파라미터를 고립시켜 이러한 의존성을 파괴하기 때문이다.
3. 옵티마이저 역학: 이론적 분석에 따르면, 적응형 옵티마이저는 높은 곡률로 인해 슈퍼 웨이트를 업데이트로부터 암묵적으로 보호한다. 명시적으로 이 위치들을 학습하는 것은 이러한 보호 기제를 무력화하여 불안정성과 붕괴를 초래한다.

저자들은 향가적인 PEFT 방법론이 "임계" 개별 파라미터를 식별하고 업데이트하려 하기보다는, 구조적이고 레이어 전반에 걸친 분해를 통해 효율성을 도출해야 한다고 결론짓는다.