Identifying and Evaluating Inactive Heads in Pretrained LLMs

이 논문은 12 가지 점수 함수를 평가하여 사전 훈련된 LLM 의 평균 12% 이상인 어텐션 헤드가 비활성 상태임을 규명하고, 이를 제거해도 모델 성능이 유지되며 기존 어텐션 가중치 기반 방법보다 더 많은 비활성 헤드를 식별할 수 있음을 보여줍니다.

핵심

🧠 거대한 뇌 속의 '잠자는 직원' 찾기: LLM 의 비활성 헤드를 찾아내는 연구

이 논문은 최근 가장 핫한 인공지능인 **대형 언어 모델 **(LLM)이 어떻게 작동하는지, 그리고 그 안에서 어떤 부분이 실제로 쓸모없게 '잠자고' 있는지를 찾아내는 방법에 대해 이야기합니다.

마치 거대한 회사에 수천 명의 직원이 있지만, 실제로 중요한 일을 하는 사람은 일부뿐일 수 있다는 생각에서 출발합니다.

---

1. 문제: 거대한 뇌 속의 '잠자는 직원'들

LLM 은 '어텐션 (Attention)'이라는 메커니즘을 통해 문장의 중요한 단어를 찾아냅니다. 마치 독자가 책을 읽을 때 핵심 단어를 눈으로 쫓는 것과 비슷하죠. 이 어텐션은 여러 개의 '헤드 (Head, 작은 뇌)'로 나뉘어 동시에 작동합니다.

하지만 연구자들은 이상한 현상을 발견했습니다. 어떤 헤드들은 문장의 첫 번째 단어에만 집중하거나, 아무 의미도 없는 단어에만 집중하는 경향이 있다는 것입니다. 마치 회의 중인데, 발표자가 무슨 말을 하든 상관없이 "첫 번째 사람"만 바라보거나, 아예 눈을 감고 있는 직원들처럼요.

이런 헤드들은 계산 자원을 낭비하면서도 실제 지능에는 기여하지 않는 '비활성 (Inactive)' 상태일 가능성이 높습니다.

2. 기존 방법의 한계: "눈만 감고 있는가?"

기존 연구들은 "어떤 헤드가 첫 번째 단어에만 집중하는가?"를 기준으로 비활성 헤드를 찾아냈습니다.

• 비유: "회의 중 첫 번째 사람만 쳐다보는 직원은 일하지 않는 거야!"라고 판단한 것입니다.

하지만 이 논문은 **"그건 너무 단순한 판단이야!"**라고 말합니다.

• 새로운 관점: 직원이 첫 번째 사람을 보지 않더라도, **손에 든 자료 **(값 벡터)이거나, **결과물 **(헤드 출력)라면, 그 직원은 여전히 일하지 않는 것입니다.
• 즉, 단순히 '눈 (어텐션)'만 보고 판단하면, 실제로는 '손 (값)'이나 '입 (출력)'이 없는 비활성 직원을 놓치게 됩니다.

3. 해결책: 12 가지의 새로운 '평가 기준'

저자들은 비활성 헤드를 찾기 위해 **12 가지의 새로운 점수 **(Score Function)를 만들었습니다.

• 기존 기준: "첫 번째 단어에 얼마나 집중했나?" (눈만 봄)
• 새로운 기준:
  • "손에 든 자료의 크기는 얼마나 작은가?" (값 벡터)
  • "이 직원이 낸 결과물의 크기는 얼마나 작은가?" (헤드 출력)
  • "결과물의 방향은 일관적인가?" 등

이들은 이 12 가지 기준을 이용해 수천 개의 헤드에 점수를 매기고, 점수가 낮은 '잠자는 직원'들을 찾아냈습니다.

4. 실험: "잠자는 직원을 해고해 보자!"

가장 중요한 실험은 모델의 성능을 떨어뜨리지 않으면서 이 '잠자는 직원'들을 실제로 제거 (Zeroing out) 해보는 것이었습니다.

• 결과: 놀랍게도, 평균적으로 전체 헤드의 12% 이상을 제거해도 모델의 성능 (MMLU 점수) 은 거의 떨어지지 않았습니다.
• 기존 방법의 실수: 기존에 쓰이던 방법 (첫 번째 단어 집중 여부만 봄) 으로 찾으면, 7% 이상의 비활성 헤드를 놓쳐버렸습니다. 즉, 우리가 생각했던 것보다 훨씬 더 많은 '잠자는 직원'들이 있다는 뜻입니다.
• 최고의 기준: 여러 기준 중에서도 **"헤드가 낸 결과물의 평균 크기 **(Avg Head Output Norm)를 재는 것이 가장 정확하게 비활성 헤드를 찾아냈습니다.

5. 흥미로운 발견: 미세 조정 (Fine-tuning) 은 뇌 구조를 바꾸지 않는다

연구자들은 모델이 추가 학습 (미세 조정) 을 받으면 뇌 구조가 바뀔 것이라고 생각했습니다. 하지만 결과는 달랐습니다.

• 비유: 직원을 교육시키거나 새로운 업무를 배워도, **그 직원의 '근성'이나 '근무 태도 **(어텐션 패턴)
• 모델의 크기가 커질수록 (예: 7B 에서 14B 로) 은 조금씩 달라지지만, 기본적인 작동 방식은 매우 안정적이었습니다.

6. 결론: 더 효율적인 AI 를 위한 첫걸음

이 연구는 다음과 같은 중요한 메시지를 전달합니다.

1. **단순한 시각 **(어텐션 가중치) 비활성 헤드를 찾으려면 **실제 출력 **(결과물)을 봐야 합니다.
2. 효율성: 우리는 현재 AI 모델이 사용하는 계산 자원의 상당 부분이 '잠자는 직원'들에게 낭비되고 있음을 알게 되었습니다. 이들을 제거하면 더 빠르고 가벼운 AI를 만들 수 있습니다.
3. 안정성: AI 의 학습 방식이 바뀌어도, 그 내부의 '잠자는 직원' 패턴은 크게 변하지 않습니다.

한 줄 요약:

"거대한 AI 모델 속에는 실제로 일하지 않는 '잠자는 헤드'들이 12% 이상 숨어있는데, 우리는 이제 그들을 정확히 찾아내어 제거함으로써 더 똑똑하고 빠른 AI 를 만들 수 있는 열쇠를 쥐게 되었습니다."

기술 요약

ICLR 2026 논문 요약: 사전 학습된 LLM 의 비활성 Attention Head 식별 및 평가

이 논문은 대규모 언어 모델 (LLM) 의 핵심 구성 요소인 어텐션 (Attention) 메커니즘 내에서 실제로 작동하지 않는 '비활성 (Inactive)' 어텐션 헤드가 얼마나 존재하는지 분석하고, 이를 효과적으로 식별하는 방법을 제시합니다. 기존 연구들이 주로 어텐션 가중치 (attention weights) 에만 의존했던 한계를 극복하고, 값 벡터 (value vectors) 와 헤드의 출력 (head outputs) 을 포함한 다양한 지표를 평가하여 더 정확한 비활성 헤드를 발견했습니다.

1. 문제 정의 (Problem)

Transformer 아키텍처의 어텐션 메커니즘은 다양한 헤드가 입력 토큰에 대해 서로 다른 관점을 학습하도록 설계되었습니다. 그러나 최근 연구들은 '어텐션 싱크 (attention sinks)' 현상, 즉 첫 번째 토큰이 의미론적 중요도가 낮음에도 불구하고 과도한 어텐션 가중치를 받는 현상을 발견했습니다. 이는 일부 헤드가 실제로는 비활성 상태일 수 있음을 시사하며, 이는 계산 자원의 낭비로 이어질 수 있습니다.

기존 연구 (Guo et al., 2024a; Gu et al., 2025) 는 주로 첫 번째 토큰에 대한 어텐션 가중치가 높은 경우를 '휴면 (dormant)' 헤드로 정의했습니다. 그러나 이 정의는 다음과 같은 한계가 있습니다:

• 어텐션 가중치가 높더라도 값 벡터 (value vector) 가 0 에 가까우면 실제 출력은 0 이 됩니다.
• 반대로, 어텐션 가중치 패턴은 활발해 보이지만 모든 값 벡터의 크기가 매우 작아 실제 기여도가 0 에 가까운 헤드를 놓칠 수 있습니다.
• 따라서 어떤 기준으로 비활성 헤드를 정의하고 식별하는 것이 가장 효과적인지에 대한 체계적인 분석이 필요했습니다.

2. 방법론 (Methodology)

저자들은 비활성 헤드를 식별하기 위해 **12 가지의 다양한 스코어 함수 (Score Functions)**를 제안하고 평가했습니다. 이 함수들은 어텐션의 세 가지 주요 구성 요소를 측정합니다:

1. 어텐션 가중치 (Attention Weights): 특정 토큰 (예: 첫 번째 토큰) 에 집중하는 정도, 엔트로피 등.
2. 값 벡터 (Value Vectors): 값 벡터의 노름 (Norm) 크기.
3. 헤드 출력 (Head Outputs): 어텐션 헤드가 생성한 실제 출력 벡터의 노름 크기.

주요 스코어 함수 예시:

• Avg Weight of First Token (AWFT): 첫 번째 토큰에 대한 평균 어텐션 가중치 (기존 연구 기반).
• Avg Head Output Norm (AHON): 헤드의 평균 출력 벡터 노름.
• Layer Normalized (LN) 버전: 레이어 내 다른 헤드의 평균 스코어로 정규화하여 모델 간, 레이어 간 비교를 용이하게 함.

실험 설계:

• 모델: Llama-3, OLMo-2, Qwen2.5 등 3 가지 모델 패밀리, 총 14 개의 사전 학습된 모델 사용.
• 평가 지표: MMLU, PIQA, WinoGrande 벤치마크.
• 모델 개입 (Model Intervention): 식별된 비활성 헤드의 출력을 0 으로 설정 (Zeroing out) 하고 모델의 정확도 변화를 측정.
• 기준: 식별된 헤드를 제거했을 때 모델의 정확도가 사전 학습된 모델 대비 1% 이내로만 하락하는 경우를 '진짜 비활성 헤드'로 간주.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 비활성 헤드의 존재 비율과 식별 정확도

• 비활성 헤드의 비율: 제안된 방법론을 적용한 결과, 사전 학습된 LLM 의 평균 12% 이상의 어텐션 헤드가 실제로 비활성 상태임을 확인했습니다.
• 기존 방법의 한계: 기존에 널리 사용되던 '첫 번째 토큰 어텐션 가중치 (AWFT)' 기반 방법은 평균적으로 7% 이상의 비활성 헤드를 놓쳤습니다 (AWFT 는 평균 5% 미만만 식별). 이는 어텐션 가중치 패턴만으로는 비활성 헤드를 완전히 파악할 수 없음을 의미합니다.
• 성능 유지: 제안된 스코어 함수 (특히 AHON) 를 사용하여 헤드를 제거했을 때, MMLU 정확도가 1% 이내로만 하락하는 헤드를 훨씬 더 많이 식별할 수 있었습니다.

3.2 가장 효과적인 식별 지표: 평균 헤드 출력 노름 (Avg Head Output Norm)

• 최고의 성능: 14 개 모델 중 13 개 모델에서 **Avg Head Output Norm (LN)**이 비활성 헤드를 식별하는 데 가장 우수한 성능을 보였습니다.
• 모델 무관성 (Model-Agnostic): 이 지표는 모델 패밀리 (Llama, OLMo, Qwen) 나 모델 규모 (Scale) 에 관계없이 일관되게 작동했습니다.
• AWFT 의 실패: OLMo-2 모델 패밀리에서는 AWFT 가 비활성 헤드를 거의 식별하지 못했으며, 데이터셋 (MMLU, PIQA 등) 에 따라 식별되는 헤드의 레이어 분포가 극도로 불안정했습니다. 반면 AHON (LN) 은 데이터셋에 무관하게 안정적인 결과를 보였습니다.

3.3 스코어 분포를 통한 인사이트

• 파인튜닝의 영향: SFT (Supervised Fine-Tuning), DPO, RLHF 등 다양한 파인튜닝 전략을 적용해도 어텐션 행동 (스코어 분포) 은 거의 변하지 않았습니다. 이는 어텐션 헤드의 기본 동작이 파인튜닝 과정에서 크게 변경되지 않음을 시사합니다.
• 모델 스케일의 영향: 모델 규모가 커질수록 (예: Qwen2.5 0.5B ~ 14B) 어텐션 행동은 유사했으나, 14B 와 같은 초대규모 모델에서는 특정 스코어 분포에서 다른 모델들과 다른 양상을 보이며 헤드가 더 전문화 (specialization) 되는 경향이 있었습니다.

4. 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 의 효율성 향상을 위한 중요한 통찰을 제공합니다.

1. 정의의 확장: 비활성 헤드를 단순히 '어텐션 가중치'만으로 판단하는 것은 부정확하며, **헤드의 실제 출력 (Output)**을 측정하는 것이 훨씬 더 신뢰할 수 있는 지표임을 증명했습니다.
2. 효율성 잠재력: 평균 12% 이상의 헤드가 특정 컨텍스트에서 제거되어도 성능 저하가 미미하다는 사실은, 동적 프루닝 (Dynamic Pruning), KV 캐시 압축, 추론 가속화 등의 기술 개발에 직접적인 기여를 할 수 있습니다.
3. 모델 분석 도구: 스코어 분포 분석을 통해 파인튜닝과 모델 스케일링이 어텐션 메커니즘에 미치는 영향을 정량화할 수 있는 새로운 분석 도구를 제시했습니다.

결론적으로, 이 논문은 Transformer 모델 내부의 계산 중복성을 이해하고 제거하기 위해, 어텐션 가중치가 아닌 헤드 출력의 크기를 기준으로 비활성 헤드를 식별해야 함을 강력히 주장합니다. 이는 향후 더 효율적인 LLM 아키텍처 설계와 추론 최적화의 기초가 될 것입니다.