🤖 machine learning

Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models

이 논문은 Multi-head Latent Attention(MLA)에 대한 최초의 기계론적 해석 가능성 연구를 제시하며, MLA의 저차원 병목 구조가 엔티티의 정체성은 보존하면서 위치 정보는 폐기함으로써 콘텐츠와 위치를 효과적으로 분리하고, 이를 통해 트랜스포머 회로 구성을 별개의 유도 및 의미 허브 레이어로 재편한다는 것을 밝혀낸다.

원저자: Dhruvil S, Fenil Sojitra, Ravirajsinh Chauhan

게시일 2026-07-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dhruvil S, Fenil Sojitra, Ravirajsinh Chauhan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 붐비는 방을 가로질러 비밀 메시지를 보내려고 한다고 상상해 보세요. 인공지능의 세계에서 거대 언어 모델(LLM)은 인터넷에 있는 거의 모든 것을 읽은 매우 똑똑한 학생들과 같습니다. 질문에 답하기 위해 그들은 지금까지의 대화를 기억해야 합니다. 하지만 문장의 모든 단어와 그 정확한 위치를 하나하나 기억하는 것은 엄청난 양의 "정신적 공간"을 차지하며, 이는 그들의 속도를 늦추고 실행 비용을 높입니다.

최근 엔지니어들은 **다중 헤드 잠재 어텐션(Multi-head Latent Attention, MLA)**이라는 영리한 기술을 발명했습니다. 이것은 마치 매우 효율적인 택배 서비스와 같습니다. 메시지의 모든 세부 사항이 담긴 크고 무거운 상자를 보내는 대신, 쿠리어(전령)는 "무엇"(실제 단어와 의미)을 아주 작고 가벼운 봉투에 압축하여 담고, "어디"(단어의 위치)는 별도의 빠른 경로로 보냅니다. 이는 메모리 사용량을 최대 81%까지 줄여 엄청난 공간을 절약합니다. 하지만 여기에는 미스터리가 있습니다. 우리는 이 기술이 효과적이라는 것은 알았지만, 쿠리어가 실제로 어떻게 상자를 포장했는지는 알지 못했습니다. 중요한 세부 사항을 버린 것일까요? 아니면 "무엇"과 "어디"를 뒤섞어 버린 것일까요? 혹은 실제로 그것들을 완벽하게 분리하는 법을 배운 것일까요?

연구진은 이 블랙박스 내부를 들여다보기로 했습니다. 그들은 실제 세상의 거대한 모델들 속에서 길을 잃지 않도록, 더 작고 단순한 버전의 AI 모델을 구축했습니다. 그들은 이 "작은 봉투"가 정말로 단어의 의미만을 담고 있는지, 아니면 실수로 위치 정보까지 담고 있는지를 확인하고 싶었습니다. 또한 이 새로운 포장 방식이 AI의 내부 회로 작동 방식에 어떤 변화를 주는지도 알고 싶었습니다.

위대한 분리: 의미 vs 위치

연구진은 AI의 "작은 봉투"(그들은 이를 cKV 병목 현상이라 부릅니다)가 자신의 임무를 매우 잘 수행하고 있다는 것을 발견했습니다. 그것은 마치 이야기 속에 '누가' 있는지만 신경 쓸 뿐, 그들이 '어디에' 서 있는지는 신경 쓰지 않는 엄격한 사서와 같습니다.

모델을 테스트했을 때, 연구진은 압축된 정보가 캐릭터와 사물의 정체성을 **98%**나 유지하고 있다는 것을 발견했습니다. 만약 이야기가 "고양이"에 관한 것이라면, 압축된 버전도 그것이 고양이라는 것을 알았습니다. 그러나 압축된 버전에 특정 단어의 위치(예: "이것이 5번째 단어인가, 10번째 단어인가?")를 맞히라고 요청했을 때, 모델은 무작위로 추측할 때와 거의 다름없이 틀렸습니다.

이는 설계가 엔지니어들이 의도한 대로 작동하고 있음을 확인해 줍니다. 즉, 모델은 내용(이야기)과 위치(타임라인)를 완전히 분리하는 법을 배웠습니다. "어디"에 대한 정보는 시스템의 다른 부분에서 처리되며, "무엇"에 대한 부분은 깨끗하고 자유롭게 남겨둡니다. 이는 마치 AI가 손목에 GPS를 차고 있기 때문에 더 이상 주머니에 지도를 넣고 다닐 필요가 없다고 결정한 것과 같습니다. 이제 주머니는 비어 있고 다른 것을 담을 준비가 되었습니다.

한 층에 모인 "귀납(Induction)" 파티

가장 놀라운 발견 중 하나는 AI가 자신의 "사고 팀"을 조직하는 방식에 관한 것이었습니다. 기존의 AI 모델에서는 **귀납 헤드(induction heads)**라고 불리는 특수 팀(예: "'The' 다음에 'cat'이 온다"와 같은 패턴을 학습하는 데 도움을 주는 팀)이 여러 다른 층에 흩어져 있었습니다. 그들은 마치 쇼핑몰의 서로 다른 층에 모여 있는 친구들 같았습니다.

하지만 이 새로운 MLA 모델에서 연구진은 이 다섯 개의 특수 귀납 팀이 모두 **12 layer(12층)**라는 단 하나의 층에 모여 있는 것을 발견했습니다. 마치 공유된 압축 "봉투"가 이 친구들을 한 방에 모이도록 강제한 것 같습니다. 왜냐하면 그들이 일을 하기 위해서는 모두 동일한 소스를 읽어야 하기 때문입니다. 연구진은 정보가 매우 밀도 있게 압축되어 있기 때문에, 전체 건물에 걸쳐 조정하는 것보다 한곳에서 함께 작업하는 것이 더 효율적이라고 제안합니다.

바쁜 허브와 빈 방

연구진은 "봉투"의 공간이 실제로 얼마나 사용되는지도 살펴보았습니다. 봉투는 128개의 정보 단위를 담도록 설계되었습니다. 그러나 평균적으로 모델은 그 공간의 **46%**만을 사용했습니다. 이는 마치 128인승 버스를 샀는데 59명만 태운 것과 같습니다.

이는 모델이 "과잉 프로비저닝(over-provisioned)" 되어 있음을 시사합니다. 즉, 필요한 것보다 더 많은 공간을 가지고 있다는 것입니다. 그러나 연구진은 **Layer 15(15층)**라는 특정 층이 예외라는 점을 발견했습니다. 이 층은 "의미적 허브(semantic hub)"이자 건물에서 가장 바쁜 곳이었습니다. 이 층은 가장 많은 공간(128개 중 88개 유닛)을 사용했으며, 모델의 예측에 가장 결정적이었습니다. 만약 이 층의 정보를 망가뜨리면 모델의 답변은 훨씬 나빠졌습니다. 이는 건물 전체에 여유 공간이 있더라도, 이 특정 층이 핵심적인 역할을 수행하고 있음을 시사합니다.

이것이 의미하는 것 (그리고 의미하지 않는 것)

연구진은 자신들이 특정 이야기와 코드가 혼합된 데이터로 학습된 상대적으로 작은 모델(1억 1,400만 파라미터)을 연구했다는 점을 주의 깊게 밝히고 있습니다. 그들은 이 결과가 존재하는 모든 거대한 AI에 대한 최종 해답이라고 주장하지 않습니다. 그들은 특정 층 번호(Layer 12나 15 같은)가 더 큰 모델에서는 다를 수 있다는 점을 인정하며, 아직 "완벽한" 실험으로 이 결과들을 입증하지도 않았습니다.

하지만 그들의 연구는 흥미로운 점을 시사합니다. MLA 설계는 단순히 공간을 절약하기 위해 데이터를 짜내는 것에 그치지 않고, AI가 생각하는 방식 자체를 바꾼다는 것입니다. MLA는 "누구"와 "어디"를 엄격하게 분리하고, 패턴 인식 팀들을 하나의 효율적인 그룹으로 클러스터링하도록 강제합니다.

저자들은 향에 모든 층에 똑같이 큰 봉투를 주는 대신, 바쁜 층(Layer 15 같은)에는 더 많은 공간을 주고 조용한 층에는 더 적은 공간을 줌으로써 더 나은 모델을 구축할 수 있을 것이라고 제로합니다. 현재로서는 이 연구가 압축된 AI 뇌의 비밀스러운 삶을 들여 들여다보는 매혹적인 첫걸음이며, 모델을 더 똑똑하고 빠르게 만들기 위해서는 때때로 필요 없는 세부 사항을 놓아주는 법을 배워야 한다는 것을 보여줍니다.

기술 요약: 병목 구간을 통하여 (Through the Bottleneck)

문제 제기

DeepSeek-V2에서 도입된 Multi-head Latent Attention (MLA)는 효율적인 대규모 언어 모델(LLM)을 위한 핵심적인 구조적 혁신입니다. 이 방식은 키-값(KV) 쌍을 공유된 저차원 병목($cKV$)을 통해 압축한 후 이를 개별 헤드의 키와 값으로 투영함으로써, KV 캐시 메모리를 최대 81%까지 절감합니다. 수천억 개의 파라미터를 가진 프로덕션 모델(예: DeepSeek-V2, DeepSeek-V3)에 채택되었음에도 불구하고, 이 병목 구간의 내부 메커니즘은 아직 탐구되지 않은 상태입니다. 구체적으로, 기존 연구들은 다음 사항들을 밝혀내지 못했습니다:

모델이 압축된 $cKV$ 표현 내에서 어떤 언어적 정보를 보존하거나 버리는가.
공유된 병목이 유도 헤드(induction heads)와 같은 알려진 트랜스포머 회로의 형성에 어떻게 영향을 미치는가.
어떤 레이어의 병목이 모델의 예측에 인과적으로 중요한가.
내용(content, $cKV$를 통해)과 위치(position, RoPE를 통해)의 구조적 분리가 학습된 모델에 의해 능동적으로 활용되는가.

방법론

저자들은 114M 파라미터 규모의 MLA 트랜스포머에 대한 포괄적인 기계론적 해석학(mechanistic interpretability) 연구를 수행했습니다. 이 모델은 웹 텍스트, 코드, 수학적 텍스트의 혼합물로 사전 학습되었으며, 이후 TinyStories 데이터셋으로 미세 조정되었습니다. 연구에는 네 가지 상호 보완적인 실험이 사용되었습니다:

SVD 분석: 각 레이어에서 병목을 통과하는 정보의 유효 랭크(차원)를 측정하기 위해 압축 행렬( $W_{DKV}$ 및 $W_{DQ}$ )을 분해했습니다.
어텐션 헤드 분류(Taxonomy): 기능적 지표(이전 토큰 어텐션, 유도 점수, BOS-sink, 로컬 윈도우 어텐션)를 기반으로 192개의 어텐션 헤드(24개 레이어 $\times$ 8개 헤드)를 분류했습니다.
선형 프로빙(Linear Probing): $cKV$ (128차원) 및 잔차 연결(residual stream, 512차원) 표현에 선형 분류기를 학습시켜 특정 언어적 특징(엔티티 정체성, 품사, 토큰 정체성, 위치, 다음 토큰 예측)의 선형적 접근 가능성을 결정했습니다.
$cKV$ 교란 귀속(Disruption Attribution): 경량화된 활성화 패칭(activation patching) 변형 기법입니다. 깨끗한 활성화를 외과적으로 복구하는 대신, 초기 토큰 임베딩에 가우시안 노이즈를 추가하고 각 레이어에서의 $cKV$ 변화량을 측정한 뒤, 이를 출력 확률의 하락폭으로 재가중했습니다. 이는 상관관계적 프록시 역할을 했습니다.

주요 기여 및 결과

1. 내용-위치 분리가 능동적으로 활용됨

본 연구는 MLA의 구조적 설계가 모델에 의해 기능적으로 실현되고 있다는 첫 번째 경험적 증거를 제공합니다.

결과: $cKV$ 병목은 순수한 내용 표현을 학습합니다. 모든 레이어에서 엔티티 정체성을 98~100% 유지합니다. 반면, 위치 정보는 버리며, 16개 빈(bin)에 대한 위치 프로브 정확도는 우연 수준(13~22%) 근처에 머뭅니다.
시사점: 모델은 병목에 위치 정보를 중복해서 인코딩하지 않습니다. 즉, 내용이 $cKV$를 통해 흐르고 위치가 별도의 RoPE 경로( $k^{rope}_h$ )를 통해 흐른다는 설계를 엄격히 준수합니다.

2. 유도 헤드가 단일 레이어에 공존함

유도 헤드가 여러 레이어에 분포하는 일반적인 Multi-Head Attention(MHA)과 달리, MLA 모델은 뚜렷한 위상적 제약을 보입니다.

결과: 이 모델에서 탐지된 5개의 유도 헤드는 모두 오직 레이어 12에만 위치합니다.
가설: 공유된 $cKV$ 병목이 회로의 위상을 제약합니다. 유도 회로는 동일한 압축 표현에서 파생된 조율된 Key-Value 계산을 필요로 하므로, 여러 레이어에 걸쳐 일관된 정보를 재구성하는 것보다 단일 레이어의 병목에서 작동하는 것이 더 효율적이기 때문입니다.

3. "세만틱 허브(Semantic Hub)"의 식별

분석을 통해 특정 레이어가 중요한 처리 노드로 작용함을 확인했습니다.

결과: 레이어 15가 "세만틱 허브"로 나타났습니다. 이 레이어는 가장 높은 SVD 유효 랭크(128개 차원 중 88개 사용)와 가장 높은 교란-귀속 점수를 동시에 보여줍니다.
시사점: 이 레이어는 병목이 가장 완전히 활용되는 지점이자, $cKV$의 손상이 예측 성능 저하와 가장 강력하게 연관되는 지점으로, 의미적 통합에서 중심적인 역할을 수행함을 시사합니다.

4. 병목의 전역적 과잉 할당(Global Over-Provisioning)

연구 결과, 고정된 병목 용량이 균일하게 사용되지 않음이 드러났습니다.

결과: 128차원의 병목은 전역적으로 과잉 할당되어 있습니다. 평균적으로 모델은 용량의 **46%**만을 활용합니다(유효 랭크 약 59).
이질성: 레이어 간 상당한 편차가 존재합니다. 레이어 15는 용량의 69%를 사용하는 반면, 다른 레이어(예: 레이어 7)는 훨씬 적게 사용합니다.
제안: 저자들은 **이질적 랭크 할당(heterogeneous rank allocation)**을 구조적 개선안으로 제안합니다. 즉, 중요한 레이어(예: 13~19번)에는 더 큰 병목을 할당하고 다른 레이어에는 작은 병목을 할당함으로써, 성능 저하를 최소화하면서 KV 캐시 메모리를 약 30% 추가로 절감할 수 있습니다.

의의 및 범위

본 논문은 이러한 발견들을 확정된 특성이라기보다 초기 데이터 포인트로 규정합니다. 저자들은 본 연구가 광범위한 사전 학습 후 좁은 도메인의 코퍼스(TinyStories)로 학습된 단일 114M 파라미터 모델에 기반했다는 점을 강조합니다.

독창성: 이는 MLA에 대한 최초의 기계론적 해석학 연구로서, 단순한 공학적 효율성을 넘어 내부 회로 조직을 이해하려는 시도입니다.
겸허함: 저자들은 특정 레이어 인덱스(예: 레이어 12의 유도 헤드, 레이어 15의 허브)를 모든 MLA 모델에 일반화하는 것에 대해 주의를 당부하며, 회로 조직은 규모와 학습 시드에 따라 변할 수 있다고 명시했습니다.
한계점: 연구는 동일한 조건에서 학습된 매칭된 MHA 베이스라인의 부재, 선형 프로브의 사용(비선형 인코딩 가능성을 배제할 수 없음), 그리고 완전한 활성화 패칭(인과적) 대신 교란 귀속(상관적)을 사용했다는 점 등의 제약을 인정합니다.

결론적으로, 본 논문은 MLA가 단순히 수동적으로 어텐션을 압축하는 것이 아니라, 모델이 내용, 위치, 그리고 회로 구조를 조직하는 방식을 능동적으로 재편하며, 이를 통해 더 효율적이고 의미론적으로 인지된 압축 전략을 가능하게 할 수 있음을 시사합니다.