💬 NLP

Detection vs. Execution: Single-Bucket Probes Miss Half the Mamba-2 State Sink

이 논문은 Mamba-2에서 싱글 버킷 프로브(single-bucket probes)에 의해 식별된 표현적 시그니처가 상태 싱크(state sink) 현상을 위한 별개의 탐지 및 실행 회로를 종종 혼동하며, 이는 유사한 표현을 가진 다른 헤드들과 달리 특정 하위 집합의 헤드(BOS-specialists)만이 결정적인 장기 문맥 검색 성능을 인과적으로 주도한다는 것을 밝혀낸다.

원저자: Yuhang Jiang

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuhang Jiang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: "그림자"와 "배우"를 구분하기

당신이 거대하고 복합적인 오케스트라가 특정 곡을 어떻게 연주하는지 알아내려고 한다고 상상해 보세요. 당신에게는 특정 악기가 크게 연주될 때 이를 감지할 수 있는 마이크(프로브/탐침)가 있습니다.

AI 연구의 세계에서 과학자들은 종 often 특정 악기에서 큰 소리가 들리면, 그 악기가 실제로 멜로디를 연주하고 있다고 가정하곤 합니다.

이 논문은 새로운 유형의 AI 모델인 Mamba-2에서는 이 가정이 틀렸다고 주장합니다. 마이크는 거대한 활동의 "그림자"를 감지하지만, 실제로 핵심적인 역할을 수행하는 "배우"는 그 그림자 속에 숨겨진 아주 작은 집단입니다. 만약 당신이 큰 소리만 본다면, 실제 메커니즘을 놓치게 됩니다.

배경 설명: "상태 싱크(State Sink)"

이 문제를 이해하려면 AI가 무엇을 하고 있는지 이해해야 합니다.

비유: 사람들이 물 양동이를 전달하며 길게 줄을 서 있는 모습을 상상해 보세요. 새로운 사람(문장의 새로운 단어)이 줄에 합류할 때마다, 맨 앞에 있는 사람(문장의 시작인 BOS 토큰)은 물이 쏟아지지 않도록 양동이를 아주 꽉 잡아야 합니다.
과학적 원리: AI 모델에서 이 "꽉 잡는 행위"를 **상태 싱크(State Sink)**라고 부릅니다. 모델은 메모리를 안정적으로 유지하기 위해 문장의 시작이나 새로운 줄과 같은 초기 토큰들에 엄청난 에너지를 집중합니다.

발견: 두 그룹, 하나의 신호

연구진은 Mamba-2 모델을 조사했고, 이 "상태 싱크"가 단순히 하나의 큰 작업 집단이 아니라는 것을 발견했습니다. 그것은 사실 겉보기에는 같아 보이지만 매우 다른 일을 하는 두 개의 뚜로 구별되는 그룹입니다.

1. "BOS 전문가" (실행 계층)

정체: 전체의 약 **5%**에 불색하는 아주 작은 작업 집단입니다.
역할: 이들은 실행자입니다. 실제로 양동이를 잡고 물이 계속 흐르게 만드는 사람들입니다. 만약 이들을 제거하면, 전체 줄이 무너지고 AI는 모든 것을 잊어버립니다.
논문의 주장: 이들이 바로 "실행(Execution)" 회로입니다. 실제로 계산을 수행하는 주체입니다.

2. "듀얼 헤드(Dual Heads)" (감지 계층)

정체: 훨씬 더 큰 그룹(전체의 약 30%)입니다.
역할: 이들은 관찰자입니다. 실행자 옆에 서서 똑같은 것을 바라보며 똑같이 흥분합니다. 단순한 탐지기(단일 양동이 프로브)에게 이들은 실행자와 똑같이 보입니다. 이들의 신호는 거의 동일합니다.
반전: 만약 이 관찰자들을 제거하더라도 AI는 문제없이 작동합니다! 이들은 핵심적인 역할을 하지 않습니다. 그들은 단지 중요한 일이 일어나고 있다는 것을 "감지"하고 있을 뿐입니다.
논문의 주장: 이들은 "감지(Detection)" 회로입니다. 올바른 시그니처(무언가 일하고 있는 것처럼 보임)를 가지고 있지만, 올바른 기능(실제로 일을 함)은 가지고 있지 않습니다.

실수: "단일 양동이"의 함정

이 두 그룹을 혼동하는 실수를 논문에서는 "단일 양동이 프로브(Single-Bucket Probe)" 오류라고 부릅니다.

비유: 주방에서 최고의 요리사를 찾기 위해 "누가 칼을 잡고 있는가?"라고 묻는다고 상상해 보세요.
- 당신은 실제로 요리를 하고 있는 아주 작은 그룹의 헤드 셰프(BOS 전문가)를 찾아냅니다.
- 또한, 칼을 잡고 있지만 그저 고명을 만들기 위해 채소를 썰고 있는 훨씬 큰 그룹의 수셰프(듀얼 헤드)도 찾아냅니다.
- 만약 당신이 "칼을 잡고 있는 사람은 누구나 헤드 셰프다"라고 말하는 단순한 테스트를 사용한다면, 당신은 수셰프들이 메인 요리를 하고 있다고 착각하게 될 것입니다.
- 결과: 당신은 주방 팀 전체를 찾았다고 생각하겠지만, 실제 요리는 아주 소수의 엘리트 팀에 의해 이루어진다는 사실을 놓치게 됩니다.

Mamba-2에서 "칼"은 수학적 신호입니다. 단순한 프로브는 두 그룹 모두 칼을 잡고 있는 것을 보지만, 오직 작은 그룹만이 실제로 요리를 하고 있습니다.

왜 이런 일이 발생하는가? (아키텍처)

왜 Mamba-2에는 이전 모델에는 없는 이러한 "그림자" 그룹이 존재하는 걸까요?

Mamba-1 (이전 모델): 모든 셰프가 각자의 개인 조리대를 가진 주방을 상상해 보세요. 셰프가 문장의 시작 부분에 집중하고 싶다면, 다른 사람을 방해하지 않고도 그렇게 할 수 있습니다. 이 경우 "실행자"와 "관찰자"는 동일 인물입니다.
Mamba-2 (새로운 모델): 셰프들이 하나의 작은 조리대를 공유해야 하는 주방을 상상해 보세요. 공간을 공유해야 하기 때문에, 그들은 한 번에 여러 가지 일을 해야 합니다.
- 모델은 일부 헤드들이 "멀티플렉싱(multiplexing, 한 번에 두 가지 일을 하는 것)"을 하도록 강제합니다.
- 한 가지 일은 문장의 시작을 감지하는 것이고(관찰자),
- 다른 한 가지 일은 리셋을 실행하는 것입니다(실행자).
- 같은 공간을 공유하기 때문에, 역할은 다르지만 단순한 프로브에게는 동일하게 보입니다.

증거: "건초더미 속의 바늘" 테스트

작은 그룹(전문가)이 진짜 영웅이고 큰 그룹(듀얼 헤드)은 그저 구경꾼이라는 것을 증명하기 위해, 연구진은 "건초더미 속의 바늘(Needle in a Haystack)" 테스트를 수행했습니다.

테스트: 그들은 거대한 책(건초더미) 깊숙이 특정 문장(바늘)을 숨겨두고 AI가 이를 찾도록 했습니다.
결과:
- 작은 그룹(전문가)을 제거했을 때: AI는 완전히 실패했습니다. 바늘을 전혀 찾지 못했습니다. 정확도가 100%에서 0%로 떨어졌습니다.
- 큰 그룹(듀얼 헤드)을 제거했을 때: AI는 여전히 바늘을 완벽하게 찾아냈습니다.
- 결론: 큰 그룹은 그저 지켜보고 있었을 뿐이며, 작은 그룹이 실제로 바늘을 기억하고 있었던 것입니다.

논문의 주요 주장 요약

감지 $\neq$ 실행: AI의 특정 부분이 빛나고 있다(감지된다)고 해서 반드시 그 부분이 일을 하고 있는 것(실행)은 아닙니다.
분리: Mamba-2에서 "상태 싱크"는 작은 실행 계층(헤드의 5%)과 큰 감지 계층(헤드의 30%)으로 나뉩니다.
함정: 단순한 프로브(단일 양동이)는 이 큰 감지 계층만을 보고, 작은 실행 계층을 놓칩니다.
해결책: Mamba-2가 어떻게 작동하는지 이해하려면, 단순히 누가 "시끄러운지(loud)"만 봐서는 안 됩니다. 그들을 제거했을 때 AI가 정말로 망가지는지를 테스트하여 누가 실제로 필요한지를 확인해야 합니다.
아키텍처의 중요성: 이것은 단순히 모델의 크기 때문이 아니라, Mamba-2가 구축된 방식(공유 투영) 때문에 발생합니다.

요약하자면: 이 논문은 새로운 Mamba-2 모델에서 "시끄러운" 부분이 항상 생각을 하고 있는 부분은 아니라고 경고합니다. 보이지 않는 곳에서 진짜 일을 하는 작고 은밀한 팀이 있으며, 그 옆에는 그저 바빠 보이는 척하며 서 있는 훨씬 더 큰 팀이 있습니다. 만약 당신이 소음(noise)에만 귀를 기울인다면, 진짜 이야기는 놓치게 될 것입니다.

기술 요약: Mamba-2 상태 싱크(State Sinks)에서의 탐지 대 실행

문제 정의
기계론적 해석 가능성(Mechanistic interpretability)은 특정 표현적 시그니처(예: 경계 토큰에서의 높은 활성화)를 식별하는 프로브가 해당 계산을 실행하는 특정 회로도 식별한다는 가정을 바탕으로 운영되는 경우가 많다. 본 논문은 이러한 가정이 선택적 상태 공간 모델(Selective SSM), 특히 Mamba-2의 맥락에서 유효한지에 대해 이의를 제기한다. 저자들은 트랜스포머의 '어텐션 싱크(attention sink)'와 유사하게, 경계 토큰(BOS/문장 시작 및 개행 문자)에서 불균형적으로 높은 $\Delta$ 활성화가 발생하는 '상태 싱크(state sink)' 현상을 조사한다. 핵심 문제는 단일 버킷 프로브(단일 클래스에 기반하여 유닛을 분류하는 방식)가 상태 관리를 담당하는 인과적 회로를 정확하게 국지화하는지, 아니면 동일한 표현적 시그니처를 공유하지만 기능적으로는 구별되는 더 큰 유닛 집합을 놓치고 있는 것인지 여부이다.

방법론
본 연구는 네 가지 모델 체크포인트(Mamba-1 [130M, 2.8B], Mamba-2 [1.3B, 2.7B] 및 교차 아키텍처 베이스라인인 Pythia [160M–2.8B])에 걸쳐 12,096개의 셀(6,060개 평가됨)을 포함하는 엄격한 중재 그리드(intervention grid)를 활용한다.

전문가 분류(Specialist Classification): 특정 토큰 클래스(BOS, 개행 등)에 대한 평균 pre-softplus $\Delta$ 활성화가 참조 세트 대비 임계값( $\tau=0.5$ )을 초과하는 경우 해당 유닛(Mamba-1의 채널, Mamba-2의 헤드)을 '전문가(specialist)'로 분류한다. 이를 통해 '단일 버킷' 전문가(한 가지 클래스)와 '이중(dual)' 전문가(두 가지 클래스)를 구분한다.
인과적 중재(Causal Interventions): 특정 유닛 세트에 대해 6가지 중재 유형(예: gate_zero, delta_zero, gate_one)을 사용하여 절제 연구(ablation studies)를 수행한다. 경계 토큰 이후의 첫 8개 토큰에 대한 음의 로그 가능도(NLL) 차이를 측정하며, 이때 전문가 세트를 크기가 동일한 무작위 보충 세트와 비교한다.
입도 비교(Granularity Comparison): 아키텍처적 효과를 격리하기 위해 Mamba-1(채널 입도, 독립적인 $\Delta$ 투영)과 Mamba-2(헤드 입도, 헤드 공유 $\Delta$ 투영)를 대조한다.
검증: 결과는 두 가지 코퍼스(wikitext-2, Pile-10k), 다양한 규모, 그리고 긴 문맥 검색 작업(RULER Needle-in-a-Haystack)을 통해 검증된다.

주요 기여 및 결과

입도 조건부 인과성(Granularity-Conditional Causality):
- **Mamba-1 (채널 입도)**에서는 단일 버킷 BOS-전문가가 상태 싱크의 인과적 질량(causal mass)을 보유한다. 이들을 절제하면 성능이 크게 저하되며, 프로브는 실행 회로를 정확하게 추적한다.
- **Mamba-2 (헤드 입도)**에서는 단일 버킷 프로브가 인과적 실행 층(execution layer)인 약 5%의 헤드만을 회복한다. 그러나 동일한 표현적 시그니처(BOS와 개행 모두에서 높은 활성화)를 공유하는 훨씬 더 큰 '이중 헤드(dual heads)' 집합(27–35%의 헤드)이 단일 버킷 분류 과정에서 누락된다.
탐지 대 실행의 이분법(Detection vs. Execution Dichotomy):
- 실행 층(Execution Layer): 단일 버킷 BOS-전문가는 인과적 실행 층이다. 이들을 절제하면 RULER NIAH 작업에서 검색 정확도가 1.00에서 0.00으로 붕괴되며, BOS-문맥 및 개행 타겟에 대한 NLL이 크게 증가한다.
- 탐지 층(Detection Layer): 이중 헤드들은 전문가들과 높은 표현적 유사성(BOS 대 개행에 대해 코사인 유사도 $\approx 0.89$ )을 보이지만, 절제 시 인과적 효과는 실질적으로 훨씬 약하다. 실제로 이중 헤드를 절제하는 것은 베이스라인에 비해 성능에 미미하거나 심지어 부정적인 영향을 미치는 경우가 많은데, 이는 이들이 기능적 실행 층이라기보다 '표현적 탐지 층'임을 나타낸다.
- 오도하는 프로브(Misleading Probes): 본 논문은 표현적 유사성이 기능적 동등성을 의미하지 않음을 입증한다. 단일 버킷 프로브는 Mamba-2의 헤드 입도에서 집합 크기 기준으로 인과적 기질(causal substrate)을 3~7배 적게 산출하는 체계적인 오류를 범한다.
아키텍처적 동인(Architectural Driver):
- 이러한 비대칭성은 $\Delta$ 투영이 헤드 내의 채널 간에 공유되는 Mamba-2의 아키텍처에 기인한다. 이는 헤드가 경계 클래스 간에 멀티플렉싱(multiplexing)하도록 강제하여 거대한 이중 헤드 집단을 생성한다.
- Mamba-1의 채널을 Mamba-2의 헤드 대 클래스 비율에 맞춰 무작위로 버케팅하는 대조 실험은 이중 헤드의 우세 현상을 재현하지 못했으며, 이는 특정 헤드 공유 $\Delta$ 투영이 핵심 동인임을 시사한다.
교차 아키텍처 베이스라인:
- Pythia(Transformer)의 어텐션 헤드는 단일 버킷 선택성을 보이지만, Mamba-2에서 발견된 지배적인 이중 헤드 집단은 나타나지 않는다. 이는 탐지/실행 분리가 헤드 입도 모델의 보편적 속성이 아니라, Mamba-2의 상태 공간 메커니즘에 특이적인 속성임을 확인시켜 준다.

의의 및 주장
본 논문은 "가장 높게 활성화되는 유닛이 인과적 회로라는 것"을 가정하는 기계론적 해석 가능성의 표준적인 '라벨-투-로커스(label-to-locus)' 접근법이 Mamba-2의 헤드 입도에서 체계적으로 신뢰할 수 없음을 주장한다.

재감사 필요성: 단일 버킷 프로브를 사용하여 Mamba-2 헤드에 국지화된 해석 가능성 결과는 다중 클래스 집계 규칙에 따른 재감사가 필요하다.
기능적 분해: Mamba-2의 상태 싱크는 두 개의 뚜렷한 기능적 층으로 분해된다: 작은 실행 층(단일 버크 전문가)과 큰 탐지 층(이중 헤드). 이를 분리하려면 클래스 조건부 코사인 유사성에 의존하는 대신 클래스 조건부 절제가 필요하다.
활성 앵커(Active Anchor): 트랜스포머의 어텐션 싱크가 수동적이거나 억제 가능할 수 있는 것과 달리, Mamba-2의 상태 싱크는 특정 헤드가 긴 문맥 검색 및 경계 상태 관리에 필수적인 활성 앵커이다.

저자들은 프로브가 표현 분석에는 효과적일 수 있으나, 공유 투영과 멀티플렉싱된 활성화 프로파일을 가진 아키텍처에서는 진정한 인과적 회로를 식별하는 데 실패할 수 있으며, 따라서 탐지와 실행을 구분하기 위해 중재 기반의 검증이 필수적이라고 결론짓는다.