🤖 machine learning

Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads

이 논문은 로짓 기여도 점수화(LOCOS)를 소개하는데, 이는 출력 값 회로의 정답 토큰에 대한 기여도를 측정함으로써 대규모 언어 모델 내의 비리터럴(non-literal) 검색 헤드를 식별하는 새로운 방법으로, 이러한 특정 헤드들을 제거했을 때 다른 능력들은 보존하면서도 긴 문맥 합성 성능은 유의미하게 저하시킨다는 것을 입증한다.

원저자: Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini

게시일 2026-07-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 언어 모델(LLM)을 인터넷 전체를 읽은 아주 똑똑하고 과로한 사서라고 상상해 보세요. 당신이 질문을 던지면, 이 사서는 자신이 암기한 무작위한 사실을 외치는 것이 아니라, 답을 담고 있는 특정 책이나 페이지를 찾기 위해 거대한 도서관(즉, "컨텍스트")을 훑습니다.

오랫동안 연구자들은 이 사서가 어떻게 답을 찾아내는지 정확히 알고 있다고 믿었습니다. 그들은 사서가 답과 일치하는 단어를 정확히 가리키고 그것을 그대로 베껴 쓴다고 생각했습니다. 이것을 **직설적 검색(literal retrieval)**이라고 부릅니다.

하지만 이 논문의 저자들은 사서가 실제로는 훨씬 더 똑똑하다는 것을 발견했습니다. 종종 답은 책에 적힌 단어를 직접 복사한 것이 아닙니다. 대신, 사서는 문장을 읽고 그 의미를 이해한 다음, 그 이해를 바탕으로 새로운 답을 작성합니다. 이것이 **비직설적 검색(non-literal retrieval)**입니다.

문제점: 잘못된 탐정

이 논문은 모델의 어느 부분(이를 "어텐션 헤드"라고 부름)이 작업을 수행하는지 알아내는 기존 방식이, 사서가 어디를 가리키는지(where)만 보고 무엇을 썼는지(what)는 보지 못하는 탐정과 같다고 주장합니다.

기존 방식 (어텐션 기반): 탐정이 사서를 관찰한다고 상상해 봅시다. 만약 사서가 "파리는 어디인가요?"라는 질문에 답하기 위해 "에펠 탑"이라는 단어를 가리킨다면, 탐정은 "좋아, 저 헤드가 일을 하고 있군"이라고 말합니다.
현실: 때때로 사서는 "에펠 탑"을 가리키지만, 정작 쓰는 내용은 "유키"(텍스트에 유키가 에펠 탑 근처에 산다고 적혀 있었기 때문)가 될 수 있습니다. 기존의 탐정은 이 차이를 놓칩니다. 왜냐하면 손가락질(어텐션)과 쓰기(답)가 일치하지 않기 때문입니다. 기존 방식은 사서가 이해하는 것이 아니라 단순히 복사하고 있다고 생각하게 됩니다.

해결책: LOCOS ("쓰기 인지형" 탐정)

저자들은 LOCOS(Logit-Contribution Scoring)라고 불리는 새로운 방법을 소개합니다. LOCOS를, 가리키는 것과 쓰는 것을 모두 지켜보는 탐정이라고 생각해 보세요.

LOCOS는 다음과 같이 묻습니다: "이 특정 뇌 부위가 실제로 정답을 쓰는 데 도움이 되었는가?"

그것은 출력-값(Output-Value, OV) 회로를 살펴봅니다. 이것은 사서가 읽은 정보를 최종적인 답으로 변환하는 메커니즘입니다.
만약 어떤 헤드가 "에펠 탑"을 가리켰는데, 그 헤드의 "쓰기 기계"(OV 회로)가 성공적으로 답지에 "유키"라는 단어를 써 내려갔다면, LOCOS는 그 헤드에 높은 점수를 줍니다.
만약 어떤 헤드가 "에펠 탑"을 가리켰지만, 그 쓰기 기계가 무작위 단어나 아무것도 쓰지 못했다면, LOCOS는 그 헤드의 가리킴이 강했더라도 무시합니다.

실험: "침묵" 테스트

자신들의 이론을 증명하기 위해, 연구진은 여러 다른 AI 모델(Qwen, Gemma, OLMo 등)을 대상으로 "침묵 테스트"를 실시했습니다.

설정: 그들은 LOCOS가 식별한 상위 50개의 헤드를 가져와서 AI의 뇌에서 "끄기"(절제/ablation)를 수행했습니다.
결과:
- LOCOS 헤드를 껐을 때, AI의 비직설적 질문 답변 능력은 폭락했습니다. 한 테스트에서는 점수가 건강한 0.40에서 0.00(완전한 실패)으로 떨어졌습니다.
- 기존 방식으로 식별된 헤드들을 껐을 때는, AI가 여전히 준수한 성능(약 0.29)을 유지하며 답변할 수 있었습니다.
- 비유: 이것은 자동차를 운전하는 것과 같습니다. 엔진(LOCOS 헤드)을 제거하면 자동차는 멈춰버립니다. 하지만 사이드 미러(기존 방식의 헤드)를 제거하면, 자동차는 조금 서툴 뿐 여전히 달릴 수 있습니다.

이것이 왜 중요한가 (논문에 따르면)

이 논문은 LOCOS가 기존 방식이 완전히 놓쳤던 숨겨진 "검색 헤드(retrieval heads)" 그룹을 찾아냈다고 주장합니다. 이들은 단순히 텍스트를 복사하는 것이 아니라, 의미를 합성하는 중대한 역할을 하는 특정 부분들입니다.

특이성: 이 헤드들을 껐을 때, AI는 컨텍스트 관련 질문에는 답하지 못했지만, 수학 문제나 일반적인 사실(예: "파리는 프랑스에 있다")은 여전히 기억해 냈습니다. 이는 이 헤드들이 일반적인 지능이 아닌, 텍스트로부터 정보를 검색하는 데 특화되어 있음을 증명합니다.
"비직설적" 격차: 기존 방식은 오직 복사-붙여넣기를 하는 헤드만을 찾아냈습니다 습니다. 반면 LOCOS는 텍스트를 바탕으로 새로운 답을 구성하기 위해 실제로 생각하는 헤드를 찾아냈습니다.

요약

요약하자면, 이 논문은 다음과 같이 말합니다: "우리는 AI가 긴 텍스트로부터 정보를 이해하고 합성하는 부분을 찾아내는 더 나은 방법을 발견했습니다. 기존 방식은 오직 복사-붙여넣기를 하는 부분만을 보았습니다. 우리가 찾아낸 이 새로운 '스마트한' 부분들을 꺼버림으로써, AI는 컨텍스트에 기반한 답변 능력을 완전히 상실했으며, 이는 이 부분들이 장기 컨텍스트 이해의 진정한 엔진임을 입증합니다."

기술 요약: 로짓 기여도 스코어링(LOCOS)을 통한 비리터럴(Non-Literal) 검색 헤드 식별

1. 문제 정의

대규모 언어 모델(LLM)은 관련 문맥 구간의 의미적 내용을 단순히 토큰 단위로 복사하는 것이 아니라, 그 의미를 합성하여 답변을 생성하는 경우가 많습니다. 기존의 메커니즘 해석 가능성(mechanistic interpretability) 연구들은 문맥 접근을 담당하는 "검색 헤드(retrieval heads)"를 식별해 왔으나, 현재의 탐지 방법들은 근본적으로 리터럴(literal, 문자 그대로의) 검색에 국한되어 있습니다.

기존의 탐지기들(예: Wu et al., 2025; Fu et al., 2025)은 **어텐션 가중치 관측값(attention-weight observables)**에 의존합니다. 이들은 어텐션 대상 소스 토큰이 생성된 답변 토큰과 일치하는 헤드에 높은 점수를 부여합니다. 이러한 "토큰 매칭(token-matching)" 기준은 정보를 복사-붙여넣기 하는 헤드(리터럴 검색)를 식별하는 데는 성공적이지만, 비리터럴(non-literal) 검색을 수행하는 헤드를 탐지하는 데는 실패합니다. 비리터럴 시나리오에서 모델은 소스 구절(예: "Eiffel Tower")에 어텐션을 수행하지만, 출력 값(OV) 회로를 통해 다른 답변 토큰(예: "Yuki")을 합성할 수 있습니다. 어텐션 기반 스코어링은 헤드가 어디를 읽는지는 포착하지만, 무엇을 쓰는지에 대해서는 무시하므로, 비리터럴 합성이 일어나는 핵심 메커니즘을 놓치게 됩니다.

2. 방법론: 로짓 기여도 스코어링 (LOCOS)

저자들은 어텐션 분포가 아닌, 최종 답변 로짓에 대한 헤드의 기여도를 평가하는 "쓰기 인지적(write-aware)" 탐지기인 **로짓 기여도 스코어링(LOCOS)**을 도입합니다.

핵심 메커니즘

LOCOS는 어텐션 헤드의 동작을 두 가지 회로로 분해합니다:

QK 회로: 헤드가 어디를 읽을지 결정합니다 (어텐션 가중치 $\alpha$ ).
OV 회로: 헤드가 잔차 스트림(residual stream)에 무엇을 쓸지 결정합니다 (출력 투영 $W_O v$ ).

이 방법은 헤드 $(l, h)$ 의 점수를 정답 토큰의 언임베딩(unembedding) 방향( $u_{y_t}$ )으로 투영하여 계산합니다.

3단계 절차

위치별 로짓 기여도:
토큰 $y_t$ 를 생성하는 디코딩 단계 $t$ 에 대해, 헤드 $(l, h)$ 를 통한 소스 위치 $j$ 의 기여도는 다음과 같이 계산됩니다:
$\phi^{(l,h)}_{t,j} = u_{y_t}^\top o^{(l,h)}_{t,j} = \alpha^{(l,h)}_{t,j} \cdot u_{y_t}^\top W^{(l,h)}_O v^{(l,h)}_{t,j}$
이 스칼라 $\phi$ 는 전체 파이프라인을 포착합니다: 헤드는 높은 어텐션( $\alpha$ )을 가질 수 있지만, OV 출력이 답변 방향과 직교한다면 기여도는 거의 0이 될 수 있습니다. 반대로, 적당한 어텐션을 가진 헤드라도 OV 회로가 어텐션된 표현을 답변에 부합하는 벡터로 변환한다면 높은 기여도를 가질 수 있습니다.
공간적 대조 (Spatial Contrast):
검색 특이적 신호를 격리하기 위해, LOCOS는 니들(needle) 위치(관련 문맥 구간 $[s_\tau, e_\tau)$ )의 기여도를 오프-니들(off-needle) 위치와 비교합니다.
$\Phi^{(l,h),+}_t = \sum_{j \in \text{needle}} \phi^{(l,h)}_{t,j}$
$\Phi^{(l,h),-}_t = \frac{e_\tau - s_\tau}{N_t - (e_\tau - s_\tau)} \sum_{j \notin \text{needle}} \phi^{(l,h)}_{t,j}$
이 재스케일링 계수는 오프-니들의 합이 길이에 따라 니들 합과 비교 가능하도록 보장합니다. 단일 단계에서의 점수는 공간적 대조인 $\Phi^{(l,h),+}_t - \Phi^{(l,h),-}_t$ 입니다. 이 공간적 대조(단일 단계 내의 니들 대 오프-니들)는 기존 연구에서 사용된 시간적 대조(정답 단계 대 오답 단계)를 대체합니다.
집계 (Aggregation):
최종 점수 $S_{l,h}$ 는 모델이 정답을 생성하는 모든 디코딩 단계에서의 이러한 공간적 대조의 평균이며, 벤치마크의 모든 성공적인 시도에 대해 집계됩니다. 음수 점수는 답변 로짓에 대한 기여도가 주로 오프-니들 위치로부터 기원하는 헤드를 나타냅니다.

3. 주요 기여

쓰기 인지적 탐지: 본 논문은 비리터럴 검색을 식별하려면 어텐션 가중치가 아닌 OV 회로의 출력을 측정해야 함을 입증했습니다.
LOCOS 알고리즘: 단일 순전파(single-forward-pass) 방식으로, 답변 로짓에 대한 투영된 기여도를 통해 헤드를 점수화하고 니들과 오프-니들을 대조합니다.
인과적 검증: 평균 제거(mean-ablation) 실험을 통해, 저자들은 LOCOS가 비리터럴 검색에 인과적으로 중요한 헤드를 식별하는 반면, 어텐션 기반 베이스라인은 그렇지 못함을 보여줍니다.

4. 실험 결과

이 방법은 세 가지 모델 제품군(Qwen3 (8B, 14B, 32B), Gemma-3 (12B, 27B), OLMo-3.1 (32B))에 대해 NoLiMa 벤치마크(비리터럴 니들-인-어-헤이스타크 태스크)에서 평가되었습니다.

제거 성능 (Ablation Performance, NoLiMa)

우수한 성능 저하: 상위 $k$ 개의 LOCOS 헤드를 평균 제거(mean-ablating)했을 때, 모든 어텐션 기반 베이스라인(Wu/NIAH-scored, Wu/NoLiMa-scored, random heads)보다 ROUGE-L이 더 급격하게 하락했습니다.
Qwen3-8B 사례 연구: 상위 50개의 LOCOS 헤드를 제거하면 ROUGE-L이 0.401에서 0.000으로 붕괴됩니다. 반면, 가장 강력한 어텐션 기반 베이스라인(Wu/NIAH)은 동일한 깊이에서 0.292의 ROUGE-L을 유지합니다.
특이성 (Specificity): LOCOS 헤드를 제거하면 문맥적 검색 능력은 심각하게 저하되지만, 파라미터적 회상(예: 도시-국가 연상) 및 산술 추론은 온전히 유지됩니다. 이는 식별된 헤드들이 일반적인 출력 중요도가 아닌 검색 특화적임을 확인시켜 줍니다.

리터럴 vs. 비리터럴 특이성

상위 $k$ LOCOS 헤드를 제거하면 리터럴(NIAH)과 비리터럴(NoLiMa) 검색 모두가 저하됩니다.
그러나 저하 폭은 NoLiMa에서 훨씬 더 큽니다. 이는 LOCOS가 두 체제 모두에 관련된 헤드를 포착하지만, 토큰 매칭 탐지기가 놓치는 비리터럴 합성을 담당하는 헤드 집합을 독자적으로 식별함을 나타냅니다.

다운스트림 전이 (Downstream Transfer)

다운스트림 롱 컨텍스트 벤치마크(MuSiQue 및 BABILong)에서 상위 50개 LOCOS 헤드를 제거하면 성능이 크게 저하되며, 특히 Qwen3 제품군에서 두드가 나타납니다 (예: Qwen3-8B의 MuSiQue 정확도가 0.55에서 0.08로 하락).
LOCOS와 어텐션 기반 베이스라인의 순위는 벤치마크마다 다르며, 이는 멀티홉 QA 태스크가 리터럴 및 비리터럴 검색 회로를 모두 동원함을 시사합니다.

레이어 분포

Qwen3 제품군과 Gemma-3-27B의 경우 LOCOS 점수가 **후기 레이어(late layers)**에 집중되어 있습니다.
저자들은 이러한 집중이 "직접 경로 가정(direct-path assumption)"(출력에 가까운 헤드가 로짓에 더 직접적인 영향을 미침)의 영향을 받을 수 있다고 언급했으나, 인과적 패칭(causal patching) 실험은 후기 레이어 패턴이 단순한 인공물이 아님을 시사합니다.

5. 의의 및 주장

본 논문은 LOCOS가 비리터럴 검색 헤드에 대한 최초의 메커니즘적 식별을 제공한다고 주장합니다.

기존 연구의 한계: 기존 탐지기들은 어텐션 대상 토큰이 생성된 토큰과 일치하는 헤드에 보상을 주기 때문에 비리터럴 검색에 대해 "맹목적"입니다. 이는 소스에 어텐션을 하고는 다른 답변을 합성하는 헤드를 놓칩니다.
메커니즘적 통찰: OV 회로를 답변 방향으로 투영함으로써, LOCOS는 합성에 필수적인 "쓰기" 작업을 포착합니다.
실용적 유용성: 식별된 헤드들은 긴 문맥 추론에 인과적으로 중요합니다. 이 발견은 다음 사항에 시사점을 줍니다:
- 해석 가능성: LLM이 문맥을 어떻게 접근하고 합성하는지에 대한 더 정확한 지도를 제공합니다.
- 효율성: 균일하거나 어텐션 기반의 휴리스틱 대신, 검색을 담당하는 특정 헤드만을 보존함으로써 더 정밀한 KV 캐시 압축을 가능하게 합니다.
- 환각 완화: 관련 문맥을 올바르게 검색하지 못하는 헤드를 식별하고 개입할 수 있는 메커니즘을 제공합니다.

저자들은 자신들의 연구 결과가 테스트된 아키텍처(표준 디코더 전용 트랜스포머)와 NoLiMa 벤치마크에 특화되어 있음을 언급하며 일반화에 대해 신중한 태도를 유지합니다. 그들은 LOCOS가 모든 검색 메커니즘을 식별한다고 주장하는 것이 아니라, 토큰 매칭 기준이 놓치는 부분집합을 성공적으로 격리했음을 주장합니다.