💬 NLP

Localizing Anchoring Pathways in Language Models

이 논문은 7B–8B 규모의 Qwen 및 Llama 모델에서 앵커링 효과의 내부 메커니즘을 조사하여, 엣지 수준의 기여도 산출 방식이 노드 수준의 방식보다 관련 결정 신호를 더 정확하게 국소화한다는 점과 이러한 경로가 모델 내의 앵커 방향에 따라서는 일관되지만 베이스 모델과 인스트럭션 튜닝된 변체 사이에서는 크게 변화한다는 점을 밝혀냈다.

원저자: Hillary N. Owusu, Sarah Wiegreffe, Naomi H. Feldman

게시일 2026-06-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hillary N. Owusu, Sarah Wiegreffe, Naomi H. Feldman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(LLM)을 아주 똑똑하지만 약간은 잘 속는 탐정이라고 상상해 보세요. 당신이 탐정에게 수수께끼를 내면서도, 대화 속에 무관하고 상관없는 숫자 하나를 슬쩍 끼워 넣습니다. 예를 들어, "그나저나 로또 번호가 15에서 멈췄어"라고 말한 뒤, "달이 지구를 한 바퀴 도는 데 며칠이 걸리지?"라고 묻는 식입니다.

비록 탐정은 정답이 27일이라는 것을 알고 있지만, 방금 언급된 무작위 숫자 '15' 때문에 정답이 15 쪽으로 기울어질 수 있습니다. 이것을 **앵커링(Anchoring, 닻 내리기)**이라고 합니다. 이는 무관한 숫자가 당신의 판단을 그 숫자 쪽으로 끌어당기는 인지적 편향을 의미합니다.

이 논문은 마치 기계 공학자 팀이 그 탐정을 분해하여, 그 "잘 속는 성질"이 정확히 뇌의 어느 부분에서 발생하는지 파헤치는 것과 같습니다. 그들은 컴퓨터 내부의 어떤 구체적인 전선과 스위치가 "이봐, 저 무작위 숫자가 중요해!"라고 말하는 신호를 전달하고 있는지 알고 싶어 합니다.

연구진이 어떻게 이 작업을 수행했는지, 그리고 무엇을 발견했는지 쉽게 설명해 드리겠습니다.

1. 설정: 통제된 게임

연구진은 모델에게 긴 에세이를 쓰게 하는 대신, 테스트를 객관식 게임으로 바꾸었습니다.

질문: "달의 궤도 주기는 얼마인가요?" (정답: 27일).
함정: 그들은 문장에 무작위 숫자가 포함된 문장을 추가했습니다. 이때 "낮은 앵커"(15) 또는 "높은 앵커"(49)를 사용했습니다.
목표: 단지 그 숫자가 언급되었다는 이유만으로 모델의 확신이 잘못된 답(15 또는 49) 쪽으로 얼마나 이동하는지를 측정했습니다.

연구진은 모델이 인간처럼 실제로 속아 넘어간다는 것을 확인했습니다.

2. 방법: 전선을 추적하기

"잘 속는 회로"를 찾기 위해 연구진은 **회로 국소화(Circuit Localization)**라는 기술을 사용했습니다.

비유: 모델을 노드(neighborhood, 구역)들을 연결하는 수백만 개의 도로(edges, 간선)로 이루어진 거대한 도시라고 상상해 보세요.
기존 방식: 과거의 연구자들은 교통량이 많은 곳을 찾기 위해 전체 구역(노드)을 살펴보았습니다.
새로운 방식: 이번 논문은 **개별 도로(간선)**를 살펴보는 것이 훨씬 더 낫다는 것을 발견했습니다. 이는 문제가 '다운타운'이라는 구역 전체에 있는 것이 아니라, 특정하게 '다운타운과 교외를 잇는 바로 그 다리 하나'에 있다는 것을 깨닫는 것과 같습니다.

그들은 **간선 수준의 방법(edge-level methods, 연결 관계를 보는 것)**이 노드 수준의 방법(구성 요소 자체를 보는 것)보다 편향을 찾는 데 훨씬 더 정확하다는 것을 발견했습니다. "잘 속는 성질"은 모델의 특정 부위에 박혀 있는 것이 아니라, 정보가 이동하는 **경로(pathway)**에 들어있었습니다.

3. 발견: 지도가 밝혀낸 것

A. "낮은" 앵커와 "높은" 앵커는 같은 도로를 사용합니다

모델이 낮은 숫자(15)에 속든 높은 숫자(49)에 속든, 교통량은 거의 동일한 도로를 통해 흘러갔습니다.

비유: 이것은 강물과 같습니다. 물이 빠르게 흐르든(높은 앵커) 느리게 흐르든(낮은 앵커), 여전히 같은 강바닥을 이용합니다. 모델은 숫자의 크기와 상관없이 영향을 받기 쉬운 공유된 "취약성 경로(susceptibility pathway)"를 가지고 있습니다.

B. "베이스(Base)" 모델 vs "지시 미세 조정(Instruction-Tuned)" 모델

연구진은 동일한 모델의 두 가지 버전을 테스트했습니다:

베이스 모델: 훈련되지 않은 가공되지 않은 상태의 탐정.
지시 미세 조정 모델: 규칙을 따르고 예의 바르게 질문에 답하도록 훈련된 탐정.

놀라운 점: 두 모델 모두 동일한 일반적인 "강바닥"(동일한 네트워크 층)을 사용하지만, 가장 중요한 구체적인 도로는 훈련 후에 변했습니다.

비유: 운전자에게 새로운 경로를 가르친다고 상상해 보세요. 그들은 여전히 같은 도시를 통과하여 운전하지만, 목적지에 도달하기 위해 타는 구체적인 거리들은 바뀌었습니다. "지시 미사 조정(instruction tuning)" 과정은 가장 중요한 연결 고리들을 재배선했습니다. 베이스 모델에서 완벽하게 작동했던 회로가 훈련된 모델에서는 항상 작동하는 것은 아니었습니다.

4. 큰 그림

이 논문은 앵커링이 단순히 모델 지식의 "결함"이 아님을 증명합니다. 그것은 무관한 숫자가 모델의 의사 결정 경로를 가로채는 구체적이고 기계적인 과정입니다.

핵심 요점: 편향은 단순히 고립된 부분이 아니라 **연결(간선, edges)**을 통해 이동합니다.
핵심 요점: 낮거나 높은 앵커는 동일한 "고속도로"를 공유하지만, 모델에게 새로운 규칙을 가르치는 것(지시 미세 조정)은 그 고속도로의 어떤 출구가 가장 중요한지를 변화시킵니다.

요약하자면, 연구진은 AI 내부의 "잘 속는 성질"을 지도화하여, 모델이 무작위 숫자에 의해 주의가 분산될 때 어떤 전선이 신호를 전달하는지 정확히 보여주었습니다. 이는 모델이 단순히 "틀린" 것이 아니라, 자신을 잘못된 길로 인도하는 특정한, 예측 가능한 경로를 따르고 있음을 이해하는 데 도움을 줍니다.

기술 요약: 언어 모델 내 앵커링 경로의 국소화 (Localizing Anchoring Pathways in Language Models)

문제 정의

대규모 언어 모델(LLM)은 인간과 마찬가지로, 프롬프트 내의 무관한 수치가 모델이 올바른 사실적 지식을 보유하고 있음에도 불구하고 후속 판단을 해당 수치 쪽으로 이동시키는 **앵커링 편향(anchoring bias)**을 보입니다. 기존 연구들은 이러한 행동적 현상의 존재를 입증해 왔으나, 주로 모델을 블랙박스로 취급하여 변화의 크기만을 측정했을 뿐 내부 메커니즘에 대해서는 설명하지 못했습니다. 본 논문은 **기계론적 해석 가능성(mechanistic interpretability)**의 공백, 즉 무관한 앵커가 예측 과정에서 정답과 경쟁하게 만드는 신호를 모델 내부의 어떤 경로가 전달하는지를 식별하는 문제를 다룹니다.

방법론

1. 통제된 태스크 설정

저자들은 Open Anchoring Question Dataset(OpAQ)의 100가지 수치 추정 질문을 통제된 객관식 형식으로 변형하였습니다.

프롬프트 구조: 각 항목은 사실적 질문, 정답, 그리고 낮은 앵커(low anchor), 높은 앵커(high anchor), 또는 토큰 매칭 대조군(숫자가 아닌 문자열) 중 하나를 포함하는 무관한 "슬롯 머신" 문장으로 구성됩니다.
답안 공간: 정답, 앵커, 그리고 중간값들을 포함하는 고정된 9개의 선택지가 모든 조건에서 사용됩니다. 모델은 오직 정답 알파벳만을 출력하도록 지시받습니다.
평가 대상 모델: Qwen2.5 및 Llama-3.1 제품군의 4가지 오픈 웨이트 디코더 전용 모델:
- 베이스 모델: Qwen2.5-7B, Llama-3.1-8B.
- 인스트럭션 튜닝 모델: Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct.

2. 지표

행동 지표: 정규화된 기대 가치(Normalized Expected Value, EV) 변화량은 앵커를 향한 모델의 확률 분포의 방향과 크기를 측정합니다.
기여도 지표: 로짓 차이 지표(logit-difference metric) $m$ $m$ 은 정답의 로짓과 활성화된 앵커 답안의 로짓 차이로 정의됩니다 ( $m = \text{logit}(y_{correct}) - \text{logit}(y_{anchor})$ $m = logit (y_{cor r ec t}) - logit (y_{an c h or})$ ).
- $m$ 의 감소는 앵커가 더 경쟁력을 갖게 됨을 의미합니다.
- 앵커가 포함된 프롬프트와 대조군 프之间에서의 이 지표의 변화( $\Delta m$ )는 회로 국소화의 타겟이 됩니다.
- 검증 결과, $\Delta m$ 은 행동적 EV 변화와 강한 상관관계를 보였습니다.

3. 회로 국소화 프레임워크

본 연구는 앵커링 효과를 담당하는 모델의 최소 서브그래프를 식별하기 위해 **기여도 기반 회로 국소화(attribution-based circuit localization)**를 채택합니다.

그래프 표현: 트랜스포머를 노드가 구성 요소(어텐션 헤드, MLP)이고 에지가 방향성 경로인 계산 그래프로 취급합니다.
비교된 방법론:
- 노드 기여도 패칭(Node Attribution Patching, NAP/NAP-IG): 개별 구성 요소의 점수를 매깁니다.
- 에지 기여도 패칭(Edge Attribution Patching, EAP/EAP-IG): 구성 요소 간의 방향성 경로의 점수를 매깁니다.
- 통합 그래디언트(Integrated Gradients, IG): NAP-IG, EAP-IG 변형은 보간 경로를 따라 그래디언트를 평균화하여 기여도 품질을 개선합니다.
충실도 평가: 저자들은 **회로 성능 회복(Circuit Performance Recovery, CPR)**을 측정합니다. "클린(대조군)" 실행에서 상위 $k\%$ 순위의 에지/노드를 유지하고, 나머지를 "오염된(앵커가 포함된)" 실행의 활성화 값으로 패칭합니다. 높은 CPR 점수는 유지된 서브그래프가 모델의 비-앵커링 행동을 성공적으로 회복함을 나타냅니다.

주요 기여

지표 검증: 본 논문은 앵의 행동적 앵커링을 추적하는 검증된 답변 수준 지표(로짓 차이)를 확립하여, 회로 국소화를 위한 그래디언트 기반 기여도 산출을 가능하게 했습니다.
에지 vs 노드 국소화: 본 연구는 에지 수준의 방법(EAP, EAP-IG)이 노드 수준의 방법(NAP, NAP-IG)보다 앵킹 신호를 훨씬 더 충실하게 회복함을 보여줍니다. 이는 편향이 고립된 "편향된" 구성 요소보다는 구성 요소 간의 경로라는 속성에 가깝다는 것을 시사합니다.
회로의 구조적 분석:
- 계층별 패턴: Qwen 모델은 중간에서 후반부 레이어에 기여도가 집중되는 반면, Llama 모델은 초기 레이어에 집중됩니다.
- 구성 요소 유형: 상위 순위 회로는 어텐션-투-어텐션 에지(약 68~80%의 선택된 에지)가 지배적이며, 어텐션-MLP 연결의 상당한 참여가 관찰됩니다. 이는 MLP가 어텐션을 매개하는 경로를 통해 참여함을 시사합니다.
전이 가능성 발견:
- 모델 내 전이: 동일 모델 내에서 낮은 앵커와 높은 앵커의 회로는 상당한 구조를 공유하며(약 66~71%의 에지 공유), 앵커 대비 간에 잘 전이됩니다.
- 변형 간 전이: 베이스와 인스트럭션 튜닝 모델은 광범위한 레이어별 기여도 패턴을 공유하지만, 결정적인 특정 희소 에지는 인스트럭션 튜닝 후에 변화합니다. 교차 변형 전이는 특히 낮은 앵커 대비와 희소 회로에서 신뢰도가 낮습니다.

결과

충실도: EAP-IG(통합 그래디언트를 적용한 에지 기여도 패칭)가 가장 충실한 국소화 방법으로 나타났으며, 모든 모델과 조건에서 종종 0.90 이상의 CPR 점수를 기록했습니다. 반면, 노드 수준 방법(NAP)은 현저히 낮은 점수(예: 0.36–0.67)를 보였습니다.
앵킹 구조:
- 단일 모델 내에서 낮은 앵커와 높은 앵커의 회로는 레이어별 깊이 분포가 거의 동일하며(피어슨 상관계수 > 0.99), 상위 순위 에지의 약 3분의 2를 공유합니다.
- 인스트럭션 튜닝은 일반적인 기여도 깊이는 유지하지만, 효과를 유발하는 구체적인 희소 에지는 변경합니다. 예를 들어, Qwen-7B의 경우 낮은 앵커 대비에 대한 교차 변형 충실도가 인스트럭션 튜닝된 순위를 사용할 때 0.917(매칭됨)에서 0.291로 떨어졌습니다.
모델 차이: Qwen 모델은 Llama 모델에 비해 더 강한 행동적 앵킹과 더 늦은 레이어의 기여도를 보입니다.

의의 및 주장

본 논문은 언어 모델 내부에서 앵킹 관련 결정 신호가 어떻게 전달되는지에 대한 기계론적 설명을 제공한다고 주장합니다. 앵킹을 회로 국소화 문제로 프레이밍함으로써, 저자들은 편향이 발생한다는 사실을 넘어 그것이 어떻게 계산되는지를 이해하는 단계로 나아갑니다.

저자들이 도출한 주요 함의는 다음과 같습니다:

경로 vs 구성 요소: 앵킹은 경로 수준의 현상입니다. 특정 "편향된" 노드를 격리하는 것보다 구성 요소 간의 정보 흐름을 식별하는 것이 더 효과적입니다.
공유된 메커니즘: 낮은 앵커와 높은 앵커 사이의 강력한 전이는, 앵커 방향에 따른 별개의 실패 모드가 아니라 앵커 민감도를 위한 공유된 내부 메커즘이 존재함을 시사합니다.
사후 학습 민감도: 베이스 모델과 인스트럭션 튜닝 모델 간의 낮은 전이 가능성은 사후 학습이 이 편향에 결정적인 특정 경로를 변화시킨다는 것을 나타내며, 이는 완화 전략이 미세 조정 후에 재평가되어야 함을 암시합니다.
방법론적 기여: 본 연구는 인지 편향에 회로 국소화를 적용하는 유용성을 입증하며, 행동적 관찰에서 프롬프트 유도 편향의 기계론적 이해로 나아가기 위한 프레임워크를 제공합니다.

저자들은 자신들의 연구 결과가 객관식 형식과 특정 데이터셋(OpAQ)에 국한되어 있으며, 식별된 회로가 검증된 로짓 차이 지표를 위한 메커니즘을 나타내는 것이지 개방형 생성에서의 가능한 모든 앵킹 현상을 나타내는 것은 아니라는 점을 명시하며 신중한 태도를 유지하고 있습니다.