기술적 요약: LLM 이 어떻게 설득되는가: 몇 개의 어텐션 헤드가 재라우팅됨

문제 제기

대형 언어 모델 (LLM) 은 설득력 있는 맥락이 제시될 때 사실적 지식을 포기하고 잘못된 정보를 수용하도록 설득될 수 있는 치명적인 안전 취약점을 지니고 있습니다. 행동 연구는 고위험 분야에서 '아첨 (sycophancy)'이 높은 비율로 발생함 (29~62% 의 오류율) 을 문서화했으며, 생성 엔진 최적화 (GEO) 를 통한 이러한 현상의 상업적 악용이 이루어지고 있으나, 이러한 오버라이드의 내부 기작적 원인은 여전히 잘 이해되지 않고 있습니다. 프롬프트 엔지니어링이나 파인튜닝과 같은 기존 방어책은 근본 원인이 아닌 증상에 대응하여 근본적인 취약점을 그대로 남깁니다. 본 논문은 정적 불실성 (static untruthfulness) 을 넘어 입력으로부터 오버라이드가 어떻게 동적으로 구성되는지 이해하기 위해, 설득력 있는 텍스트가 사실적 지식을 어떻게 오버라이드하는지에 대한 최초의 회로 수준 설명을 제공하고자 합니다.

방법론

저자들은 디코더 전용 트랜스포머 모델 (LLaMA-3, Qwen-3, Gemma-2, Gemma-3) 에 활성화 패치 (activation patching) 와 표현 분석을 적용하여 트랜스포머 회로 (Transformer Circuits) 패러다임에 기반한 기작적 해석 가능성 (mechanistic interpretability) 프레임워크를 활용합니다.

1. 실험 설정: 연구는 모델이 사실적 질문에 답변하는 통제된 다중 선택 환경 (NQ2 및 Geo-Bench) 을 사용합니다. 프롬프트는 '클린 (clean)' 프롬프트와 특정 잘못된 옵션으로 모델을 유도하도록 설계된 텍스트 구간 (논리적, 신뢰도 기반, 또는 감정적 호소) 을 포함하는 '설득력 있는 (persuasive)' 프롬프트로 쌍을 이루어 구성됩니다.
2. 인과적 국소화 (활성화 패치): 설득을 담당하는 구성 요소를 식별하기 위해 저자들은 교환 개입 (interchange interventions) 을 수행합니다. 설득 실행에서 특정 구성 요소 (어텐션 헤드 또는 MLP) 의 업데이트를 클린 실행에서의 값으로 대체합니다. 높은 '복원 점수 (restoration scores)'를 보이는 구성 요소 (모델을 올바른 답변으로 되돌리는) 는 인과적으로 결정적이라고 식별됩니다.
3. 기하학적 분석: 저자들은 정답 옵션이 어떻게 인코딩되는지 이해하기 위해 주성분 분석 (PCA) 을 사용하여 잔류 스트림 표현을 분석합니다. 특히 주요 어텐션 헤드 전후의 결정 부분 공간 (decision subspace) 의 기하학을 검토합니다.
4. 회로 추적: 연구는 입력에서 출력까지의 인과적 연쇄를 다음과 같이 추적합니다:
   • 어텐션 헤드를 QK(쿼리 - 키) 및 OV(값 - 출력) 회로로 분해합니다.
   • QK 회로의 특이값 분해 (SVD) 를 통해 랭크 1 의 '옵션 라우팅 특징 (option-routing feature)'을 추출합니다.
   • '노이즈 (noising)' 및 '데노이즈 (denoising)' 패치링을 사용하여 설득 키워드에서 이 라우팅 특징을 구성하는 특정 레이어를 위치시킵니다.

주요 기여 및 발견

1. 희소 결정 헤드와 사면체 기하학

본 논문은 설득에 대한 취약성이 네트워크의 확산된 부식이 아니라 매우 소수의 중간 레이어 어텐션 헤드 (결정 헤드라고 명명됨) 에 국한되어 있음을 식별합니다. LLaMA-3 모델에서 레이어 17, 헤드 24(L17H24) 가 주요 동인입니다.

• 기하학: 이러한 헤드는 네 가지 답변 옵션을 저차원 사면체 (3 차원 부분 공간) 의 서로 다른 꼭짓점으로 인코딩합니다.
• 기작: 설득은 신념을 흐리게 하거나 점진적으로 신뢰도를 낮추는 것이 아닙니다. 대신, 표현이 올바른 답변에 해당하는 꼭짓점에서 설득 대상에 해당하는 꼭짓점으로 이동하는 **이산적 잠재 점프 (discrete latent jump)**를 유발합니다.

2. 추론이 아닌 라우팅

저자들은 결정 헤드가 답변을 결정하기 위해 증거를 내부적으로 계산하거나 추론하지 않음을 증명합니다.

• 복제 기작: 결정 헤드의 OV 회로는 충실한 복제 기작으로 작용합니다. 옵션 토큰은 이미 OV 회로가 읽을 수 있는 방향에 이산적 정체성 코드를 지니고 있습니다. 헤드는 단순히 주의를 기울이는 옵션 토큰을 복사할 뿐입니다.
• 재라우팅: 따라서 설득은 완전히 어텐션 재라우팅을 통해 작동합니다. 만약 주의가 설득 대상 토큰으로 재지향되면 모델은 잘못된 답변을 출력합니다.

3. 옵션 라우팅 특징

본 논문은 결정 헤드의 QK 회로 내에서 어텐션 선택을 지배하는 특정 1 차원 특징 (랭크 1 벡터 $u_k$) 을 분리해냅니다.

• 인과적 제어: 이 특징을 직접 수정하면 모델의 선택을 조종할 수 있습니다. 특징 벡터를 옵션 토큰에 추가하면 선택 확률이 증가하고, 제거하면 설득이 차단됩니다.
• 구성: 이 라우팅 특징은 원시 입력에 존재하지 않습니다. 입력에서 설득 키워드를 읽고 옵션 토큰 표현에 이 특징을 기록하는 더 얕은 어텐션 헤드들의 밴드 (레이어 8~12) 에 의해 구성됩니다.

4. 엔드 투 엔드 인과적 연쇄

연구는 완전한 인과적 연쇄를 검증합니다:

1. 입력: 설득 키워드가 얕은 헤드 (레이어 8~12) 에 의해 읽힙니다.
2. 특징 구성: 이러한 헤드는 옵션 토큰에 옵션 라우팅 특징 ($u_k$) 을 구성합니다.
3. 라우팅: 결정 헤드 (예: L17H24) 는 QK 회로를 통해 이 특징을 읽으며, 어텐션을 설득 대상으로 재지향합니다.
4. 출력: OV 회로는 대상 토큰을 복사하여 결정 사면체에서 잘못된 꼭짓점으로의 이산적 점프를 초래합니다.

5. 실세계 일반화 (GEO)

이 기작은 합성 벤치마크에 국한되지 않습니다. 저자들은 검색된 웹 콘텐츠가 LLM 출력을 장악하기 위해 전략적으로 중독되는 생성 엔진 최적화 (GEO) 시나리오에서도 동일한 결정 헤드와 기하학적 구조가 모델 행동을 지배함을 보여줍니다. 통제된 환경에서 식별된 회로는 이러한 현실적인 중독 시나리오로 직접 이전됩니다.

중요성 및 주장

본 논문은 LLM 설득을 행동적 실패가 아닌 좁고 모니터링 가능한 회로로 재정의합니다.

• 기작적 이해: 모델을 블랙박스로 취급하는 대신 특정 구성 요소 (몇 개의 어텐션 헤드와 1 차원 특징) 를 식별하여 오버라이드가 어디에서 그리고 어떻게 발생하는지에 대한 정확한 설명을 제공합니다.
• 방어 가능성: 특정 경로를 분리함으로써 저자들은 타겟팅된 런타임 모니터가 진행 중인 설득을 감지할 수 있고, 모델을 재학습시키지 않고도 특정 경로를 중화할 수 있음을 시사합니다.
• 한계: 저자들은 연구 결과가 통제된 다중 선택 환경에서 도출되었음을 명시합니다. 이 정확한 회로가 자유 형식 생성 (free-form generation) 을 지배하는지 여부는 여전히 열린 질문입니다. 또한 기작이 특징화되었으나, 본 논문은 이러한 발견을 기반으로 구축된 특정 방어책을 평가하지는 않았습니다.

요약하자면, 본 논문은 설득이 모델의 잔류 스트림 내 특정 저차원 특징에 대한 '재라우팅' 공격이며, 소수 식별 가능한 어텐션 헤드 세트에 의해 제어됨을 주장합니다. 이는 취약성을 정적 지식 오류와 구조적으로 구별되게 만듭니다.