The Amplifying Mirror: Locating and Steering the Partisan Direction inside a Large Language Model

기술 요약: 증폭하는 거울 (The Amplifying Mirror)

문제 제기
대규모 언어 모델(LLM)은 기존의 검색 엔진을 대체하여 정보 검색의 주요 인터페이스로 급격히 부상하고 있다. 기존의 검색 엔진이 인간이 작성한 기존 콘텐츠를 검색하는 것과 달리, LLM은 학습 과정에서 습득한 내부 표현을 바탕으로 새로운 텍스트를 생성한다. 여기서 핵심적인 우려는 이러한 모델이 사용자의 편향을 단순히 반영하는 것을 넘어 증폭할 수 있다는 점이다. 구체적으로, 본 논문은 LLM이 내부 활성화 공간(activation spaces) 내에 당파적 정치 정체성을 인코딩하고 있는지, 그리고 이 인코딩이 생성 과정에 인과적으로 영향을 미치는지 조사한다. 저자들은 만약 모델이 사용자의 추론된 정체성에 대한 표현을 구축한다면, 모델이 그 정체성을 반영하도록 출력을 조건화함으로써 중립적인 정보를 제공하기보다 기존의 신념을 강화하는 "거울" 역할을 하게 될 것이라고 상정한다.

연구 방법론
본 연구는 Llama 3.1 8B Instruct 모델과 2016년 9월부터 2023년 2월 사이에 게시된 미국 의회 의원들(공화당 및 민주당)의 트윗 190,491개로 구성된 데이터셋을 활용한다. 연구 방법론은 다음과 같이 세 가지 주요 단계로 진행된다:

1. 신호 탐지 및 국소화 (Signal Detection and Localization):

   • 저자들은 모든 32개 트랜스포머 레이어에서 모든 트윗에 대한 은닉 상태(hidden-state) 활성화를 수집했다.
   • 각 레이어의 잔차 스트림(residual-stream) 활성화에 대해 저자의 정당 소속을 예측하는 선형 프로브(로지스틱 회귀 분류기)를 훈련시켰다.
   • 목표는 특정 당파적 신호가 선형적으로 분리 가능하고 안정적인 특정 레이어를 식별하는 것이다.

2. 인과적 개입 (Causal Intervention/Steering):

   • 대상 레이어가 식별되면, 저자들은 생성 과정 중 은닉 상태에 대한 인과적 개입을 수행했다.
   • 절제 (Ablation): 학습된 당파적 방향($\hat{\omega}$)에 직교하는 하이퍼플레인(hyperplane)으로 활성화를 투영하여 당파적 성분을 제거했다.
   • 증폭 (Amplification): $\hat{\omega}$를 따라 스케일링된 벡터를 공화당 또는 민주당 방향으로 더함으로써 당파적 성분을 증폭시켰다.
   • 이러한 개입은 논쟁적인 정치적 쟁점을 다루는 150개의 프롬프트와 "비당파적" 문화 관련 프롬프트에 대해 테스트되었다.

3. 희소 오토인코더(SAE)를 통한 분해 (Decomposition via Sparse Autoencoders):

   • 당파적 방향의 내부 어휘를 이해하기 위해, 저자들은 은닉 상태 활성화에 대해 **희소 오토인코더(SAE)**를 훈련시켰다.
   • TopK 아키텍처(활성화를 $k=64$개의 특징으로 제한)를 사용하여, 당파적 방향을 해석 가능한 희소 특징(sparse features)으로 분해함으로써, 해당 신호가 단일한 특징인지 아니면 더 좁은 개념들의 집합체인지를 결정했다.

주요 결과

• 당파적 신호의 국소화: 당파적 신호는 분산되어 있지 않고 특정 기하학적 축으로 결정화된다. 신호는 중간 레이어에서 나타나며, 레이어 18에서 프로브는 교차 검증된 AUC 0.945와 Cohen's d 1.94를 달로 달성했다. 이는 당파적 정체성에 대한 강력하고 선형적으로 분리 가능한 표현이 존재함을 나타낸다.
• 인과적 스티어링 (Causal Steering): 레이어 18의 축을 따라 개입한 결과, 출력에 체계적이고 예측 가능한 변화가 나타났다:
  • 입장 반전 (Stance Reversal): 모델은 증폭의 방향에 따라 이진 정책 질문(예: "모두를 위한 메디케어" 또는 "최저임금 인상")에 대해 입장을 완전히 뒤집었다.
  • 레지스터 변화 (Register Shifting): 모델은 유도된 정치적 진영에 맞춰 수사적 스타일, 어휘, 감정적 톤을 변경했다(예: 서로 다른 싱크탱크를 인용하거나 특정 정치적 프레임을 사용함).
  • 구조적 조작 (Structured Fabrication): 중요한 발견으로서, 모델은 실제 정치인 및 조직과 연관된, 그럴듯하게 들리는 구체적인 인용구를 생성했다. 이는 무작위적인 환각(hallucination)이 아니라, 특정 주장을 만들어내고 이를 실제 권위자에게 귀속시키는 "구조적 조작"이었다(예: 특정 세금 인상 주장을 모 브룩스 의원의 발언으로 귀속시킴).
• 분해 (Decomposition): SAE 분석 결과, 레이어 18의 당파적 방향은 부분적으로 결정화되어 있음이 드러났다. 64개의 특징을 가진 희소 코드가 대부분의 신호를 포착하지만(원래 활성화의 AUC 0.935 대비 0.911), 완벽한 재구성은 아니다. 회복된 특징들은 인식 가능한 정치적 담론(예: 공화당의 반정부 수사, 민주당의 투표권 문제)에 대응하며, 이는 모델이 특정 이데올로기적 콘텐츠를 이 기하학적 축으로 집계하고 있음을 시사한다.
• 선택적 활성화: 당파적 방향은 선택적으로 활성화된다. 이는 문화적으로 민감하거나 정치적인 프롬프트에는 출력에 상당한 영향을 미치지만, 중립적인 프롬프트(예: 자동차 또는 에너지원 추천)에는 거의 영향을 미치지 않음을 보여준다. 이는 해당 편향이 균일한 노이즈가 아니라 구조화된 인코딩임을 나타낸다.

의의 및 주장
본 논문은 LLM의 당파적 편향이 막연한 창발적 속성이나 패치해야 할 "버그"가 아니라, 모델이 사용자 정보를 인코딩하는 방식의 구조적, 기하학적 특징이라고 주장한다.

• 기계론적 이해: 본 연구는 당파적 표현이 위치를 특정할 수 있고, 분해 가능하며, 인과적으로 조작 가능하다는 것을 입증한다. 이는 모델의 편향이 설명 불가능한 블랙박스라는 관점에 도전한다.
• "증폭하는 거울": 저자들은 LLM이 사용자의 추론된 정체성을 다시 비추는 거울 역할을 한다고 주장한다. 모델이 당파적 경향을 감지하면, 모델은 그 경향에 부합하도록 생성을 조건화하여 기존의 신념을 강화한다.
• 구조적 허위 정보: "구조적 조작"의 발견은 심각한 사회적 위험으로 강조된다. 무작위 환각과 달리, 이러한 출력은 확신에 차 있고 출처가 명시되어 있으며 사용자의 추론된 정체성에 맞춤화되어 있어, 검증하기 매우 어렵고 믿기 쉽다.
• 설계적 함의: 논문은 LLM이 검색 엔진을 대체함에 따라, 큐레이션된 정보 생태계에서 생성된 생태계로의 전환은 제품 설계에 대한 근본적인 재평가를 요구한다고 결론짓는다. 편향은 의도적인 양극화라기보다 상류 단계의 설계 선택(정렬 학습, 사전 학습 코퍼스, 사용자 모델링 등)의 결과이다. 저자들은 이러한 메커니즘을 이해하는 것이 새로운 정보 지형의 법적, 사회적, 정치적 전환을 헤쳐 나가는 데 필수적이라고 단언한다.

본 연구는 단일 모델(Llama 3.1 8B)의 검토와 의회 트윗에 기반한 당파성의 조작적 정의와 같은 한계를 언급하며 그 범위를 겸허히 제한하고 있다. 그러나 본 연구는 잠재적인 교정 방법을 테스트하고 다양한 모델이 당파적 신호를 어떻게 인코딩하고 활용하는지 평가할 수 있는 구체적인 도구(스티어링 장치)를 제공한다.