The Neutral Mask: How RLHF Provides Shallow Alignment while Leaving Partisan Structure Intact in a Large Language Model

기술 요약: 중립의 가면 (The Neutral Mask)

문제 정의
인간 피드백을 통한 강화학습(RLHF)의 주요 목표는 대규모 언어 모델(LLM)을 인간의 가치에 정렬시켜 안전하고 유용하게 만드는 것이다. 그러나 RLHF가 이러한 가치를 인코딩하는 메커니즘은 불투명한 상태로 남아 있다. 최근의 여러 증거는 RLHL이 심층적인 구조적 정렬(deep structural alignment)보다는 "기능적 준수(functional compliance)"를 초래하며, 이는 잠재적인 가치 편향 구조를 제거하기보다 단지 그 표현만을 억제할 뿐이라는 점을 시사한다. 본 논문은 정파적 정치 성향의 관점에서 이 현상을 조사하며, RLHF가 모델의 내부 표현에서 정파적 편향을 실제로 제거하는지, 아니면 단순히 출력 생성 파이프라인으로부터 이를 단절시키는 것인지에 대한 질문을 다룬다.

연구 방법론
본 연구는 두 가지 상태의 Llama 3.1 8B 모델—Base 모델(방대한 텍스트 코퍼스로 사전 학습됨)과 Instruct 모델(RLHF로 미세 조정됨)—의 내부 표현을 비교하는 기계론적 사례 연구를 채택한다. 연구 방법론은 세 가지 주요 기술적 구성 요소로 이루어진다:

1. 정파성 프로빙(Partisan Probing): 190,491개의 의회 트윗을 활용하여 훈련된 선형 프로브를 통해, 저자들은 레이어 18의 은닉 상태 활성화 공간에서 정파적 정체성이 선형적으로 분리 가능한 특정 방향($\hat{\omega}$)을 식별한다. 이 프로브는 84개의 다양한 프롬프트(정치, 역사, 과학 및 비정치적 프롬프트)에 대해 Base 모델과 Instruct 모델 모두에 적용되어 정파성 점수를 측정한다.
2. 희소 오토인코더(SAE) 분해: 의회 트위트의 레이어 18 은닉 상태에 대해 TopK 희소 오토인코더를 훈련시켜, 4,096차원의 잔차 흐름(residual stream)을 32,768개의 잠재 특징(latent features)으로 분해한다. 이를 통해 정책 내용(policy content)을 인코딩하는 특징과 담론 스타일(discourse style)을 인코딩하는 특징을 구분하여 해석 가능한 단일 의미적 특징(monosemantic features)을 격리한다.
3. 특징 수준 스티어링(Feature-Level Steering): 인과 관계를 확립하기 위해 저자들은 활성화 스티어링 실험을 수행한다. 특정 특징(정책 관련 및 레지스터 관련)에 대응하는 SAE 디코더 열을 추출하고, 생성 중에 은닉 상태에 섭동($\alpha \cdot \hat{d}_i$)을 더한다. 이는 내부 표현을 정파적 방향으로 스티어링했을 때 두 모델의 텍스트 생성에 상응하는 변화가 발생하는지 테스트한다.

주요 결과

• 압축이지 삭제가 아니다 (Compression, Not Erasure): RLHF는 정파적 신호의 분산을 극적으로 압축한다. Base 모델의 정파성 점수는 넓은 범위(-0.5에서 1.253까지)에 걸쳐 있는 반면, Instruct 모델의 점수는 0.169 근처의 좁은 띠로 압축된다. 이러한 양(+)의 편향(공화당 성향) 이동에도 불구하고, Instruct 모델의 생성 텍스트는 일관되게 중립적이고 다각적인 관점을 유지한다.
• 정책 특징의 소멸: SAE 분해 결과, 특정 정치적 내용(예: 반(anti)-바이든 수사, 진보적 옹호)을 인코딩하는 5개의 특정 특징이 Base 모델에서는 산발적으로 활성화되지만, 84개의 모든 프롬프트에 대해 Instruct 모델에서는 **완전히 비활성화(zero)**되어 있음이 드러났다.
• 오프셋(Offset)의 본질: Instruct 모델의 잔여 양(+)의 정파성 점수(0ichi.169)는 정책 특징에 의해 유도된 것이 아니다. 분해 결과, 이 점수의 68%는 SAE 디코더 바이어스(의회 트윗 코퍼스에서 상속됨)에서 기인하며, 24%는 정치적 입장이 아닌 격식 있는 담론 스타일(번호 매기기 목록, 인용, 제도적 목소리)을 인코딩하는 단일 특징(32143)에서 기인한다. 이 스타일 특징의 양의 정렬은 정치적 입장이 아니라 훈련 코퍼스의 부산물이다.
• 인과적 단절: 스티어링 실험은 근본적인 행동 차이를 보여준다. Base 모델을 정책 특징 방향으로 스티어링하면 출력이 정파적 방향에 맞춰 변화한다. 반면, Instruct 모델은 스티어링에 반응하여 내부 표현이 움직이지만(정파성 점수가 동일하게 변화함), 생성 파이프라인이 이러한 표현의 변화를 텍스트 출력으로 전환하는 데 실패한다. 즉, Instruct 모델은 스티어링의 크기에 관계없이 계속해서 균형 잡히고 중립적인 텍스트를 생성한다.

주요 기여

1. "삭제가 아닌 단절(Disconnect-Rather-Delete)"의 기계론적 증거: 본 논문은 RLHF가 모델의 표현 공간에서 정파적 기하학을 제거하지 않는다는 경험적 증거를 제공한다. 대신, 그 기하학과 출력 생성 메커니즘 사이의 인과적 경로를 절단한다.
2. 기능적 중립성과 구조적 중립성의 구분: 본 연구는 기능적 중립성(출력이 균형 잡혀 보임)과 구조적 중립성(내부 편향이 제거됨)을 구분한다. 저자들은 Llama 3.1 8B Instruct 모델이 전자를 달성하면서도 후자를 유지하고 있음을 입증한다.
3. 담론 스타일의 역할: 분석을 통해 관찰된 "중립성"이 부분적으로는 RLHF가 모델에게 특정 격식 있고 구조적인 레지스터를 채택하도록 훈련시킨 결과임을 밝혀냈다. 이 레지스터는 정치적 지식이 삭제된 것이 아니라, 훈련 데이터로 인해 정파적 공간의 특정 방향과 우연히 일치하게 된 것이다.

의의 및 주장
본 논문은 정렬된 LLM에서 관찰되는 중립성은 하나의 "가면"이라고 주장한다. 기저의 정파적 기하학은 온전하게 남아 있으며, 인과적 연결 고리를 우회할 경우 재활성화될 수 있다. 저자들은 이러한 "단절-아닌-삭제" 패턴이 현재의 정렬 방식에서 나타나는 일반적인 속성일 가능성이 높다고 주장하며, 이는 독성(toxicity) 및 안전성 영역에서도 이전에 관찰된 바 있다.

이 발견의 의의는 정렬된 행동의 취약성에 있다. 구조적 편향이 남아 있기 때문에, 사용자의 정파적 정체성을 추론하고 증폭하는 메커니가(예: 대화 맥락을 통한) 정파적 생성을 재활성화할 수 있다. 결론적으로, 현재의 정렬 방식은 표면적인 준수만을 달성할 수 있을 뿐이며, 진정한 안전과 정렬을 위해서는 단순히 기존의 가치 편향적 구조 주변으로 생성을 우회하는 것이 아니라 표현 자체를 정렬하는 방법이 필요함을 시사한다. 저자들은 이러한 연구 결과가 Llama 3.1 8B 아키텍처에 국한된 것이며, 이러한 기계론적 분석에 드는 계산적 요구 사항이 현재 오픈 웨이트 모델에 대한 적용을 제한하고 있다고 언급했다.