기술 요약: LLM의 정렬 시그니처 측정, 국소화 및 제거

문제 정의

정렬된 언어 모델(LLM)은 세련된 문구, 완곡한 표현, 확언하는 구절, 그리고 매우 규칙적인 구조를 특징으로 하는 인식 가능한 "AI스러운" 스타일의 텍스트를 생성한다. 이러한 패턴은 출력 수준에서 명확히 드러나지만, 이것이 사후 학습(예: 인스트럭션 튜닝, RLHF)에 의해 도입되거나 증폭되는 것인지, 그리고 이것이 모델 내의 국소화된 내부 표현과 대응하는지는 여전히 불분명하다. 기존 연구들은 사후 학습의 효과를 행동적 측면(예: 다양성, 아첨, 장황함의 변화)에서 규명해 왔으나, 이러한 스타일의 변화 자체가 모델의 잔차 스트림(residual stream) 내의 특정하고 식별 가능한 구성 요소에 의해 매개되는지, 그리고 이에 대해 인과적 개입이 가능한지는 알려져 있지 않다.

방법론

1. 사후 학습 변화의 측정

사후 학습의 효과를 격리하기 위해, 저자들은 매칭된 조건 하에서 세 가지 텍스트 소스를 비교한다:

1. 인간 텍의 데이터: 인간이 작성한 소스에서 가져온 원래의 연속 텍스트.
2. 베이스 모델 생성물: 사전 학습된 베이스 모델의 출력.
3. 정렬된 모델 생성물: 사후 학습된 대응 모델의 출력.

프롬프트 변동성을 제어하기 위해 모든 생성물은 동일한 인간 작성 프리픽스(prefix)에 의해 트리거된다. 본 연구는 두 가지 가설을 채택한다:

• H1 (인간 코퍼스 친화도): 정렬된 생성물은 베이스 생성물에 비해 사전 학습 스타일의 인간 참조 코퍼스(RedPajama+)에 대한 수직적 친화도가 낮아야 한다. 이는 infini-gram 인덱스를 통한 *중복 밀도(overlap density)*와 Coverage@10를 통해 측정된다.
• H2 (AI 탐지 가시성): 정렬된 생성물은 베이스 생성물보다 AI 텍스트 탐지기에서 더 높은 점수를 받아야 한다. 본 연구는 탐지기 출력을 실제 저자 라벨이 아닌, 스타일적 분리 가능성의 신호로 취급한다.

2. PASTA: 사후 학습 정렬 시그니처 타겟팅 제거 (Post-training Alignment Signature Targeted Ablation)

이러한 스타일 변화가 국소화된 내부 특징에 의해 매개되는지 테스트하기 위해, 저자들은 훈련이 필요 없는 개입 방법인 PASTA를 도입한다:

• 시그니처 추정: 주어진 레이어 $\ell$에 대해, 이 방법은 소규모 캘리브레이션 세트의 프롬프트들에 대한 정렬된 모델의 평균 잔차 스트림 활성화($\mu^{align}_\ell$)와 베이스 모델의 평균 활성화($\mu^{base}_\ell$)를 계산한다. 후보 사후 학습 방향은 정규화된 차이로 정의된다:
  $$v^{PASTA}_\ell = \frac{\mu^{align}_\ell - \mu^{base}_\ell}{\|\mu^{align}_\ell - \mu^{base}_\ell\|_2}$$
• 레이어 선택: 탐지기 유도 스윕(detector-guided sweep)을 통해, 캘리브레이션 세트에서 제거(ablate)했을 때 AI 탐지율을 가장 낮게 만드는 레이어의 방향($v^{PASTA}_\ell$)을 평가한다.
• 제거(Ablation): 추론 중에, 선택된 방향은 쓰기 사이트(블록 입력, 어텐션 출력, MLP 출력)에서 다음 연산을 사용하여 잔차 스트림에서 투영되어 제거된다:
  $$\text{Ablate}_\alpha(x; v) = x - \alpha(x^\top v)v$$
  여기서 $\alpha$는 제거 강도(기본값 $\alpha=1$)이다.

주요 결과

1. 사후 학습은 스타일을 인간 코퍼스로부터 멀어지게 함

• H1 확인: 5개 도메인(과학 초록, 창작 소설, 의견 기사, 대학 에세이, 뉴스) 전반에 걸쳐, 정렬된 생성물은 베이스 생성물에 비해 인간 참조 코퍼스와의 중복 밀도 및 Coverage@10가 유의미하게 낮음을 보여준다. 순서는 일관되게 Human > Base > Aligned 순이다.
• H2 확인: 정렬된 생성물은 여러 탐지기(예: Pangram, GPTZero)에서 베이스 생성물보다 훨씬 높은 비율로 AI 생성물로 분류된다. 예를 들어, Pangram은 베이스 출력의 9.2%를 분류한 반면, 정렬된 출력의 98.5%를 분류했다. 이는 사후 학습이 베이스 모델의 분포를 넘어 탐지 가능한 정규성을 도입함을 시사한다.

2. PASTA는 탐지 가능성을 감소시킴

• 효과성: 11개의 정렬된 모델에 PASTA를 적용했을 때 AI 탐지율이 유의미하게 감소했다. Pangram 탐지기(레이어 선택에 사용됨)의 경우, 11개 모델 중 8개 모델에서 73 퍼센트 포인트 이상의 감소를 보였으며, 일부 모델(예: Gemma-2-9B, Qinnen2.5-32B)은 98 포인트 이상 감소했다.
• 전이 가능성: 탐지율 감소 효과는 레이어 선택에 사용되지 않은 다른 탐지기(예: ImBD, RAIDAR, Binoculars)에도 전이되었다. 이는 추출된 방향이 특정 탐지기의 단서에 과적합된 것이 아니라 광범위한 사후 학습 신호를 포착하고 있음을 시사한다.
• 특이성: 무작위 직교 방향(random orthogonal directions)은 이 효과를 재현하지 못했으며, 이는 탐지율 감소가 정렬된 시그니처에 특이적임을 확인시켜 준다.

3. 생성 품질의 보존

• 품질 지표: LLM 판별기(Claude Sonnet 4.6)를 사용한 결과, PASTA로 제거된 생성물은 베이스 모델과 비교하여 상당한 관련성과 유창성을 유지했으나, 원래의 정렬된 생성물보다는 약간 덜 세련되었다.
• 트레이드오프: 질적 분석에 따르면, PASTA 생성물은 더 직접적으로 변하며, 수사적 또는 마크다운 형태의 구조를 줄이고, "세련된" 정렬 스타일의 문구를 줄인다. 관련성은 대체로 유지되지만, 공격적인 제거($\alpha > 1$)는 유창성과 일관성을 저하시킬 수 있으며, 이는 탐지 가능성과 품질 사이의 경계(frontier)가 존재함을 나타낸다.

의의 및 주장

본 논문은 사후 학습의 "AI스러운" 스타일 효과가 단순히 출력 수준의 아티팩트가 아니라, 잔차 스트림 내의 측정 가능하고 국소화된 표상 시그니처에 의해 매개된다는 것을 입증한다고 주장한다.

• 측정 및 국소화 가능: 본 연구는 사후 학습이 정렬-베이스 대조를 통해 추정할 수 있는 구체적인 발자국을 모델의 내부 활성화에 남긴다는 증거를 제공한다.
• 인과적 개입: 저자들은 PASTA를 통해 이 시그니처를 모델을 재학습시키지 않고도 활성화 제거를 통해 인과적으로 테스트하고 제거할 수 있음을 보여준다.
• 탐지의 재구성: 결과는 AI 탐지기가 단순히 기계 저자성뿐만 아니라 정렬에 의해 유도된 스타일적 정규성(세련됨, 완곡함, 구조화됨)에 부분적으로 의존할 수 있음을 시사한다. 따라서 목표는 단순히 탐지를 피하는 것이 아니라, 스타일적 다양성을 좁고 인식 가능한 패턴으로 붕괴시키지 않으면서 안전성과 지시 이행을 보존하는 "더 나은 정렬"을 달지하는 것이다.

저자들은 다음과 같은 한계를 명시적으로 언급한다: "AI스러운 스타일"의 정의가 프록시(코퍼스 친화도 및 탐지기 점수)에 의존한다는 점, 속성이 특정 성분(예: SFT vs. DPO)보다는 사후 학습 스택 전체에 귀속된다는 점, 그리고 기계적 설명이 부분적이라는 점(선형 제거가 스타일의 비선형적 또는 분산된 구성 요소를 모두 포착하지 못할 수 있음)이다.