기술적 요약: 인코더 기반 언어 모델에서 저자성 신호가 어디서 나타나는가?

문제 제기

저자성 귀속 (Authorship Attribution, AA) 시스템은 일반적으로 대비 학습 (contrastive learning) 패러다임을 사용하며, 사전 훈련된 텍스트 인코더가 지문 (passages) 에 대한 표현을 생성하고, 점수 함수가 이러한 표현들을 비교하여 저자성 유사성을 결정합니다. 최근 연구 (Kulumba et al., 2025) 는 놀라운 수수께끼를 드러냈습니다. 동일한 사전 훈련된 인코더, 훈련 데이터, 그리고 대비 손실 (contrastive loss) 로 미세 조정된 모델들이 점수 매김 메커니즘에 따라만 4 배의 성능 격차를 보일 수 있다는 사실입니다. 구체적으로, 평균 풀링 (mean pooling)(토큰 임베딩을 단일 벡터로 평균화) 을 사용하는 모델들은 Late Interaction (LI)(MaxSim 을 통해 토큰 벡터를 직접 비교) 을 사용하는 모델들에 비해 현저히 낮은 성능을 보입니다.

본 논문이 다루는 핵심 질문은 이 불일치의 근원입니다. 두 가지 가설이 고려되었습니다:

1. 표현 학습 가설 (Representation Learning Hypothesis): 서로 다른 점수 매김 메커니즘이 미세 조정 과정에서 인코더가 근본적으로 다른 내부 표현을 학습하게 만든다.
2. 읽어내기 가설 (Readout Hypothesis): 인코더는 점수 매김기와 관계없이 유사한 표현을 학습하며, 성능 격차는 추론 시 이러한 표현이 어떻게 읽어내어 (점수 매김) 지는 데서 비롯된다.

방법론

저자들은 특징의 가용성 (availability)(정보가 은닉 상태에 존재하는지 여부) 과 특징의 사용 (use)(점수 매김 메커니즘이 인과적으로 그 정보에 의존하는지 여부) 을 구분하기 위해 기계적 해석 가능성 (mechanistic interpretability) 도구를 활용합니다. 본 연구는 다음과 같은 실험 설정과 도구를 사용합니다:

• 모델: ModernBERT-base 백본 (23 층, 149M 파라미터) 을 공유하는 세 개의 미세 조정 모델이 HALvest-Contrastive 코퍼스 (주제가 저자성과 상관관계가 없는 학술 코퍼스) 에서 훈련되었습니다. 모델들은 점수 매김 메커니즘만 달랐습니다:
  • Layerwise (평균 풀링): 점수 매김 전에 토큰 임베딩을 평균화합니다.
  • Late Interaction (LI): 토큰 수준의 MaxSim 을 사용합니다.
  • Patch-Level Late Interaction (PLI): bigram 패치와 MaxSim 을 사용하는 하이브리드 방식입니다.
  • 제어 모델 (E5, 제로샷) 이 포함되었습니다.
• 프로브 세트 (Probe Set): 통제된 토큰 길이 (목표 130) 를 가지며 난이도 (Tier A: 분리된 저자들; Tier B: 부분적 저자 중복; Tier C: 교차 도메인) 에 따라 층화된 148 개의 삼중항 (anchor, positive, negative) 으로 구성된 선별된 세트입니다.
• 분석 도구:
  1. LISA Probes: 23 개의 인코더 층 각각에서 훈련된 선형 회귀 프로브로, 스타일적 특징 (예: 단어 길이, 문장 부호 밀도, 기능어 빈도) 의 선형 가독성을 측정합니다.
  2. 잔류 스트림 패칭 (Residual Stream Patching): "부패한 (corrupt)" 지문 (음성) 의 은닉 상태를 특정 층에서 "깨끗한 (clean)" 지문 (양성) 의 은닉 상태로 교체하는 인과적 개입입니다. **순위 복구 (Rank recovery)**는 이 개입 후 모델이 음성을 양성보다 올바르게 순위 매기는지 여부를 측정하여, 저자성 신호가 인과적으로 필수적이 되는 층을 식별합니다.
  3. 점수 민감도 (Score Sensitivity): 단일 층의 활성화가 복원될 때 점수 출력의 절대적 변화를 측정합니다.
  4. 훈련 역학 (Training Dynamics): 신호 통합의 진화를 관찰하기 위해 8 개의 훈련 체크포인트에 걸쳐 패칭 분석을 적용합니다.

주요 결과

1. 특징 가용성은 불변이다

LISA 프로브 결과 (그림 3) 는 스타일적 특징이 모든 모델 (평균 풀링, LI, PLI, 그리고 제어 모델 E5) 의 은닉 상태에서 모든 층에 걸쳐 거의 동일한 $R^2$ 점수로 선형적으로 읽을 수 있음을 보여줍니다.

• 시사점: 사전 훈련된 백본은 이미 스타일적 특징을 인코딩하고 있습니다. 대비 미세 조정은 새로운 스타일적 표현을 생성하지 않으며, 서로 다른 점수 매김기가 인코더에게 다른 표현을 학습하게 하지 않습니다. 이는 표현 학습 가설을 배제합니다.

2. 인과적 패칭은 점수 의존적 깊이 프로파일을 드러낸다

순위 복구 곡선 (그림 4) 은 점수 매김 메커니즘에 따라 모델의 올바른 순위 복원 능력이 의존하는 뚜렷한 "통합 지점 (consolidation point)"을 보여줍니다:

• 평균 풀링: 신호 통합이 일찍 발생합니다. 순위 복구가 9 층에서 우연 기준선을 넘어서며 13 층에 이르러 거의 완벽한 복구에 도달합니다.
• Late Interaction (LI) 및 PLI: 신호 통합이 지연됩니다. 순위 복구가 14~16 층까지 우연 이하로 머물며, 최종 층에서만 높은 복구에 도달합니다.
• 격차: 저자성 신호가 인과적으로 필수적이 되는 깊이에는 일관된 6 층 격차가 존재합니다.

3. 그래디언트 구조와 정보 손실

이 논문은 그래디언트 분포에 기반한 이론적 설명을 도출합니다:

• 평균 풀링: 모든 토큰에 걸쳐 밀집되고 균일한 그래디언트를 생성합니다. 이는 인코더가 평균화 과정을 견디기 위해 저자성 관련 정보를 네트워크 초기에 단일 벡터로 압축하도록 강제합니다. 이는 "통합 병목 (consolidation bottleneck)"을 생성하고, 위치 구조를 무시하는 순열 불변 평균화로 인해 정보 손실 (데이터 처리 부등식) 을 초래합니다.
• Late Interaction: 희소하고 선택적인 그래디언트를 생성합니다 (argmax 로 선택된 토큰만 업데이트를 받음). 이는 인코더가 토큰별 구조를 보존하고 통합을 더 깊고 추상적인 층으로 지연시킬 수 있게 합니다.

4. 훈련 역학

훈련 체크포인트 분석 (그림 6) 은 뚜렷한 학습 궤적을 보여줍니다:

• 평균 풀링: **상향식 (top-down)**으로 학습합니다. 모델은 초기에 상부 층에 의존하며, 훈련이 진행됨에 따라 통합 지점이 아래로 이동 (15 층에서 9 층으로) 하여 초기 통합 병목을 충족시키기 위해 점차 더 깊은 층을 동원합니다.
• Late Interaction: 중간 훈련 단계에서 일시적인 초기 층 스파이크 (5~10 층) 를 보여 얕은 어휘적 매칭을 활용합니다. 훈련이 계속되고 음성이 더 어려워짐에 따라 모델은 이러한 단축키를 억제하고 더 깊은 층 (19 이상) 으로 의존성을 전환합니다.
• PLI: 초기 스파이크 없이 점진적으로 나타나며, 최종 체크포인트에서 고유한 중간 층 혹 (10~15 층) 을 보입니다.

중요성과 주장

이 논문은 병목이 인코더가 무엇을 학습하는지에 있는 것이 아니라, 점수 매김기가 그것을 어떻게 읽어내는지에 있다는 것을 입증함으로써 저자성 귀속의 4 배 성능 격차 수수께끼를 해결했다고 주장합니다.

• 가용성과 사용의 분리: 이 연구는 점수 매김 메커니즘이 다를 때 높은 특징 가용성 (프로브 정확도) 이 작업 성능에 대한 나쁜 대리 지표임을 실증적으로 보여줍니다. 모든 모델이 필요한 스타일적 특징을 보유하고 있지만, 차이는 특정 깊이에서 이러한 특징들의 인과적 필요성에 있습니다.
• 실패 메커니즘: 평균 풀링은 초기 신호 통합을 강제하여 고성능 AA 에 필요한 세밀한 스타일적 정보 (예: 단어 순서 및 특정 토큰 상호작용) 를 파괴합니다. Late interaction 은 모델이 더 깊고 문맥화된 표현을 활용할 수 있게 함으로써 이러한 세밀함을 보존합니다.
• 이론적 기여: 이 작업은 점수 함수의 그래디언트 구조 (밀집 대 희소) 를 인코더 내 신호 통합의 깊이와 직접적으로 연결하여, 상호작용 기반 시스템이 AA 작업에서 풀링된 표현보다 일관되게 우수한 성능을 보이는 이유에 대한 기계적 설명을 제공합니다.

저자들은 대비식 저자성 귀속의 주요 한계가 스타일을 인코딩하는 인코더의 용량이 아니라, 조기 압축 없이 그 스타일을 보존하고 활용하는 점수 매김 메커니즘의 능력이라고 결론지었습니다.