기술 요약: 스티어링 및 활성화 시그니처 추출을 통한 LLM 자기 인식

문제 정의

대규모 언어 모델(LLM)이 콘텐츠 생성 분야에서 보편화됨에 따라, AI가 생성한 텍스트와 인간이 작성한 콘텐츠를 구별하고 특정 출력물을 특정 모델이나 인스턴스에 귀속시키는 작업이 감사 및 책임 추적을 위해 매우 중요해졌습니다. 현재의 탐지 방법들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 워터마킹(Watermarking): 숨겨진 정보를 인코딩하기 위해 토큰 확률을 수정하거나 토큰을 선택하는 전통적인 방식은 계산 오버헤드를 초래하며, 탐지 견고성과 출력 품질 사이의 트레이드오프 문제를 겪습니다.
• 생성 후 분류기(Post-Generation Classifiers): 텍스트의 통계적 특성이나 레이블링된 코퍼스로 학습된 분류기에 의존하는 방식은 도메인 변화(domain shifts)에 민ist하고, 서로 다른 LLM 또는 특정 모델 인스턴스를 구분하는 데 어려움을 겪습니다.
• 자기 인식 격차(Self-Recognition Gap): 최근의 해석 가능성 연구는 LLM이 자신의 출력을 인식할 수 있음을 시사하지만, 이러한 능력이 신뢰할 수 있는 귀속(attribution)을 위해 체계적으로 활용되지 않았으며, 텍스트 품질을 저하시키지 않으면서 제어 가능하고 회수 가능한 시그니처를 통해 증강되지도 않았습니다.

방법론

본 논문은 LLM의 내부 잔차 스트림 활성화(internal residual stream activations)를 자기 인식과 귀속 모두에 활용하는 프레임워크를 제안합니다. 이 접근 방식은 탐지 시 대상 모델의 내부 활성화에 접근할 수 있다고 가정하는 화이트박스 위협 모델(white-box threat model) 하에서 작동합니다.

1. 활성화 추출 및 자기 인식

저자들은 토큰 시퀀스에 대해 고정된 레이어 $l$(일반적으로 네트워크 중간 부근)에서의 중간 활성화 $A_l(x_i)$를 추출합니다. LLM 생성 텍스트와 인간 작성 텍스트를 구분하기 위해, 이들은 단순 평균을 통해 이러한 토큰 수준의 활성화를 고정 차원 표현으로 집계합니다. 이후 이 설정에서 가벼운 선형 판별 분석(LDA) 분류기를 학습시킵니다. 이 설정은 모델의 본질적인 "자기 인식" 능력을 테스트합니다.

2. 스티어링 기반 워터마킹

다중 모델 귀속(동일한 베이스 모델의 서로 다른 인스턴스 간 구별)을 가능하게 하기 위해, 저자들은 추론 시 스티어링 메커니즘을 도입합니다.

• 벡터 주입(Vector Injection): 생성 중에 무작위 희소 벡터(random sparse vector) $v \in \mathbb{R}^d$를 증폭 계수 $\alpha$에 의해 스케일링하여, 모든 토큰에 대해 레이어 $l$의 중간 활성화에 더합니다:
  $$A_l(x_i) \leftarrow A_l(x_i) + \alpha v$$
• 희소성(Sparsity): 밀집된 개입(dense interventions)과 달리, 스티어링 벡터는 높은 희소성(99.7%의 차원이 0)을 갖도록 구성됩니다. 이 설계 선택은 의미적 콘텐츠에 대한 섭동을 최소화하면서도 탐지 가능한 신호를 유지하는 것을 목표로 합니다.
• 회수(Retrieval): 탐지 시, 생성된 텍스트를 (스티어링 없이) 동일한 모델에 통과시켜 활성화를 추출합니다. 원래의 스티어링 벡터는 다음 중 하나를 통해 회수됩니다:
  • 지도 학습(Supervised Learning): 스티어링 인덱스를 분류하도록 학습된 다층 퍼셉트론(MLP).
  • 제로샷 기하학적 회수(Zero-Shot Geometric Retrieval): 추출된 활성화와 후보 스티어링 벡터 간의 코사인 유사도를 계산하며, 이는 무작위 벡터가 의미적 매니폴드(semantic manifolds)에 대해 갖는 직교성에 의존합니다.

주요 기여

본 논문은 세 가지 기여를 합니다:

1. 자기 인식의 경험적 입증: 저자들은 LLM이 저엔트로피 시나리오(예: 짧은 뉴스 요약)에서도 원본 프롬프트에 대한 접근 없이도 자신의 출력과 인간이 작성한 텍로를 신뢰할 수 있게 구별할 수 있음을 보여줍니다.
2. 스티어링 기반 귀속 메커니즘: 내부 활성화를 스티어링함으로써 구별 가능하고 회수 가능한 고유 시그니처를 생성 텍스트에 주입하는 방법을 도입합니다. 이를 통해 동일한 모델의 여러 스티어링된 인스턴스 간에 정확한 귀속이 가능해집니다.
3. 활성화 공간 구조 분석: 이 연구는 내부 활성화 공간이 무작위 신호를 인코딩하기 위한 활용 가능한 구조를 포함하고 있음을 입증합니다. 희소한 개입이 의미적 간섭을 최소화하면서 신호 회수를 허용함을 보여주며, 이는 LLM 표현의 고차원 기하학 덕분에 귀속 신호가 의미적 콘텐츠와 공존할 수 있음을 시사합니다.

실험 결과

Llama-3.1-8B, Llama-3.2-3B/1B, Ministral-3-8B 등 다양한 모델을 대상으로 XL-Sum(저엔트로피 요약), ELI5(개방형 질의응답), 그리고 큐레이션된 Fresh News 데이터셋을 사용하여 실험을 수행했습니다.

• 자기 인식 성능: 활성화 기반 분류기는 LLM 텍스트와 인간 텍스트를 구별하는 데 있어 거의 완벽한 AUROC 점수(종종 >99%)를 달0했습니다. 결정적으로, 이 성능은 프롬프트 불가지론적(prompt-agnostic) 설정에서도 견고하게 유지되었으며, 이는 프롬프트 접근 없이는 퍼플렉시티(perplexity) 기반 베이스라인들이 종종 실패하거나 무작위 수준에 머물렀던 것과 대조적입니다.
• 귀속 정확도: 다중 모델 귀속 작업(두 개 이상의 스티어링된 변체 간 구별)에서, 이 방법은 높은 F1 점수(예: Llama-3.1-8B의 경우 ELI5에서 99.1%)를 달성했습니다. 성능은 모델 크기에 따라 확장되었으며, 클래스 수가 증가하더라도 무작위 기준치보다 현저히 높게 유지되었습니다.
• 견고성: 스티어링 신호는 전통적인 KGW 워터마킹에 비해 패러프레이징(DIPPER-XXL 사용)에 대해 우수한 견고성을 보여주었습니다. 신호는 강력한 패러프레이징 후에도 지속되었는데, 이는 귀속이 로컬 토큰 통계보다는 많은 토큰에 걸친 집계된 활성화 패턴에 의依赖하기 때문인 것으로 보입니다.
• 품질 보존: 미세 조정된 DeBERTa 품질 분류기와 MMLU 벤치마크를 사용하여, 저자들은 희소 스티어링이 텍스트 품질에 미치는 저하가 미미함을 발견했습니다. 일부 사례에서는 스티어링된 모델이 약간의 품질 향상을 보이거나 바닐라 모델 대비 1-2% 이내의 성능을 유지하여, 밀집된 개입에서 흔히 나타나는 저하 현상을 능가했습니다.
• 직접 신호 회수: 본 연구는 학습된 분류기 없이 코사인 유사도를 통해 스티어링 벡터를 회수할 수 있음을 확인하였으며, 84.6%의 텍스트 수준 귀속 정확도(학습된 MLP의 99.1% 대비)를 달성하여 신호의 물리적 인코딩을 검증했습니다.

의의 및 주장

본 논문은 외부적으로 신호를 삽입하는 대신 모델의 자연스러운 표현 구조를 활용함으로써 전통적인 워터마킹에 대한 실질적인 대안을 제공한다고 주장합니다. 주요 시사점은 다음과 같습니다:

• 본질적 귀속: 이 방법은 "AI-성(AI-ness)"을 탐지하는 것에서 특정 모델 인스턴스나 스티어링 구성을 식별하는 것으로 패러다임을 전환하여, 더 세밀한 책임 추적을 지원합니다.
• 효율성 및 품질: 내부 활성화에 희소 벡터를 사용하여 작동함으로써, 희소 자동 인코더(sparse autoencoders)나 복잡한 토큰 선택 전략의 계산 오버헤드를 피하면서도 텍스트 유용성을 보존합니다.
• 아키텍처 특이성: 저자들은 스티어링 신호가 아키텍처 특이적임을 언급합니다. 텍스트가 다른 모델 패밀리에 의해 생성될 경우 탐지 성능이 무작위 수준으로 저하되는데, 이는 서브리미널 학습(subliminal learning)에서 관찰되는 현상과 유사합니다. 이는 신호가 모델 패밀리 내에서는 기하학적으로 일관되지만, 아키텍처 간에는 일반화되지 않음을 시사합니다.
• 향후 방향: 이 연구는 여러 희소 벡터를 중첩하여 조합 가능한 멀티 비트 워터마크를 만드는 가능성을 제시하며, 무작위 스티어링 방향이 안전 위험이나 편향을 유발하지 않는지에 대한 해석 가능성 연구의 필요성을 강조합니다.

저자들은 내부 표현이 모델 특유의 생성 시그니처를 탐지하고 유도하기 위한 원칙적인 메커니즘을 제공하며, 견고성, 확장성 및 텍스트 품질 사이의 균형을 맞추는 유연한 프레임키를 제공한다고 결론짓습니다.