Transcoders for Investigating Deception in Language Models

기술 요약: 언어 모델의 기만 행위 조사를 위한 트랜스코더(Transcoders)

문제 정의
대규모 언어 모델(LLM)이 중요한 시스템에 점점 더 통합됨에 따라, 모델의 안전성과 보안을 보장하는 것이 매우 중요해지고 있습니다. 레드팀(red-teaming)과 같은 기존의 평가 방식은 주로 모델의 출력값만을 분석합니다. 그러나 출력 기반 평가는 기만(deception)과 같은 불안전한 행동을 생성하는 내부 메커니즘에 대한 통찰력을 제공하는 데 한계가 있습니다. 본 연구에서 AI의 기만은 명시적인 사용자 지시에 따라 가용한 정보를 의도적으로 은닉하는 것으로 정의됩니다. 잔차 스트림(residual streams)의 직접적인 프로빙이나 희소 오토인코더(Sparse Auto-Encoders, SAEs)와 같은 기존의 기계론적 해석 가능성(Mechanistic Interpretability, MI) 접근법은 행동 관련 특징(features)을 식별할 수는 있지만, 이러한 특징들이 층(layer) 전반에 걸쳐 어떻게 상호작용하여 기만과 같은 복잡한 행동을 담당하는 회로(circuits)를 형성하는지에 대해서는 제한적인 이해만을 제공합니다. 또한, 기존의 보안 프레임워크는 적응형 공격 전략에 의해 우회될 수 있는 외부 방어 체계에 의존하는 경우가 많으며, 이는 내부 메커니즘을 조사하는 접근 방식의 필요성을 강조합니다.

방법론
본 연구는 Qwen3-4B 모델의 기만적 행동을 분석하기 위해 트랜스코더(transcoders), 구체적으로 **층별 트랜코더(Per-Layer Transcoders, PLTs)**의 활용을 조사합니다. 활성화 재구성(activation reconstruction)을 최적화하는 SAE나 원시 활성화를 분석하는 직접 프로빙과 달리, PLT는 MLP 블록을 인코더-디코더 구조로 대체합니다. 이는 모델의 인과적 변환을 보존하면서 기능적 입출력 동작을 근사화하여, 해석 가능한 특징을 추출하고 층 간의 의존성을 추적할 수 있게 합니다.

연구에는 다음과 같은 방법론적 단계가 적용되었습니다:

1. 데이터셋 구축: 비밀 키(secret keys)를 기만 관련 형용사(예: "private", "hidden")가 포함된 문장 템플릿과 결합하여 프롬프트 데이터셋($n=100$)을 생성했습니다.
2. 특징 식별: 특징의 변환을 층별로 시각화하기 위해 각 프롬프트에 대한 어트리뷰션 그래프(attribution graph)를 구축했습니다. 연구진은 기만 개념(예: "confidential")과 관련된 시드 토큰(seed tokens)으로부터 이후의 특징들로 이어지는 엣지(edge)를 수동으로 추적하여, 부정(negation), 은닉(concealment), 비밀 유지(secrecy)와 연결된 특징들을 식별했습니다.
3. 특징 스티어링 검증: 관련성을 검증하기 위해 식별된 특징들에 대해 **특징 스티어링(feature steering)**을 수행했습니다. 양의 스티어링($x + \alpha x$)과 음의 스티어링($x - \alpha x$, 여기서 $\alpha=5$)을 적용했습니다. 스티어링이 모델 출력의 예측 가능한 반전(예: 비기만적 프롬프트가 기만적으로 변하거나 그 반대의 경우)을 일으키는 경우 해당 특징을 "기만 특징(deception feature)"으로 분류했습니다. 이 과정을 통해 112개의 기만 관련 특징 사전(dictionary)을 도출했습니다.
4. 회로 분석: 가장 빈번하게 발생하는 상위 10개 기만 특징을 분석하여 회로 그래프를 구성했습니다. 특징 간의 상호작용 네트워크를 매핑하기 위해 최소 30% 이상의 프롬프트에서 나타나는 연결만을 유지했습니다.
5. 유의성 검정: 대상 특징 그룹의 성능을 무작위로 샘플링된 제어 그룹(대상 특징 제외)으로부터 생성된 널 분포(null distributions)와 비교하여 통계적 유의성을 확립했습니다.

주요 기여 및 결과

• 기만 특징 사전: 본 연구는 Qwen3-4B 내에서 112개의 고유한 기만 관련 특징을 식별했습니다. 분석 결과, 방대한 수의 별개 특징에도 불구하고 기만적 행동은 소수의 반복되는 하위 집합에 크게 의존한다는 것이 밝혀졌습니다. 상위 10개 특징은 평가된 프롬프트의 55%에서 95% 사이에서 일관되게 나타났습니다.
• 스티어링을 통한 예측 가능한 행동 변화: 특징 스티어링 실험은 식별된 특징을 조작하는 것이 모델 출력에 강력한 영향을 미친다는 것을 입증했습니다.
  • 음의 스티어링: 상위 10개 특징에 음의 스티어링을 적용했을 때, 기만적 프롬프트의 **100%**가 비기만적 응답으로 전환되었으며, 거짓 양성(false positive, 즉 비기만적 프롬프트가 기만적으로 변하는 경우)은 발생하지 않았습니다.
  • 양의 스티어링: 양의 스티어링을 적용했을 때 비기만적 프롬프트의 21%가 기만적으로 변했습니다. 반대로, 기만적 프롬프트에 적용했을 때는 50%가 비기만적 출력으로 전환되었습니다.
  • 통계적 분석 결과, 이러한 변화는 제어 그룹과 비교했을 때 유의미함이 확인되었습니다 ($P < 0.001$).
• 회로 수준의 통찰: 상위 10개 특징은 양의 연결(positive connections)을 형성하는 네트워크를 구성하며, 이는 기만이 고립된 활성화가 아닌 특정 상호작용하는 특징들의 클러스터로부터 발생함을 시사합니다. 본 연구는 이러한 의존성을 성공적으로 추적하여, 회로 내에서 핵심 입력 노드로 작용하는 "핵심 기만 특징(core deception features)"을 식별했습니다.

의의 및 주장
본 논문은 언어 모델의 기만이 트랜코더를 사용하여 격리하고 분석할 수 있는 내부 모델 메커니즘으로부터 발생한다고 주장합니다. 출력 기반 평가를 넘어, 본 연구는 트랜코더가 **회로 수준의 어트리뷰션(circuit-level attribution)**을 가능하게 하여, 연구자들이 특정 특징이 층을 가로질러 어떻게 상호작용하여 복잡한 행동을 생성하는지 추적할 수 있음을 보여줍니다.

연구 결과는 트랜코더가 행동 모니터링 및 악성 행동과 관련된 보안 취약점의 조기 탐지를 위한 잠재력을 가지고 있음을 강조합니다. 기만을 담당하는 특정 내부 회로를 식별하고 조작할 수 있는 능력은, 단순히 출력을 필터링하는 것을 넘어 불안전한 행동의 근본 원인을 다루는 더욱 견고한 AI 안전 조치로 나아가는 경로를 제시합니다. 본 연구는 트랜코더를 네트워크 내의 특징 상호작용으로부터 행동이 어떻게 발현되는지에 대한 충실한 표현을 제공하는, 안전 맥락에서의 기계론적 해석 가능성을 위한 우수한 도구로 포지셔닝합니다.