기술 요약: LLM 내의 기만 탐지 프로브에 대한 압력 테스트

문제 제기

대형 언어 모델 (LLM) 의 내부 활성화에 대해 훈련된 선형 프로브는 기만 생성을 탐지하는 주요 방법으로 부상했으며, 정답 레이블 없이 모델 출력의 기만 여부를 점수화하는 자동화된 지표를 제공합니다. 이러한 프로브는 정제된 벤치마크에서 거의 완벽한 AUROC 점수 (종종 0.96 초과) 를 보고하지만, 스타일 변경이나 적대적 접미사 같은 분포 변화 하에서는 심각한 취약성을 보입니다. 이러한 "프로브 취약성 격차"는 다음과 같은 중대한 질문을 제기합니다: 실패의 원인은 기만이 선형적으로 표현 불가능한 근본적인 아키텍처 한계 때문인지, 아니면 좁은 훈련 분포의 방법론적 인공물인지? 또한, 기만이 단일 선형 방향으로 인코딩되는지, 다차원 부분 공간인지, 볼록 원뿔 껍질인지, 아니면 단순히 계산적 엔트로피의 대리인지 여부는 여전히 불분명합니다.

방법론

본 연구는 스케일링 효과를 격리하기 위해 아키텍처의 동질성을 선택한 Gemma 3 모델 패밀리 (1B, 4B, 12B, 27B 파라미터) 전반에 걸쳐 기만 프로브에 대한 체계적인 압력 테스트를 제시합니다. 연구 설계는 기만의 기하학에 관한 네 가지 경쟁 가설을 포함하며, 각각 사전 등록된 반증 가능한 예측을 갖습니다:

1. H-LIN (선형 방향): 기만은 단일 단위 벡터에 인코딩됩니다.
2. H-SUB (부분 공간): 기만은 다차원 대칭 선형 부분 공간을 차지합니다.
3. H-CONE (원뿔 껍질): 기만은 비대칭 볼록 원뿔을 형성합니다.
4. H-ENT (엔트로피 대리): 프로브는 기만 의도가 아닌 계산적 엔트로피를 탐지합니다.

실험 설계:

• 데이터셋: 시스템 프롬프트 조작을 통해 정직한 상태와 기만 상태를 유도하기 위해 세 가지 주요 데이터셋이 구축되었습니다: D-RepE (대조적 사실 질문), D-Role (역할극 시나리오), D-MASK (신념 모순).
• 프로브 훈련: 최종 토큰의 잔여 스트림 활성화에 대해 로지스틱 회귀 프로브가 훈련되었습니다. 실험에는 단일 방향 프로브, 다차원 프로브 (상위-$k$개 PCA 성분 사용), 그리고 비선형 MLP 상한선이 포함되었습니다.
• 강건성 테스트: 분포 강건성을 테스트하기 위해 프로브는 8 가지 직교 스타일 변화 (예: 해적, 셰익스피어풍, 로봇) 하에서 평가되었습니다.
• 증강: 근본적인 한계와 훈련 인공물을 구분하기 위해, "스타일 증강" 프로브는 정제된 예시와 8 가지 스타일 변화 중 4 가지를 결합한 데이터로 훈련된 후, 홀드아웃 스타일에서 평가되었습니다.
• 기하학적 분해: 전이 실패가 레이어 정렬 불일치 때문인지 기하학적 불연속성 때문인지 판단하기 위해 교차 도메인 전이 행렬과 레이어 불일치 분해가 사용되었습니다. 엔트로피와 기만 신호를 분리하기 위해 엔트로피 잔류화 테스트가 수행되었습니다.

주요 결과

1. 단일 방향 가설 (H-LIN) 기각

기만이 단일 선형 축에 있다는 가정과 달리, 단일 방향 프로브 ($k=1$) 는 모든 모델 스케일에서 기만 신호의 6180% 만 포착했습니다 (AUROC 0.610.80). 거의 완벽한 탐지 (AUROC >0.90) 를 회복하려면 다차원 프로브 ($k \ge 5$) 가 필요했습니다. 또한, 교차 도메인 전이 분석은 모델 스케일이 커질수록 기만 유형이 기하학적으로 점점 더 불연속적으로 변한다는 것을 밝혔습니다. 예를 들어, D-MASK 데이터로 훈련된 프로브는 27B 모델에서 D-RepE 데이터에 적용될 때 우연 수준 이하 (AUROC 0.298) 로 성능을 발휘하여, 단순한 정렬 불일치가 아닌 능동적인 반상관을 나타냈습니다.

2. 일관된 부분 공간에 대한 약한 지지 (H-SUB)

다차원 프로브가 성능을 향상시켰지만, 순열 널 기준선 (permutation null baselines) 을 사용한 도메인별 PCA 분석은 개별 도메인 내나 통합된 데이터 내에서 통계적으로 유의미한 부분 공간이 존재하지 않음 ($k^*=0$) 을 보여주었습니다. 다차원 프로브의 이점은 일관된 고분산 부분 공간을 포착하는 것이 아니라, 개별적으로 임계값 미만의 많은 분산된 특징들을 집계하는 데서 비롯됩니다.

3. 엔트로피 대리 가설 (H-ENT) 기각

프로브가 계산적 엔트로피를 탐지한다는 가설은 결정적으로 기각되었습니다. 프로브 점수와 토큰 엔트로피 간의 최대 상관관계는 $|\rho| = 0.454$로, 0.8 임계값보다 훨씬 낮았습니다. 또한, 활성화에서 엔트로피를 잔류화한 결과 AUROC 감소가 미미했습니다 ($\Delta = 0.004$). 이는 프로브가 인지 부하나 엔트로피와 구별되는 기만 관련 신호를 탐지함을 확인시켜 주었습니다.

4. 아키텍처 한계가 아닌 훈련 인공물로서의 취약성

표준 훈련 (정제된 데이터만) 하에서 프로브의 강건성은 스케일 전반에 걸쳐 역 U 자형 패턴을 따랐습니다: 1B (0.652) $\to$ 4B (0.759) $\to$ 12B (0.609) $\to$ 27B (0.485). 27B 모델은 용량에도 불구하고 스타일 변화 하에서 우연 수준으로 무너졌는데, 이는 우수한 지시 이행 충실도가 프로브가 학습한 좁은 스타일 단서를 덮어썼기 때문입니다.

그러나 스타일 증강 훈련은 이러한 취약성을 해결했습니다. 다양한 스타일 데이터로 훈련된 프로브는 4B (AUROC 0.979) 와 27B (AUROC 0.983) 모델 모두에서 보지 못한 스타일에서 거의 완벽한 탐지를 회복했습니다. 이는 잔여 스트림에 스타일 상관관계와 분리 가능한 기만 관련 신호가 포함되어 있음을 보여주며, 관찰된 강건성의 "역스케일링"은 근본적인 스케일 의존적 현상이 아닌 훈련 분포의 좁음의 결과임을 시사합니다.

5. 탐지된 신호의 본질

층별 분석은 프로브가 기만 그 자체의 성공이 아닌 "기만 프롬프트 영역" (기만 시스템 프롬프트에 의해 유도된 내부 상태) 을 탐지한다는 것을 밝혔습니다. 프로브는 모델이 성공적으로 거짓말을 한 사례와 프롬프트에도 불구하고 정답을 산출하여 거짓말에 실패한 사례 모두에서 동일한 AUROC 점수 (0.998~1.000) 를 달성했습니다.

중요성과 주장

본 논문은 기만 프로브의 취약성이 주로 방법론적 과제이지 아키텍처적 불가능이 아니라고 주장합니다. 주요 기여점은 다음과 같습니다:

• 기하학적 특성화: 기만은 단일 선형 방향이 아니라 다차원 집계가 필요한 약하고 임계값 미만의 분산된 특징들의 집합입니다. 이러한 특징들은 도메인별이며 스케일이 커질수록 점점 더 불연속적으로 변합니다.
• 취약성 격차의 해결: 분포 변화 하에서 프로브가 무너지는 것은 더 큰 모델의 고유한 한계가 아닙니다. 훈련 데이터에 스타일 다양성을 증강함으로써 프로브는 스케일 전반에 걸쳐 강건하고 거의 완벽한 탐지를 달성할 수 있으며, 표준 훈련에서 관찰된 "역스케일링" 패턴을 효과적으로 중화시킵니다.
• 진단 프레임워크: 본 연구는 표현적 한계와 훈련 인공물을 구분하는 엄격한 프레임워크를 제공하며, 엔트로피 대리 가설을 기각하고 기만 표현의 기하학적 본질을 명확히 합니다.

저자들은 현재 프로브가 사소한 스타일 변화로 쉽게 회피되지만, 근본적인 신호는 강건하고 학습 가능하다고 결론지었습니다. 신뢰할 수 있는 기만 모니터링을 위한 향후 방향은 기만에 대한 고정된 단순 기하학적 구조를 가정하는 것이 아니라, 분포 다양성을 보장하는 훈련 방법론에 있습니다.