A Probe Direction Is a Property of Its Prompt

기술 요약: "프로브 방향은 그 프롬프트의 속성이다"

문제 제기
최근 기계론적 해석 가능성(mechanistic interpretability) 분야의 연구들은 대규모 언어 모델(LLM)이 자신이 평가받고 있다는 내부적인 '감각'을 보유하고 있는지 탐지하고자 노력해 왔다. 이러한 탐지를 위한 표준 도구는 평가를 명시적으로 알리는 프롬프트와 일반적인 배포 상황을 시뮬레이션하는 프롬프트를 대조하는 방식이다. 두 프롬프트 간의 평균 활성화 차이는 활성화 공간에서의 하나의 '방향(direction)'을 생성하며, 홀드아웃(held-out) 데이터가 이 방향을 따라 얼마나 분리되는지의 정도가 점수로 보고된다. 이러한 점수들은 모델의 고유한 속성으로 취급되어, "평가 인지(evaluation awareness)"와 모델 규모 사이의 상관관계를 밝히는 데 사용된다.

본 논문은 이러한 방법론의 결정적인 결함을 지적한다: '평가를 알리는 프롬프트'의 정의는 고정된 파라미터가 아니라 방대한 가능한 문구들 중 하나를 선택하는 문제라는 점이다. 해당 방법론은 특정 구절을 선택하기 위한 어떠한 규칙도 제공하지 않음에도 불구하고, 보고된 점수는 모델의 안정적인 속성인 것처럼 다뤄진다. 핵심 질문은 추출된 방향과 그에 따른 스케일링 경향(scaling trends)이 모델의 내부 상태를 반영하는 것인지, 아니면 실험자가 구성한 특정 프롬프트의 결과물(artifact)인지 여부이다.

방법론
저자는 프롬프트 문구("wrapper")에 의한 분산과 모델 정체성에 의한 분산을 격리하기 위해 요인 설계(factorial experimental design)를 채택하였다.

• 설계: 동일한 바이트 단위의 태스크 텍스트를 감싸는 6개의 평가 프로잉(evaluation framing)과 6개의 배포 프로잉(deployment framing)을 교차시킨 $6 \times 6$ 설계를 사용하였다. 이는 각 모델당 36개의 서로 다른 프롬프트 쌍을 생성한다.
• 모델: Qwen2.5, Qwen3, OLMo-2 등을 포함하여 135M에서 7B 파라미터 범위에 걸친 4개 계열의 10가지 인스트럭션 튜닝된 오픈 웨이트 모델을 사용하였다.
• 지표: 레이어 활성화를 대상으로 계산된 표준 필드 통계량인 $\max_{\ell} |AUROC_{\ell} - 0.5|$를 사용하였다.
• 분석 프레임워크: 저자는 관찰된 분산을 모델, 프롬프트 래퍼, 아이템 및 이들의 상호작용으로 분해하기 위해 일반화 이론(Generalizability Theory) (Cronbach et al., 1972)을 적용한다. 이는 프롬프트 선택을 구현 세부 사항이 아닌 측정 설계의 "요인(facet)"으로 취급하는 것이다.
• 대조군(Controls): 저자는 학습되지 않은 제로샷(zero-shot) 방향에 대해 Hewitt & Liang (2019)의 제어 기법을 변형하여 적용하였다. 두 가지 대조군을 테스트하였다: (1) 레이블 치환 방향(평가/배포 레이블을 무작위화함) 및 (2) 방향 무작위화 대조군(실제 방향의 자기상관(autocorrelation)과 일치하는 등방성 벡터).
• 재현성: 본 연구는 각 레이어별 점수와 방향 벡터를 공개한 Chaudhary et al. (2025) 및 Manek (2026)의 결과물을 재분석하여, 그들의 파이프라인을 정확히 재구성할 수 있도록 하였다.

주요 결과

1. 프롬프트 선택이 결론을 결정한다: 대비되는 래퍼(contrastive wrapper)의 선택에 따라 스케일링 결과의 부호와 크기가 달라진다. Qwen2.5 래더(ladder)에서 배포 프로잉만 변경하고 평가 프로잉을 고정했을 때, 모델 크기와의 상관관계는 $r = +0.94$(양의 스케일링)에서 $r = -0.82$(음의 스케일링)로 변화한다. 서로 상반된 결과를 보고한 두 편의 발표된 연구(하나는 양의 스케일링, 다른 하나는 음의 스케일링 보고)는 단지 프롬프트 문구를 바꾸는 것만으로도 단일 실험 설계 내에서 모두 재현 가능하다.
2. 방향은 프롬프트의 속성이다: 서로 다른 래퍼 쌍에서 유도된 방향들은 서로 정렬되지 않는 반면(코사인 유사도 $\approx 0.37$), 동일한 래퍼 쌍을 사용하되 서로 다른 아이템 절반을 사용한 경우의 방향들은 거의 동일하다(코사인 $\approx 0.9995$). 즉, 방향은 탐지하고자 하는 개념이 아니라 효과적으로 프롬프트의 속성이다.
3. 낮은 일반화 가능성: 일반화 이론 분석 결과, 보고된 점수의 전체 분산 중 모델 자체가 차지하는 비중은 단 **0.8%**에 불과했다. 지배적인 분산 원인은 모델과 프롬프트 래퍼 사이의 상호작용(모델-아이템 상호작용보다 13.4배 더 큼)이었다. 결과적으로, 더 많은 평가 아이템을 평균 내는 것은 신뢰도를 높이지 못하며, 오직 많은 프롬프트를 평균 내야만 신뢰도가 높아진다.
4. 표면 형태(Surface Form)의 혼란: 홀드아웃 점수 분리는 표면 형태만으로도 대부분 구분이 가능하다(bag-of-words AUROC $\approx 0.993$). 평가에 대한 정보가 전혀 없는(content-free) 방향으로 구성된 대조군조차도 발표된 점수의 70%~116%를 회복한다. 여러 경우에서 발표된 점수가 이러한 내용 없는 대조군이 설정한 "바닥(floor)"보다 낮게 나타났는데, 이는 해당 신호가 노이즈나 표면적 아티팩트와 구별할 수 없음을 의미한다.
5. 구현의 자율성: 명시되지 않은 파이프라인의 선택(예: 토큰 필터링, 줄바꿈 인코딩, 절단)은 모델 효과 자체보다 큰 27.5%의 총 분산을 설명한다.

기여

• 방법론적 비판: 본 논문은 "평가 인지" 통계량이 모델의 고유한 속성이 아니라 프롬프트 디자인의 함수임을 입증한다. 이는 프로브의 방향이 연구자의 문구 선택에 따라 스케일링 관계의 부호가 임의로 결정될 수 있음을 보여준다.
• 분산 분해: 현재 프로브 디자인의 신뢰성을 정량화하여, 관찰된 분산이 모델의 차이보다는 디자인 선택(프롬프트 및 구현 세부 사항)에 의해 지배됨을 보여준다.
• 재분석: 두 가지 저명한 연구를 수정된 방식으로 재분석하였다. 통계량이 파라미터 수에 따라 예측 가능하게 스케일링된다는 주장(Chaudhary et al., 2025)은 바닥 보정(floor correction) 후에도 살아남지만 프롬프트 선택에 여전히 취약하다. 피크 레이어의 깊이가 스케일에 따라 이동한다는 주장(Manek, 2026)은 피크 레이어가 거의 평탄한 곡선 위에서 최댓값(argmax)을 찾는 것이기에 불안정하므로 "식별되지 않음(not identified)"으로 판정되었다.
• 처방: 저자는 방어 가능한 비교를 위해서는 모든 래퍼에 대한 점수를 보고하고, 대비되는 두 축을 모두 교차하여 보고하며, 내용 없는 대조군 점수를 함께 보고해야 한다고 주장한다. 또한, 일반화 계수 0.80을 달기 위해서는 약 9개의 뚜렷한 래퍼(현재 사용되는 단일 프롬프트보다 훨씬 많은 수)가 필요하다고 추정한다.

의의 및 주장
본 논문은 단일 프롬프트 설계로는 모델 간의 비교를 뒷받받할 수 없다고 결론짓는다. 보고된 통계량은 모델의 내부적 평가 인지 표현이 아니라, 본질적으로 대비되는 프롬프트의 속성이다.

저자는 자신의 주장의 범위를 명확히 한다:

• 모델이 평가받고 있다는 것을 표현하지 못한다고 주장하는 것이 아니다.
• 이전 저자들이 악의를 가졌거나 수행 과정에서 오류를 범했다고 주장하는 것도 아니다.
• 다만, 현재의 도구가 주장하는 것보다 적은 것을 측정하고 있으며, 보고된 수치의 분산이 모델의 차이보다는 디자인 선택(프롬프트 및 구현 세부 사항)에 의해 지배된다는 점을 주장한다.

본 논문은 단일 프롬프트를 사용하여 모델 규모에 대한 결론을 도출하는 현재의 관행이 방법론적으로 타당하지 않음을 보여준다. 그 이유는 "측정"이 "자극(stimulus)"에 의해 혼동되기 때문이다. 이 연구의 의의는 증명의 책임을 전환하는 데 있다. 향려의 모델 인지 능력에 대한 주장은 프롬프트를 고정된 구현 세부 사항으로 취급하는 대신, 프롬프트의 변동성을 주요 불확실성의 원인으로 고려해야 한다는 것이다.