Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States

(블록은 제거됨). 파이프라인은 다섯 단계로 구성됩니다:

1. 층별 선형 프로빙(Layer-wise Linear Probing): 각 층에서 은닉 상태(hidden states)로부터 추론 모드를 예측하도록 로지스틱 회귀 프로브를 학습시킵니다. 성능이 가장 높은 층에서 매니폴드 기하학(고유 차원, 곡률, 헐 오염/hull contamination)을 분석합니다.
2. 포맷 혼란 변수 분해(Format Confound Decomposition): 다음과 같은 4단계 잔차 분석 파이프라인이 도입됩니다:
   • 소스 예측(Source Prediction): 데이터셋 소스 정체성을 프로빙하여 모드 예측과의 등가성을 확인합니다.
   • 선택지 개수 프로브(Option Count Probe): 선택지의 수(2개 vs 4개)라는 스칼라 값만으로 모드가 분리되는지 테스트합니다.
   • 포맷 제어 비교(Format-Controlled Comparison): 분석 범위를 4지 선다형 과제(LogiQA + ARC)로 제한합니다.
   • 잔차 분석(Residual Analysis): 포맷 특징 벡터(소스 원-핫 인코딩, 선택지 개수, 응답 길이)로부터 은닉 상태를 예측하기 위해 Ridge 회귀를 사용하고, 이 선형 정보를 제거합니다. 그 후 프로브를 **잔차(residuals)**에 대해 재평가합니다.
3. 추적-모드 일치성(Trace-Mode Agreement): 모델이 생성한 추론 추적(reasoning traces)을 임베딩하고, 각 모드에 대해 수작업으로 작성된 앵커 설명과 비교합니다. 모델의 관찰 가능한 행동이 과제 유형에 따라 적응하는지 측정하기 위해 일치율을 측정합니다.
4. 무작위 제어를 포함한 인과적 스티어링(Causal Steering with Random Controls): 모드 간의 중심점 차이(centroid differences)로부터 유도된 벡터를 사용하여 활성화 스티어링(activation steering)을 적용합니다. 결정적으로, 이는 관찰된 기하학적 구조가 추론에 대한 기능적 인과 관계를 갖는지, 아니면 동일한 크기의 어떤 섭동(perturbation)이라도 유사한 효과를 내는지 테스트하기 위해 **무작위 방향 제어(random-direction controls, $N=20$)**와 비교됩니다.

핵심 기여

1. 포맷 혼란 변수 분해: 본 논문은 포맷 특징(소스 정체성, 선택지 개수, 응답 길이)을 회귀 제거했을 때 프로브 정확도가 우연 수준(chance levels)으로 붕괴함을 보여주는 잔차 분석 파이프라인을 도입합니다.
2. 추적-모드 일치성 분석: 저자들은 모델이 86%의 높은 전체 정확도를 달eric하지만, 추론 추적은 의도된 모드와의 일치도가 42.5%(우연 확률 33.3% 대비)에 불과함을 보여줍니다. 이는 전략적 적응의 결여를 시사합니다.
3. 무작위 베이스라인을 포함한 인과적 제어: 연구는 관찰된 기하학적 변화가 추론 모드 선택과 기능적 인과 관계가 없음을 입증하기 위해, 기존 연구에서 흔히 누락되었던 무작위 방향 제어를 스티어링 실험에 구현했습니다.
4. 방법론적 권고: 본 논문은 포맷 디컨파운딩(deconfounding)과 무작위 방향 제어가 프로빙 기반 해석 가능성 연구의 표준이 되어야 한다고 제안합니다.

결과

1. 외견상의 완벽한 분리

레이어 32(네트워크 깊이의 80%)에서 선형 프로브는 세 가지 추론 모드를 구별하는 데 있어 100% 교차 검증 정확도를 달성합니다. 이 층의 매니폴드 기하학은 서로 다른 고유 차원(연역적 20.6, 귀납적 28.5, 가추적 33.6)과 최소한의 볼록 헐 오염($\le 1.5\%$)을 가진 뚜렷한 클러스터를 보여줍니다.

2. 분리는 전적으로 포맷에 기인함

잔차 분석은 초기 발견을 뒤집습니다:

• 소스 등가성: 데이터셋 소스를 예측하는 프로브는 모드 예측과 동일하게 100% 정확도를 달성합니다.
• 선택지 개수: 선택지 수만을 사용하는 프로브는 33.3%의 정확도(2개 선택지 클래스의 사전 확률)를 기록하며, 구조적 특징이 이용 가능하다는 점을 확인합니다.
• 잔차 붕괴: 선형 포맷 정보를 제거한 후, 두 가지 모두(추론 모드 및 데이터셋 소스)에 대한 프로브 정확도는 $\approx 33.5\%$로 떨어지며, 이는 우연 수준과 구별할 수 없습니다. 즉, "추론 모드 기하학"은 전적으로 과제 포맷의 산물입니다.

3. 균일한 추론 전략

모델은 모든 과제 유형에서 86%의 정확도를 달성하지만, 42.5%의 추적-모드 일치도를 보입니다. 이는 모델이 연역적, 귀납적, 가추적 과제 사이를 전환할 때 추론 전략을 실질적으로 변경하지 않음을 나타내며, 아마도 범용적인 메커니즘을 사용하고 있음을 시사합니다.

4. 기하학적 구조의 기능적 연결 부재

인과적 스티어링 실험 결과, 중심점 차이 방향으로 스티어링하는 것이 동일한 크기의 무작위 섭동과 비교했을 때 유의미하게 다른 결과를 생성하지 못함을 보여줍니다. 경험적 p-값은 0.286이며, 충돌 주입(conflict injection)은 대상 및 무작위 쌍 모두에서 일관성 붕괴를 일으킵니다. 이는 기하학적 분리가 추론 모드 선택에 대한 기능적 인과 역할을 하지 않음을 확증합니다.

의의 및 주장

본 논문은 추론 레이블이 데이터셋 소스와 혼란되어 있을 때, 높은 선형 프로브 정확도가 내부 계산 구조의 증거로서 충분하지 않다고 주장합니다. 기존 문헌에서 관찰된 "뚜렷한 표현(distinct representations)"은 특화된 추론 회로의 증거라기보다 표준적인 다중 소스 평가 설계의 산물일 가능성이 높습니다.

저자들은 모델이 모든 유형의 추론을 잘 수행하지만, 별개의 계산 모드보다는 대체로 균일한 전략을 사용하여 수행하는 것으로 보인다고 주장합니다. 결과적으로, 본 논문은 다음과 같이 메커니즘적 해석 가능성 관행의 변화를 촉구합니다:

• 연구자들은 모드 예측 정확도와 함께 소스 예측 정확도를 반드시 보고해야 합니다.
• 포맷 특징을 제거하기 위한 잔차 분석이 표준 제어로 사용되어야 합니다.
• 스티어링 실험은 방향성을 검증하기 위해 무작위 방향 제어를 포함해야 합니다.
• 향후 벤치마크는 실제 추론 차이를 격리하기 위해 동일한 표면 포맷(surface formats)을 강제해야 합니다.

본 연구는 LLM이 추론 능력을 갖추고 있지만, 포맷 혼란 변수를 적절히 통제했을 때 서로 다른 추론 모드를 위해 별도의 내부 기하학을 사용한다는 가정은 뒷받 p지 않다고 결론짓습니다.