기술 요약: 선형 프로빙을 통한 LLM의 인지적 복잡성에 대한 기계론적 해석 가능성 연구 (Bloom의 교육 목표 분류학 활용)

문제 정의

대규모 언어 모델(LLM)은 복잡한 추론 및 생성 능력을 입증해 왔으나, 그 내부 메커니즘은 여전히 "블랙박스"로 남아 있다. 현재의 평가 프레임워크는 주로 표면적인 성능 지표(예: 정답의 정확도)에 의존하고 있으며, 이는 단순 암기와 진정한 다단계 추론을 구분하지 못한다. 본 논문은 LLM의 **인지적 깊이(cognitive depth)**를 조사함으로써 인지적 깊이를 평가할 필요성을 다룬다. 구체적으로, 모델의 내부 신경 표현이 Bloom의 교육 목표 분류학(기억, 이해, 적용, 분석, 평가, 창조)과 정렬된 계층적 인지 복잡도 구조를 인코딩하고 있는지 조사한다. 핵심 연구 질문은 이러한 인지 수준이 모델의 잔차 스트림(residual stream) 내에서 선형적으로 분리 가능한지, 어느 깊이에서 나타나는지, 그리고 생성 과정에서 이 표현들이 인과적으로 활성화되는지 여부에 집중된다.

방법론

본 연구는 네 가지 최첨단 오픈 웨이트 LLM(Llama-3.1-8B-Instruct, Qwen3-4B-Instruct-2507, gemma-3-4b-it, DeepSeek-R1-Distill-Llama-8B)의 잔차 스트림 활성화 값에 **선형 프로빙(linear probing)**을 적용하는 기계론적 해석 가능성(mechanistic interpretability) 접근법을 채택한다.

1. 데이터셋 구축: 1,128개의 자연어 질문으로 구성된 균형 잡힌 데이터셋을 큐레이션하였다. 각 Bloom의 단계(0~5)당 188개의 질문이 할당되었다. 출처는 컴퓨터 과학 강의 질의응id와 EduQG 데이터셋이다. 통계적 사전 확률(prior)이 프로브 정확도에 영향을 미치는 것을 방지하기 위해 데이터셋을 다운샘플링하여 클래스 균형을 맞추었다.
2. 활성화 추출: 각 모델에 대해 파인튜닝 없이 순전파(forward pass)를 수행하여, 모든 레이어 $l$의 잔차 스트림 내 마지막 토큰 위치에서의 은닉 상태 벡터($x_l$)를 추출하였다.
3. 선형 프로빙: 각 레이어에서 추출된 활성화 벡터로부터 Bloom 단계를 예측하도록 로지스틱 회귀 분류기를 훈련시켰다. 선형 프로브를 사용함으로써, 성공적인 분류가 비선형 분류기의 표현 능력에 의존하는 것이 아니라, 정보가 모델의 표현으로부터 **선형적으로 해독 가능(linearly decodable)**함을 보장한다.
4. 대조 실험: 프로브의 정확도가 단순히 표면적인 어휘적 단서(예: "정의하라" vs "설계하라"와 같은 특정 동사)에 의해 유도되었을 가능성을 배제하기 위해, 저자들은 다음 항목들을 기준으로 결과를 비교하였다:
   • 길이 분석: 모든 단계 간에 유의미한 길이 차이가 없음을 검증함.
   • 얕은 베이스라인(Shallow Baselines): 원문 텍스트의 TF-IDF 벡터와 문장 임베딩(sentence embeddings) 상에서 로지스틱 회귀를 훈련시켜 비교함.
5. 인과적 검증 (활성화 스티어링): 이러한 표현들이 인과적으로 활성화되는지 테스트하기 위해, 저자들은 가장 높은 인지 단계(창조)와 낮은 단계들 사이의 평균 활성화 차이로 스티어링 벡터(steering vectors)를 정의하였다. 이 벡터들을 다양한 레이어에 다양한 강도($\alpha$)로 주입하여, 모델의 예측된 인지 수준과 생성된 출력의 질적 특성이 어떻게 변화하는지 관찰하였다.

주요 결과

1. 선형 분리 가능성 및 인지 분리 시작점 (CSO)

선형 프로브는 모든 모델에서 높은 정확도(천장 성능에 근접)를 달행하였으며, 이는 인지적 복잡성이 잔차 스트림의 **선형적으로 접근 가능한 부분 공간(linearly accessible subspace)**에 인코딩되어 있음을 나타낸다.

• 발현 깊이: 인지적 깊이는 입력 또는 임베딩 수준에서는 선형적으로 분리되지 않는다. 대신, 서로 다른 아키텍처 전반에서 일관되게 레이어 5 부근에서 **인지적 분리 시작점(Cognitive Separability Onset, CSO)**이 발생한다.
• 안정성: CSO에 도달하면 프로브 정확도는 더 깊은 레이어에서 안정화되거나 약간 개선되는데, 이는 인지적 복잡성의 표현이 매 단계마다 재계산되는 것이 아니라 초기에 확립되어 유지됨을 시사한다.

2. 기하학적 구조 및 오류 패턴

• 중심점 분석(Centroid Analysis): 인접한 Bloom 단계 간의 유클리드 거리는 깊이가 깊어짐에 따라 단조 증가하며, 이는 인지 단계의 점진적인 기하학적 분리(disentanglement)를 보여준다.
• 구조적 오류: 혼동 행렬(confusion matrices) 분석 결과, 오분류는 주로 인접한 Bloom 단계(예: 분석 vs 평가) 사이에서 발생하였다. 장거리 오류(예: 기억 vs 창조)는 드물게 나타났다. 이는 모델이 인지적 깊이를 임의의 이산적 클래스가 아닌, 인간의 교육 이론과 유사하게 연속적이고 순서가 있는 매니폴드(manifold)로 인코딩하고 있음을 시사한다.

3. 대조 실험

얕은 텍스트 베이스라인(TF-IDF 및 문장 임베딩)은 잔차 스트림 프로브(90%)에 비해 현저히 낮은 정확도(61–73%)를 기록하였다. 또한, 얕은 베이스라인의 오류 패턴은 노이즈가 많고 순서가 없었던 반면, 잔차 스트림의 오류는 엄격하게 인접 단계 간의 오류였다. 이는 관찰된 인지 구조가 단순히 표면적인 어휘적 단서의 반영이 아니라, 모델의 잠재 공간 내에 존재하는 더 깊은 내부 조직의 결과임을 확인시켜 준다.

4. 스티어링을 통한 인과적 검증

활성화 스티어링 실험은 잔차 스트림을 식별된 인지 방향으로 섭동(perturbing)시키는 것이 모델의 행동에 체계적인 변화를 유도함을 입증하였다:

• 레이어 의존성: 초기/중간 레이어(예: 레이어 5)에서의 스티어링은 추론 스타일의 일관된 변화(예: 사실 나열에서 관계 분석으로의 이동)를 일으켰다. 반면, 더 깊은 레이어에서의 스티어링은 의미 있는 추론의 변화 없이 유창성 저하나 반복을 초래했다.
• 강도 의존성: 적절한 스티어링 강도는 해석 가능한 인지적 프레이밍의 전환을 만들어냈으나, 너무 높은 강도는 불안정성을 유발했다.
• 변화 폭: 개입(intervention)은 프로브가 예측한 인지 수준을 평균 +1에서 +1.5 단계만큼 이동시켰다.

의의 및 주장

본 논문은 LLM이 특정 도메인 콘텐츠로부터 추상화된 계층적 인지 요구를 인코딩하도록 내부 표현을 자발적으로 조직한다는 직접적인 기계론적 증거를 제공한다고 주장한다.

• 표면적 지표를 넘어: 이러한 발견은 인지적 복잡성이 단순한 행동적 출력이 아니라, 순전파 과정 초기에 발생하는 모델 잠재 공간의 구조적 속성임을 시사한다.
• Bloom의 분류학이라는 렌즈: 본 연구는 Bloom의 분류학이 인간 교육뿐만 아니라 AI의 내부 메커니즘을 분석하는 데에도 유용한 프레임워크임을 검증하며, 모델의 내부 기하학이 인간이 정의한 인지 계층과 일치함을 보여준다.
• 인과적 관련성: 이러한 표현을 스티어링하는 것이 모델의 출력을 변화시킨다는 점을 입증함으로써, 저자들은 이러한 인지적 표현이 단순한 상관관계의 산물이 아니라 생성 과정의 인과적으로 활성화된 구성 요소라고 주장한다.

저자들은 현재의 분석이 디코더 전용 트랜스포머와 영어 교육 질문에 국한되어 있다는 점을 언급하며 신중한 태도를 유지한다. 이들은 이러한 결과가 AI의 인지 설정을 모니터링하고 조절하기 위한 신경 상관 관계(neural correlates) 연구의 토대를 마련하며, 인간 지능과 비교 가능한 평가 표준으로 나아가는 길을 열어줄 것이라고 상정한다.