기술 요약: 잠재적 사고의 정형화: LLM의 사고 표현에 관한 4가지 공리

문제 정의

대규모 언어 모델(LLM) 추론 분야는 효율성과 추론 능력을 향상시키기 위해 이산적인 사고 사슬(Chain-of-Thought, CoT) 토큰에서 연속적인 잠재 표현(예: Soft Thinking, Latent Thinking)으로 점진적으로 이동하고 있습니다. 그러나 이러한 "연속적 사고 표현"을 평가하는 방법론은 근본적으로 결함이 있습니다. 현재의 방법론은 거의 예외 없이 다운스트림 태스크 정확도(예: 벤치마크 통과율)에 의존하여 표현의 품질을 판단합니다. 이러한 접근 방식은 내부 표현의 품질과 해당 표현을 디코딩하거나 처리하는 모델의 전반적인 능력 사이의 관계를 혼동합니다. 결과적으로, 표현의 실패가 다운스트림 정확도에 의해 가려질 수 있습니다. 즉, 모델이 높은 벤치마크 점수를 달성하더라도 내부의 "사고"는 필요한 추론 단계를 충실히 인코딩하지 못하거나 동일한 태스크 내의 서로 다른 인스턴스들을 구분하는 데 실패할 수 있습니다.

다음과 같은 요소들이 부족한 실정입니다:

1. 유효한 사고 표현이 반드시 갖추어야 할 기능적 속성에 대한 원칙적인 정의.
2. 다운스트림 태스크 정확도와 독립적으로 표현 품질을 측정하는 내재적 평가 프로토콜.
3. 잠재 추론 토큰이 예측에 불필요하거나 구조화된 잠재 공간 탐색을 구현하는 데 실패한다는 보고가 있는 상황에서, 후보 방법론들의 현재 상태에 대한 명확한 이해.

방법론

저자들은 사고 표현을 다운스트림 디코딩 과정과 독립적으로 정의되는 네 가지 기능적 속성에 기반하여 특징짓는 **공리적 평가 프레임워크(axiomatic evaluation framework)**를 제안합니다. 이 프레임워크는 사고 표현($T$)을 입력 공간($X$)에서 의미론적 출력 공간($S$)으로의 변환을 매개하는 잠재적 기능 상태로 취급합니다.

4가지 공리

프레임워크는 별도의 재학습 없이 소스 LLM에서 직접 계산되는 네 가지 기능적 속성과 그에 대응하는 정량적 척도를 정의합니다.

1. 인과성(Causality): $T$는 모델의 계산 그래프 내에서 명시적인 추론 접두사($y_{pre}$)를 기능적으로 대체할 수 있어야 합니다.

   • 지표: KL 치환 오차(KL Substitution Error). $y_{pre}$의 토큰 임베딩을 투영된 $T$로 교체하고, 원래의 지속 분포 $P(y_{suf} | y_{pre})$와 개입된 분포 $P(y_{suf} | T)$ 사이의 쿨백-라이블러(Kullback-Leibler, KL) 발산을 계산하여 측정합니다. 값이 낮을수록 인과성이 높음을 의미합니다.

2. 최소성(Minimality): $T$는 정보 병목(Information Bottleneck) 원칙을 준수하며, 출력을 유지하면서 입력을 압축해야 합니다. 즉, 입력에 존재하는 노이즈 변수(불필요한 문맥)를 필터링해야 합니다.

   • 지표: 최소성 갭($\Delta_{IB}$). $\beta=2$일 때의 정보 병목 라그랑지안에 대한 교차 엔트로피 대리 지표입니다. $\Delta_{IB} = CE(X | Y, T) - CE(Y | T)$로 계산됩니다. 값이 높을수록 출력을 위해 충분하면서도, 출력이 이미 제공하는 것 이상의 잔여 정보를 입력으로부터 최소한으로 추가하는 표현임을 나타냅니다.

3. 분리성(Separability): $T$는 의미론적으로 동등하지 않은 출력 분포들을 구별할 수 있는 충분한 위상적 구조를 가져야 합니다. 즉, 동일한 태스크 내의 두 가지 서로 다른 질문(미세 수준)과 서로 다른 태스크 간(거시 수준)을 구분할 수 있어야 합니다.

   • 지표: 판별기 정확도(Discriminator Accuracy). $T$를 후보 출력 시퀀스와 정렬하기 위해 훈련된 학습 가능한 이진 판별기를 훈련합니다. 정확도는 동일 태스크 쌍(미세 수준) 및 교차 태스크 쌍(거시 수준)에 대해 측정됩니다.

4. 안정성(Stability): $T$는 표면적인 어휘적 변이(패러프레이징)에 대해 불변해야 하며, 샘플링의 확률적 변동(모드 붕괴)에 대해 견고해야 합니다. 이는 단일 실현(realization)이 아닌 의미론적 분포 $P(S|x)$의 파라미터를 인코딩해야 함을 의미합니다.

   • 지표: 분포 일관성 점수(Distributional Consistency Score, DCS). 질문의 빔 출력들이 여러 의미론적 등가 클래스를 가로지르는지(의미론적 엔트로피 $H_x > 0$)를 예측하는 프로브의 AUROC입니다.

실험 설정

• 후보군: Last Input Token (LIT) 은닉 상태, Soft Thinking (Gumbel 노이즈 포함 및 미포함), Latent Thinking을 포함한 여러 후보 표현을 다양한 "사고 예산(thinking budgets)" (1~128 단계)에 걸쳐 조사합니다.
• 모델: 다양한 아키텍처와 훈련 패러다임을 아우르는 5개의 오픈 웨이트 LLM: Llama-3.1-8B, Llama-3.3-70B (Dense/Instruct), DeepSeek-R1-Distill-Qwen-32B (Reasoning-distill), Skywork-OR1-32B (Native RL), GPT-OSS-20B (Sparse MoE).
• 태스크: 공간 추론, 사실적 QA, 논리 퍼즐 등을 포함하는 Big Bench Extra Hard (BBEH) 데이터셋의 23개 추론 태스크.
• 프로토콜: 평가는 고정된 1B 백본을 사용하여 프로빙(probing)을 수행함으로써, 메트릭을 소스 모델의 크기 및 다운스트림 성능으로부터 분리하여 수행됩니다.

주요 결과

이 내재적 프로토콜의 적용은 다운스트림 벤치마크 정확도가 감지하지 못하는 "표현 붕괴(representational collapse)"를 드러냅니다:

1. 모든 공리를 만족하는 후보가 없음: 평가된 어떤 후보 표현도 인과성, 최소성, 분리성, 안정성을 동시에 만족하지 못합니다.
2. 분리성 실패 (질문별 정체성): 표현들은 서로 다른 태스크를 구별하는 데는 신뢰할 수 있지만(교차 태스크 정확도는 포화 상태에 근접), 동일한 태스크 내의 서로 다른 인스턴스를 구별하는 데는 실패합니다(동일 태스크 정확도). Output Embeddings를 제외한 거의 모든 후보는 동일 태스크 식별에서 무작위 베이스라인 수준의 성능을 보입니다. 이는 잠재 표현이 개별 질문의 구체적인 정체성을 잃고, 서로 다른 추론 경로를 구별 불가능한 벡터로 붕괴시킨다는 것을 나타냅니다.
3. 입력 임베딩의 경쟁력: 입력 프롬프트 임베딩 자체가 네 가지 축 모두에서 후보 사고 표현들과 경쟁적이며, 종종 이들보다 우수합니다. 이는 현재의 잠재 표현이 입력 임베딩에 이미 존재하는 정보 이상의 것을 거의 인코딩하지 않음을 시사합니다.
4. 구조적 실패: 이러한 실패 패턴은 Dense, Reasoning-distilled, RL-trained 모델 제품군 전반에서 일관되게 나타납니다. 사고 단계(예: Soft Thinking 또는 Latent Thinking에서의 단계 수)를 늘리는 것은 이 붕괴를 해결하지 못하며, 경우에 따라 단계 수가 증가함에 따라 성능이 저하되기도 합니다.
5. 인과성 vs 입력: 어떤 사고 표현도 입력 임베딩 단독보다 일관되게 더 많은 인과적 정보를 제공하지 못합니다. 추론 접두사를 $T$로 교체하는 것은 이를 입력 임베딩으로 교체하는 것과 구별할 수 없는 지속 분포를 생성하며, 이는 $T$가 고유한 인과적 신호를 추가하지 않음을 의미합니다.

의의 및 주장

본 논문은 사고 표현을 연구 대상으로 개발하고 감사하기 위한 원칙적인 수단을 제공한다고 주장합니다. 이는 이후의 추론 품질이 아니라, LLM이 문제에 대해 무엇을 인코딩하는지에 대해 평가합니다.

• 진단 해상도: 이 프레임워크를 통해 연구자들은 다운스트래임 정확도의 변화를 (전체적인 벤치마크 점수가 근본 원인을 가리는 대신) 특정 표현적 속성(예: 분리성의 저하)에 귀인할 수 있습니다.
• 최적화 목표: 4가지 척도는 토큰 예산이나 명시적 CoT 모방과 같은 휴리스틱한 대리 지표를 넘어, 미래 연구를 위한 명시적이고 정량화 가능한 최적화 목표를 제공합니다.
• 구조적 통찰: 연구 결과는 현재의 잠재 추론 방법과 이상적인 기능적 사고 사이의 격차가 단순히 모델 크기나 특정 훈련 절차(RL 또는 증류)의 문제가 아니라 구조적임을 시사합니다. 현재 세대의 잠재 표현은 견고한 추론에 필요한 구조화되고 인스턴스 특화된 탐색을 구현하는 데 실패하고 있습니다.

저자들은 이 프레임워크를 추론 벤치마크 평가와 직교하는 것으로 위치시키며, 신뢰할 수 있게 개선하기 전에 추론 모델의 내부 메커니즘을 이해하기 위한 필수적인 분석 계층을 제공한다고 제 말합니다. 코드와 평가 파이프라인은 감사 및 개발을 촉진하기 위해 공개적으로 제공됩니다.