Humans Disengage, Reasoning Models Persist: Separating Difficulty Registration from Deliberation Allocation

기술 요약: 인간의 이탈과 추론 모델의 지속

문제 정의
최근 연구(de Varda et al., 2025)는 대규모 추론 모델(LRM)과 인간 사이의 표면적 정렬을 입증했다. 두 시스템 모두 어려운 문항에서 더 긴 추론 흔적(또는 더 많은 시간)을 생성한다. 이러한 "교차 문항 정렬(cross-item alignment)"은 LRM이 인간과 유사하게 난이도를 인지하고 있음을 시사한다. 그러나 이 상관관계는 두 가지 구별되는 인지 과정을 혼동하고 있다: 즉, 난이도 등록(difficulty registration)(문항의 난이도를 등급 매기는 것)과 숙고 할당(deliberation allocation)(난이도가 알려진 후 특정 문항에 얼마나 많은 계산량을 투입할지 결정하는 것)이다.

본 논문은 교차 문항 상관관계가 메커니즘적 유사성을 주장하기에는 불충분하다고 주장한다. 왜냐하면 이러한 상관관계는 에이전트가 자신의 성공과 실패에 따라 어떻게 계산량을 스케줄링하는지를 드러내지 못하기 때문이다. 구체적으로, LRM이 인간처럼 자신이 해결할 수 있다고 기대하는 문항에 더 많은 노력(몰입)을 기울이는지, 아니면 노력이 실패로 이어지더라도 불확실성과 같은 다른 신호에 기반하여 노력을 할당하는지는 알려져 있지 않다.

방법론
본 연구는 등록과 할당을 분리하기 위해 세 가지 추론 패러다임(H-ARC: 시각적 추상화, INTUIT: 직관적 물리, Cortes: 이진 관계 추론)에 걸쳐 공개된 매칭된 인간-LRM 코퍼스를 활용한 2단계 진단법을 도입한다.

1. 난이도 등록 (Probe 1): 저자들은 LRM의 추론 흔적 길이와 인간의 반응 시간(RT)을 문항별로 상관 분석하여 교차 문항 분석을 재현한다.
2. 숙고 할당 (Probe 2): 핵심 혁신은 **결과 조건부, 문항 제어 진단(outcome-conditioned, item-controlled diagnostic)**이다. 저자들은 다음과 같이 질문한다: 고정된 문항에 대해, 에이전트는 정답을 맞혔을 때와 틀렸을 때 중 언제 더 많은 숙고를 수행하는가?
   • 지표: **에이전트 내 $d$-비율(within-agent $d$-ratio)**을 사용한다. 이는 로그 숙고 시간(인간은 초, LRM은 토큰)에 대한 정답과 오답 시행 간의 코헨의 $d$(Cohen's $d$)로 정의된다: $d = (\bar{\ell}_{wrong} - \bar{\ell}_{right}) / s_{pooled}$.
   • 통제 변수: 할당을 난이도로부터 격리하기 위해, 분석은 문항 고정 효과(item fixed effects)(문항 정체성을 흡수)와 난이도 제어 회귀를 사용한다. 이를 통해 비교가 엄격하게 동일 문항 내에서 이루어지도록 하여, 교차 문항 난이도 경사가 결과에 혼란을 주지 않도록 보장한다.
   • 정규화: 숙고는 각 에이전트의 고유 척도(초 vs 토큰) 내에서 측정되며, 절대적 크기를 직접 비교하지 않는다.
   • 모델: 6개의 오픈 웨이트 사고형 LRM(예: DeepSeek-R1, Qwen-QwQ, gpt-oss)과 1개의 비사고형 베이스라인(DeepSeek-V3)을 매칭된 인간 샘플과 비교한다.

주요 결과
연구는 등록과 할당 사이의 **해리(dissociation)**를 발견했다:

• 등록 (정렬): 사고형 LRM과 인간은 어떤 문항이 어려운지에 대해 일치한다. LRM의 흔적 길이는 문항 전반에 걸쳐 인간의 RT와 양의 상관관계를 보인다 (Spearman $\rho = 0.16–0.30$), 이는 de Varda et al. (2025)의 결과를 재현한다.
• 할당 (괴리): 문항 정체성이 고정되었을 때, 두 시스템은 정반대의 할당 정책을 보인다:
  • 인간: 음수 또는 0에 가까운 $d$-비율을 보인다 ($d = -0.10$ on H-ARC). 인간은 틀린 문항에 더 적은 시간을 소비하며, 이는 몰입 대 포기(engagement-vs-abandonment) 전략과 일치한다. 즉, 해결할 수 있다고 기대하는 문항에는 지속하고, 그렇지 않은 문항에는 이탈(포기)한다.
  • 사고형 LRM: 큰 양의 $d$-비율을 보인다 ($d = 1.47–3.13$ on H-ARC). LRM은 틀렸을 때 더 많은 토큰을 소비한다. 이는 불확실성에 따른 길이(length-on-uncertainty) 정책을 시사한다. 즉, 모델이 불확실할 때 체인이 길어지며, 바로 이때 정확도가 떨어지는 경향이 있다.
  • 비사고형 베이스라인: 비사고형 DeepSeek-V3 또한 일부 작업에서 양의 $d$-비율을 보이는데, 이는 불확실성 하에서의 길이 확장이 특정 "추론" 할당 정책이라기보다 베이스 생성의 특성일 수 있음을 시사하지만, 사고형 모델들이 더 강한 효과를 보인다.
• 흔적 내용: LRM의 흔적 내부를 보면, 틀린 시행은 H-ARC에서 자기 의심 마커(예: "wait", "hmm")의 밀도가 높고, Cortes에서는 더 높은 어휘 반복을 보인다. 이는 길이가 생산적인 탐색이 아닌 불확실성에 의해 유도된다는 해석을 뒷받침한다.

기여

1. 개념적 분해: 본 논문은 난이도 등록과 숙고 할당을 공식적으로 분리하여, 교차 문항 정렬이 공유된 정지 정책(stopping policy)을 의미하지 않음을 입증한다.
2. 새로운 진단법: 메타인지 제어에 있어 인간-LRM 정렬을 위한 필수 테스트로서 결과 조건부, 문항 제어 $d$-비율을 도입한다.
3. 경험적 발견: LRM이 무엇이 어려운지는 동의하지만, 그 어려움에 어떻게 대응할지에 대해서는 근본적으로 다르다는 것을 밝혀냈다. 기존 연구의 겉보기 정렬은 반대되는 할당 정책을 은폐하고 있었다.

의의 및 주장
본 논문은 관찰된 해리가 LRM이 인간과 유사한 메타인지 제어를 구현한다는 견해에 도전한다고 주장한다.

• 메타인지적 디커플링(Metacognitive Decoupling): 결과는 현재의 사고형 LRM에서 불확실성 모니터링(헤징이나 길이로 신호됨)이 정지 제어와 분리되어 있음을 시사한다. 인간은 모니터링을 통해 노력을 조절(가치가 낮은 시행에서 이탈)하는 반면, LRM은 정확도의 한계 효용이 감소함에도 불구하고 불확실할 때 계속 토큰을 생성하는 것으로 보인다.
• 자원 합리적 해석(Resource-Rational Interpretation): 자원 합리적 프레임워크 하에서, 인간의 패턴은 기대되는 한계 이득이 사라질 때 노력을 철회하는 정지 규칙과 일치한다. LRM의 패턴은 기대 이득을 문항별 특징에 따라 조건화하는 데 실패했거나, 작업 정확도와 다른 최적화 목표(예: 길이에 조건화된 선호도)를 가짐을 의미한다.
• 방법론적 전환: 저자들은 LRM의 인지 모델링을 수행할 때 교차 문항 등록 테스트와 문항 내 할당 테스트를 반드시 병행해야 한다고 주장한다. 교차 문항 상관관계에만 의존하는 것은 메커니즘적 유사성을 주장하기에 불충식하다.

한계 및 향 향후 과제
저자들은 자신들의 발견이 관찰적이며, 추가 토큰의 인과적 가치를 증명하는 것은 아니라고 명시한다. 그들은 LRM이 "비합리적"이라고 주장하는 것이 아니라, 서로 다른 자원 합리적 정책을 구현하고 있다고 주장한다. 논문은 "불확실성에 따른 길이" (절단 시 정확도에 해가 없는 경우)와 "유용한 탐색" (절단 시 성능이 저하되는 경우)을 구분하기 위한 필수 단계로 **제어된 추론 시점 절단(controlled inference-time truncation)**을 제안하지만, 본 연구에서는 이를 수행하지 않았다. 연구 범위는 오픈 웨이트 모델과 특정 데이터셋으로 제한되며, 몰입 대 포기라는 해석은 행동적 징후에 대한 해석이지 내부 구조에 대한 직접적인 관찰은 아니다.