기술적 요약: 밀집 순차 체인의 재고찰

문제 제기

현대 추론 언어 모델(예: OpenAI 의 o1, DeepSeek-R1) 은 일반적으로 최종 답변을 생성하기 전에 밀집된 순차적 사고 연쇄 (Chain-of-Thought, CoT) 추적을 생성합니다. 이 패러다임은 두 가지 암묵적이고 검증되지 않은 가정에 기반합니다:

1. 밀집성: 추론 추적의 모든 토큰이 최종 답변 추출에 의미 있게 기여한다.
2. 순서: 추론 단계는 순차적으로 생성되고 소비되어야 한다.

이러한 가정은 추론이 문제 난이도에 비례하여 선형적으로 확장되고, 자동회귀적 의존성이 병렬화를 방해하기 때문에 상당한 계산 비용을 부과합니다. 저자들은 답변 추출 단계가 실제로 이러한 밀집되고 순서화된 구조에 의존하는지, 아니면 추적의 더 희소하고 순서가 없는 부분 집합에서 작동하는지 의문을 제기합니다.

방법론

저자들은 답변 추출의 정보 구조를 탐구하기 위한 체계적인 실증적 프레임워크를 제안합니다. 인간이 작성한 데모를 수정하는 대신, 최첨단 모델이 생성한 추론 체인에 제어된 변환을 적용합니다.

실험 설정:

• 모델: 다양한 크기와 계열의 세 가지 모델: OLMo-3.1-32B, GPT-OSS-120B, DeepSeek-V3.1-671B.
• 벤치마크: 세 가지 명확한 도메인:
  • 수학 계산 (AIME 2025).
  • 알고리즘 문제 해결 (CodeElo).
  • 과학적 추론 (GPQA-Diamond).
• 평가 모드: 연구는 *자유 생성 (Gen)*과 *검색 (Ret)*을 구분합니다. Ret 모드에서는 모델이 고정된 접두어 (예: "따라서 정답은") 를 완성하도록 제한됩니다. 저자들은 추론 체인이 훼손되었을 때 모델의 재추론 능력으로부터 답변 추출을 분리하기 위해 Ret 모드가 필수적임을 입증했습니다.
• 변환: 추론 체인에 적용된 일련의 개입:
  • 셔플링: 토큰, 단어, 줄, 줄 내 단어 수준에서 콘텐츠를 무작위로 재배열.
  • 마스크/제거: 알파벳 문자, 숫자, 명시적 답변, 또는 원래 질문을 제거.
  • 노이즈 주입: 정답의 빈도수 최대 3 배까지 오답 문장을 삽입.
  • 비교: 관찰된 특성의 기원을 파악하기 위해 OLMo 의 사전 학습 전용 버전과 지시 미세 조정 버전 비교.

주요 발견

1. 순서 독립성

• 줄 수준 셔플링: 추론 줄의 순서를 무작위로 재배열하는 것은 모든 모델과 도메인에서 무시할 수 있는 정확도 손실 (<0.5 퍼센트 포인트) 을 초래합니다.
• 단어 수준 셔플링: 모든 단어를 전역적으로 뒤섞어도 수학 작업에서 62%~89% 의 정확도를 유지하며, 무작위 기준선보다 훨씬 우수한 성능을 보입니다.
• 토큰 수준 셔플링: 서브워드 토큰 수준에서 셔플링하면 정확도가 거의 0 으로 붕괴되어, 단어 수준의 의미적 정체성이 추출에 필요한 최소 단위를 확립합니다.
• 기원: 사전 학습 전용 모델과 지시 미세 조정 모델은 셔플링에 대해 거의 동일한 내성을 보여주며, 이는 순서 독립성이 추론 특화 미세 조정이 아닌 사전 학습 체계에 뿌리를 두고 있음을 시사합니다.

2. 정보 희소성

• 산문적 중복성: 모든 알파벳 문자 (자연어 산문) 를 제거하거나 마스크해도 성능이 저하되지 않으며, 경우에 따라 정확도가 4.7 퍼센트 포인트 향상됩니다.
• 숫자의 비환원성: 숫자 자리를 마스크하면 정확도가 정확히 0% 로 붕괴되어, 숫자 콘텐츠가 핵심 정보 운반자임을 확인시켜 줍니다.
• 답변 앵커: 최종 답변의 명시적 발생은 강력한 추출 앵커로 작용하며, 이를 단독으로 마스크할 경우 18.0 퍼센트 포인트의 하락을 초래합니다.
• 결합된 희소성: 모든 자연어를 제거하고 임의의 줄 순서로 제시된 체인도 약 83% 의 정확도를 달성합니다.

3. 구조적 강건성

• 노이즈 면역성: 정답 빈도수의 3 배로 오답 문장을 주입해도 정확도는 전혀 변하지 않습니다. 이는 추출이 후보 답변의 단순 빈도수 계산에 의존한다는 가설을 반증합니다.
• 신호 원천: 모델은 표면적 빈도나 위치적 배열이 아닌, 숫자 구조에 대한 관계적 제약 충족에 의존합니다.

기여

본 논문은 다음과 같은 구체적인 기여를 합니다:

1. 실증적 프레임워크: 여러 모델과 도메인에 걸쳐 제거, 마스크, 셔플링, 노이즈 주입을 통한 답변 추출을 탐구하는 재현 가능한 파이프라인.
2. 순서의 세분성: 추론 체인이 줄 수준에서 순서 독립적이며, 단어 수준의 의미적 정체성이 추출을 위한 최소 필요 단위임을 입증.
3. 사전 학습 기원: 순서 독립성이 사고 연쇄 미세 조정의 결과가 아닌 사전 학습 모델의 속성임을 보여주는 증거.
4. 비균일 정보: 알파벳 산문은 중복되지만, 숫자 콘텐츠와 명시적 답변이 추론 체인의 비환원적이고 하중을 지탱하는 구성 요소임을 증명.
5. 적대적 노이즈에 대한 강건성: 추출 신호가 구조적으로 강건하여 오답이 정답보다 3 배 많을 때도 오도 현상에 저항함을 입증.

중요성과 주장

저자들은 답변 추출이 희소하고, 순서 재배열 가능하며, 구조적으로 강건한 정보적 기질에서 작동한다고 결론지었습니다. 이는 밀집성과 순차성에 대한 현재 패러다임의 가정에 도전합니다.

이러한 발견의 주요 중요성은 실용적입니다. 추출 단계가 재배열과 콘텐츠 희소성을 견딜 수 있다면, 생성 단계는 이론적으로 자동회귀적이고 포괄적인 제약으로부터 분리될 수 있습니다. 이는 다음과 같은 길을 엽니다:

• 병렬화 추론: 순차적이 아닌 병렬로 추론 단계를 생성.
• 토큰 효율성: 생성 중 정보 제공이 없는 산문 토큰을 선택적으로 생략.

저자들은 이러한 주장의 범위에 대해 겸손하게 접근하며, 추출이 희소하고 순서 독립적임이 입증되었지만, 생성이 이에 상응하게 희소하거나 병렬화될 수 있는지는 여전히 열린 공학적 질문이라고 지적합니다. 또한, 희소성에 관한 발견은 수학 추론 (AIME 2025) 에서 가장 강력하게 지지되며, 트랜스포머가 체인을 순서 없는 기호 제약 집합으로 처리한다는 이론적 가설은 추가적인 기계적 검증이 필요합니다.