기술 요약: CIRF (Chain-of-thoughts Into Reusable Functional units, 사고의 연쇄를 재사용 가능한 기능 단위로)

1. 문제 제기

대규모 언어 모델 (LLM) 은 명시적인 중간 추론을 생성하는 사고의 연쇄 (Chain-of-Thought, CoT) 프롬프팅을 통해 복잡한 추론 작업에서 상당한 개선을 보여주었습니다. 그러나 이러한 전체 자연어 추론 경로를 생성하는 것은 상당한 추론 지연 시간과 메모리 비용을 초래합니다. 최근 연구는 추론을 숨겨진 상태나 특수 토큰에 내재화하기 위한 암시적 CoT 방법을 탐구해 왔으나, 기존 접근법들은 다음과 같은 치명적인 한계에 직면해 있습니다:

• 정렬 부재: 많은 방법론이 명시적 추론의 의미 구조와 정렬되지 않는 동질적인 자리 표시자 토큰 (예: 반복되는 "일시 정지" 토큰) 을 사용합니다.
• 적응성 문제: 현재 암시적 방법론들은 종종 입력의 복잡성에 맞춰 추론 길이를 적응시키는 데 어려움을 겪어, 과소 추론이나 과잉 추론을 초래합니다.
• 훈련 불안정성: 숨겨진 상태를 입력으로 재귀적으로 피드백하는 접근법 (예: 연속 잠재 공간) 은 특히 여러 추론 단계를 모델링할 때 상당한 훈련 비용과 불안정성을 초래합니다.
• 확장성: 암시적 토큰 수를 확장하는 어려움이 성능을 제한하는데, 이는 최적의 추론 단계 수가 작업에 따라 크게 달라지기 때문입니다.

2. 방법론: CIRF

저자들은 명시적 CoT 추론 경로를 이산적 기능 토큰의 동적 시퀀스로 토큰화하는 CIRF 프레임워크를 제안합니다. 핵심 아이디어는 각 의미적으로 일관된 추론 단위를 단일 토큰으로 인코딩된 재사용 가능한 기능 연산으로 간주하는 것입니다.

2.1 기능 토큰 할당

이 과정은 명시적 CoT 추론을 의미적으로 일관된 단위 (예: "1 단계", "2 단계") 로 분할하는 것으로 시작합니다.

• 의미 임베딩: 각 분할은 사전 훈련된 문장 임베딩 모델을 사용하여 인코딩됩니다.
• 편향 감소: 임베딩이 특정 질문의 맥락에 편향되는 것을 방지하기 위해, 저자들은 각 질문 내 분할 표현에 평균 중심화 (mean-centering) 를 적용합니다. 이는 기능 연산을 상황적 편향으로부터 분리합니다.
• 벡터 양자화 (VQ-VAE): 중심화된 임베딩은 VQ-VAE 접근법을 사용하여 이산적 기능 토큰 어휘로 양자화됩니다.
  • 코드북 초기화: 토큰 간 할당을 균등하게 분포시키도록 Sinkhorn-Knopp 알고리즘에 기반한 균형 잡힌 클러스터링 절차가 코드북을 초기화하는 데 사용됩니다.
  • 학습: 코드북과 인코더/디코더 네트워크는 이산적 토큰 할당을 유지하면서 재구성 오차를 최소화하도록 훈련됩니다.
• 임베딩 초기화: 새로운 기능 토큰은 LLM 의 어휘에 추가됩니다. 이들의 초기 임베딩은 학습된 코드북 벡터를 재조정하여 설정되므로, 모델이 즉시 기능 코드 간의 기하학적 관계를 활용할 수 있습니다.

2.2 자기회귀 생성 및 정렬

대상 LLM 은 다음으로 구성된 시퀀스를 자기회귀적으로 생성하도록 미세 조정됩니다:

1. 기능 토큰: 추론 단계를 나타냅니다.
2. 선택적 결과 토큰: 기능 연산의 출력을 설명하는 최소한의 텍스트 연결부 (예: 전체 문장 대신 "0.4").
3. 최종 답변: 문제의 해결책.

훈련 목표는 표준 자기회귀 언어 모델링입니다. 모델은 질문과 이전 단계를 조건으로 하여 다음 기능 토큰과 그 선택적 결과를 예측하도록 학습합니다.

2.3 결과 압축

정확도 - 지연 시간 트레이드오프를 더욱 최적화하기 위해 CIRF 는 결과 압축 메커니즘을 도입합니다. 기능 토큰만으로도 정답에 충분할 수 있으므로, 시스템은 손실을 크게 감소시키지 않는 결과 토큰을 반복적으로 제거합니다. 이는 조정 가능한 트레이드오프를 가능하게 합니다: 더 높은 제거 임계값은 약간 낮은 정확도로 더 빠른 추론을 제공하며, 더 낮은 임계값은 더 많은 중간 텍스트 정보를 유지합니다.

3. 주요 기여

• 이산적 기능 토큰화: CIRF 는 연속적인 추론 경로를 이산적이고 재사용 가능한 기능 토큰 어휘로 변환하는 방법을 도입하여, 명시적 CoT 와 효율적인 잠재 추론 사이의 간극을 메웁니다.
• 적응적 추론 길이: 고정된 추론 깊이를 가진 방법론과 달리, CIRF 는 입력 인스턴스의 복잡성에 기반하여 추론 깊이를 동적으로 조정하는 가변 길이 기능 토큰 시퀀스를 생성합니다.
• 효율적인 훈련: 이산적 토큰과 표준 자기회귀 훈련 (교사 강제 포함) 을 활용함으로써, CIRF 는 숨겨진 상태를 재귀적으로 피드백하는 것과 관련된 불안정성과 높은 계산 비용을 회피합니다.
• 해석 가능성: 학습된 기능 토큰은 임의의 식별자가 아닌, 명확하고 해석 가능한 추론 연산 (예: 덧셈, 뺄셈, 상식 선택) 에 해당합니다.

4. 실험 결과

저자들은 Qwen3-8B 와 Llama3.1-8B 백본을 사용하여 수학, 기호, 논리, 그리고 상식 추론 벤치마크 (GSM8K, MATH-500, BIG-Bench Hard, CommonsenseQA 포함) 에서 CIRF 를 평가했습니다.

• 정확도 - 지연 시간 트레이드오프: CIRF 변형 (CIRFFull, CIRFFast, CIRFFaster) 은 최첨단 베이스라인 (iCoT-SI, Coconut, CODI, Pause Tokens 포함) 에 비해 파레토 프론티어에서 일관되게 유리한 위치를 차지합니다.
  • CIRFFull은 가장 높은 정확도를 달성하여, GSM8K 에서 최상위 암시적 베이스라인 (CODI) 보다 최대 45.7 퍼센트 포인트 더 높은 성능을 보입니다.
  • CIRFFast와 CIRFFaster는 경쟁력 있는 정확도를 유지하면서 추론 시간을 크게 단축 (CODI 대비 최대 2 배 빠름) 합니다.
• 일반화 능력: CIRF 는 많은 베이스라인이 퇴화된 결과나 과도한 지연 시간에 시달리는 도메인 외 작업 (예: MATH-500, StrategyQA) 에서 견고한 성능을 입증합니다.
• 적응적 행동: 분석은 생성된 기능 토큰 수와 문제 난이도 간의 양의 상관관계를 보여주어, CIRF 가 작업에 따라 추론 길이를 적응시킨다는 것을 확인시켜 줍니다.
• 토큰 해석 가능성: 정성적 분석은 특정 기능 토큰이 특정 연산 (예: 토큰 ID 23 은 곱셈/나눗셈에 매핑됨) 에 일관되게 대응함을 밝혀, 학습된 어휘의 의미적 기반을 검증합니다.

5. 중요성 및 주장

이 논문은 CIRF 가 더 효율적으로 추론하는 언어 모델을 구축하기 위한 유망한 방향을 제시한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 기능 구조 보존: 추론을 재사용 가능한 기능 단위로 변환함으로써, CIRF 는 verbose 한 자연어 생성의 오버헤드를 제거하면서도 추론 과정의 구조적 무결성을 유지합니다.
• 확장성 및 안정성: 이 프레임워크는 교사 강화를 통한 단일 단계 훈련을 가능하게 하여, 다른 암시적 CoT 방법론에서 요구되는 복잡한 커리큘럼 학습이나 보조 모델을 회피합니다.
• 효율성: CIRF 는 추론 품질과 추론 비용 사이의 최적 균형을 달성하여, 지연 시간에 민감한 애플리케이션을 위한 명시적 CoT 의 실현 가능한 대안이 됩니다.

저자들은 한계를 인정하며, 기능 토큰 감독의 품질은 명시적 CoT 경로의 구조에 의존하며 현재 분할은 순서 표시자에 의존한다고 지적합니다. 그들은 향후 연구가 더 견고한 분할 방법과 더 큰 모델 및 긴 컨텍스트 작업에서의 CIRF 동작을 탐구할 수 있음을 제안합니다.