기술 요약: 사고의 압축: LLM 후학습에서 압축된 추론 데이터가 작동하는 시기와 방법

1. 문제 제기

대형 언어 모델 (LLM) 은 긴 사고의 연쇄 (Chain-of-Thought, CoT) 추론을 통해 복잡한 문제를 해결할 수 있음을 입증했습니다. 그러나 추론 성능과 토큰 비용 간의 트레이드오프는 LLM 에이전트 배포에 있어 여전히 핵심적인 과제로 남아 있습니다. 토큰 비용을 줄이기 위해 실무자들은 종종 중간 단계를 집계하거나 생략하여 CoT 흔적을 단축시킨 '압축된' 추론 데이터에 대한 지도 미세 조정 (SFT) 을 수행합니다.

이러한 관행이 널리 퍼져 있음에도 불구하고, 해당 논문은 다음과 같은 중요한 이해의 공백을 지적합니다:

1. 압축의 메커니즘: CoT 압축의 서로 다른 구조적 형태 (예: 연산의 집계 대 생략) 가 학습 역학에 어떤 영향을 미치는지는 명확하지 않습니다.
2. 데이터 요구 사항: 압축 세분성, 데이터 양, 그리고 SFT 에 필요한 학습 단계 간의 관계는 잘 이해되지 않고 있습니다.
3. 분해 능력: 압축된 데이터로 훈련된 모델이 이러한 집계된 단계를 분해하여 더 세분화된 추론이 필요한 과제를 해결할 수 있는지, 그리고 이후의 검증 가능한 보상 강화 학습 (RLVR) 이 이러한 분해를 촉진할 수 있는지는 아직 알려지지 않았습니다.

2. 방법론

2.1 CoT 압축의 분류 체계

저자들은 원자적 연산 ($f_i$) 과 값 ($s_i$) 이 어떻게 제시되는지에 기반하여 CoT 추론 흔적을 분류하기 위한 공식적인 분류 체계를 제안합니다:

• 명시적 CoT: 모든 연산과 중간 값을 순차적으로 출력합니다 ($s_1 = f_1(s_0), s_2 = f_2(s_1), \dots$). 이는 압축 세분성 ($g$) 이 1 에 해당합니다.
• 구성된 CoT: 여러 연산을 단일 단계로 집계하여 연산을 명시적으로 나열하지만 중간 값은 생략합니다 (예: $s_2 = f_2(f_1(s_0))$). 여기서 $g > 1$입니다.
• 암시적 CoT: 중간 값과 중간 연산의 명시적 나열 모두를 생략하고, 청크의 최종 결과만 출력합니다 (예: $s_4 = f_4(s_3)$). 이는 연산과 값 모두를 숨기는 것으로, 더 높은 $g$에 해당합니다.

2.2 합성 작업 구성

저자들은 난이도, 압축 세분성, 데이터 크기 등의 변수를 통제하기 위해 합성 산술 추론 작업을 구축했습니다.

• 작업 구조: 문제들은 매개변수 간의 순차적 의존성을 포함합니다 (예: "A 의 수는 B 의 4 배와 같다").
• 연산: 의존성은 수치적 폭발을 방지하기 위해 덧셈, 뺄셈, 그리고 23 으로 나눈 나머지 곱셈을 포함합니다.
• 난이도 ($op$): 작업을 해결하는 데 필요한 원자적 연산의 총수로 정의됩니다.
• 세분성 ($g$): 단일 CoT 단계에 그룹화된 연산의 수입니다.
• 평가: 모델들은 특정 $op$ 값 (예: 8, 16, 24) 을 가진 작업으로 훈련되며, 일반화를 테스트하기 위해 더 긴 시퀀스 (예: 32 에서 104 개의 연산) 를 가진 분포 외 (OOD) 작업에서 평가됩니다.

2.3 실험 설정

• 모델: Qwen2.5 (0.5B14B) 및 Llama-3 (1B8B) 를 포함한 다양한 모델 계열과 크기로 실험이 수행되었습니다.
• 훈련 체계:
  • SFT: 다양한 $g$(2, 4, 8) 를 가진 명시적, 구성된, 암시적 CoT 데이터로 훈련되었습니다.
  • 데이터 확장 대 반복: 대규모 다양성 데이터셋 (384k 샘플, 1 에포크) 으로 훈련하는 것과 소규모 데이터셋을 여러 번 반복 (6k 샘플, 64 에포크) 하여 훈련하는 것을 비교했습니다.
  • RLVR: SFT 로 사전 훈련된 모델에 그룹 상대 정책 최적화 (GRPO) 를 적용하여 RL 이 압축된 단계를 분해할 수 있는지 테스트했습니다.
• CoT 순서: 순방향 (표준), 역방향 (역순), 계층적 (청크화된 하위 문제) CoT 순서를 조사했습니다.

3. 주요 기여 및 결과

3.1 압축 세분성과 훈련 단계

• 발견: 더 거친 세분성을 가진 압축된 CoT(높은 $g$) 는 명시적 CoT 와 동일한 성능 수준을 달성하기 위해 훨씬 더 많은 훈련 단계와 데이터 양이 필요합니다.
• 의미: 고도로 압축된 추론 흔적으로 모델을 훈련하려면, 학습 신호의 복잡성 증가를 보상하기 위해 실무자들은 더 큰 데이터셋을 준비해야 합니다.

3.2 데이터 확장 대 데이터 반복

• 확장: 압축된 CoT(구성된 및 암시적 모두) 는 명시적 CoT 보다 데이터 확장 (고유 샘플 수 증가) 에 더 큰 혜택을 받습니다.
• 반복:
  • 구성된 CoT: 데이터 반복 (더 적은 샘플로 더 많은 에포크 훈련) 에서 혜택을 받습니다.
  • 암시적 CoT: 데이터가 반복될 때 성능 저하를 겪습니다. 저자들은 이는 일반화에 필요한 연산 구조를 숨기는 암시적 CoT 의 특성으로 인해 과적합이나 특정 길이에 대한 암기 때문이라고 제안합니다.
• 요약: 데이터가 제한적일 때, 반복 기반 훈련에는 구성된 CoT 가 선호되지만, 암시적 CoT 는 다양한 데이터 확장을 선호하는 방식으로 피해야 합니다.

3.3 추론 사슬의 분해

• SFT 의 한계: 압축된 CoT(예: $g=2$) 로 훈련된 모델은 원자적 단계로 분해가 필요한 과제 (예: 짝수 $op$값으로 훈련되었을 때 홀수$op$ 값을 가진 과제) 를 해결하지 못합니다. 이들은 SFT 동안 관찰된 집계된 청크를 자발적으로 분해할 수 없습니다.
• RLVR 능력: 이후의 RLVR 은 분해를 성공적으로 가능하게 합니다. 분해가 필요한 과제 (홀수 $op$) 에 적용될 때, RLVR 은 모델이 $g=2$ 청크를 $g=1$ 원자적 단계로 분해할 수 있게 합니다.
• 역학: RLVR 동안 응답 길이는 처음에 증가합니다 (모델이 분해된 명시적 단계를 탐색하고 있음을 나타냄). 그 후 대부분의 계산을 위해 압축된 단계를 사용하고 필요한 경우에만 명시적 단계를 사용하는 효율적인 전략으로 수렴합니다.
• 요약: SFT 는 압축된 패턴을 모방하는 것을 학습하지만, 모델이 원자적 연산을 복원하여 새로운 조합에 일반화할 수 있도록 하기 위해서는 RLVR 이 필요합니다.

3.4 CoT 순서와 일반화

• 단방향 대 계층적: 순방향 및 역방향 CoT 순서는 더 긴 순차적 작업 (OOD) 으로 잘 일반화됩니다. 반면, 문제를 청크로 나누고 중간 변수를 저장하는 계층적 CoT 는 더 긴 작업으로 일반화하지 못합니다.
• 데이터 효율성: 역방향 CoT 는 사전 훈련에 사용된 데이터 분포와의 불일치로 인해 유사한 일반화를 달성하기 위해 순방향 CoT 보다 더 많은 데이터를 필요로 합니다.
• 요약: 순차적 구성 작업의 경우, 계층적 청킹보다 단방향 CoT 설계가 더 강력하고 데이터 효율적입니다.

4. 중요성 및 주장

이 논문은 LLM 후학습을 위한 추론 데이터 압축에 관련된 트레이드오프에 대한 기초적인 이해를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 데이터 설계 지침: 자원 제약 하에서 압축된 데이터셋을 구축하기 위한 실용적인 규칙을 제시합니다. 구체적으로, 더 거친 압축은 더 많은 데이터를 필요로 하며, 구성된 CoT 는 반복에서 혜택을 받지만 암시적 CoT 는 그렇지 않으며, 일반화를 위해서는 단방향 순서가 우월하다고 조언합니다.
2. SFT 대 RL 에 대한 기계적 통찰: 이 작업은 후학습에서 SFT 와 RL 의 고유한 역할을 명확히 합니다. SFT 는 압축된 표현을 학습하는 데 효과적이지만 이를 분해하는 데는 한계가 있으며, RLVR 은 이러한 압축된 청크를 '풀어주는 (unzip)' 메커니즘으로 작용하여 모델이 원자적 연산을 복원함으로써 새로운 조합에 일반화할 수 있게 한다고 주장합니다.
3. 토큰 비용 최적화: 압축된 데이터가 언제 효과적인지 식별하고 이를 RL 과 어떻게 결합할지 파악함으로써, 추론 길이 (토큰 비용) 와 성능 간의 균형을 탐색하는 데 도움이 되며, 더 효율적인 LLM 에이전트 개발을 지원합니다.

저자들은 자신의 주장에 대해 겸손한 태도를 유지하며, 발견 사항이 합성 산술 작업에서 도출되었으며 추가 조사 없이는 모든 실제 세계 도메인이나 비-트랜스포머 아키텍처에 직접 적용되지 않을 수 있음을 지적합니다. 그들은 RL 이 기술 조합을 통해 새로운 솔루션을 발견할 수 있다는 견해를 지지하는 결과가 있지만, 복잡하고 실제적인 추론에서의 구체적인 메커니즘은 향후 연구 영역이라고 강조합니다.