💬 NLP

Short Chains, Deep Thoughts: Balancing Reasoning Efficiency and Intra-Segment Capability via Split-Merge Optimization

이 논문은 구조적 중복성을 제거하여 정확도를 크게 향상시키고 계산 오버헤드를 줄이기 위해 일관성 기반 분할-병합 알고리즘과 구조 정렬 강화 학습을 활용하여 대규모 추론 모델을 개선하는 CoSMo라는 프레임워크를 소개합니다.

원저자: Runquan Gui, Jie Wang, Zhihai Wang, Chi Ma, Jianye Hao, Feng Wu

게시일 2026-05-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Runquan Gui, Jie Wang, Zhihai Wang, Chi Ma, Jianye Hao, Feng Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 퍼즐을 풀고 있다고 상상해 보세요. 줄무늬 셔츠 대신 사실로 구성된 '월도 찾기' 같은 퍼즐입니다. 여러분은 정답을 찾으려는 탐정들 (AI) 팀을 가지고 있습니다.

과거에는 이 탐정들에게 "단계별로 생각하라"고 지시했습니다. 그들은 그렇게 했지만, 종종 지나치게 생각했습니다. 그들은 이미 알고 있는 내용을 반복하거나 불필요하게 확인해야 하는 것들을 점검하는 생각까지 포함해 모든 생각을 적어냈습니다. 그 결과 중복된 기록으로 가득 찬 방대하고 messy 한 노트가 만들어졌습니다. 이를 읽는 데는 시간이 많이 걸렸고, 많은 종이 (컴퓨팅 파워) 가 낭비되었으며, 때로는 노트의 압도적인 양 자체가 탐정을 혼란스럽게 만들어 명백한 정답을 놓치게 하기도 했습니다.

이 논문은 이러한 문제를 해결하기 위해 CoSMo(일관성 기반 분할 - 병합 최적화) 라는 새로운 방법을 소개합니다. CoSMo 는 중요한 줄거리를 잃지 않으면서 간결하고 완벽한 이야기를 쓰는 법을 탐정에게 가르치는 스마트 편집자로 생각할 수 있습니다.

간단한 비유를 들어 CoSMo 가 어떻게 작동하는지 설명해 보겠습니다:

1. 문제: 지나친 수다

이 논문은 현재의 AI 모델들이 지나치게 많은 말을 하는 사람들과 같다고 주장합니다. 그들은 단순히 "정답은 X 입니다"라고 말하지 않고, "나는 X 에 대해 생각하고 있고, 다시 X 에 대해 생각하고 있으며, 아마도 X 가 사실인지 확인해 봐야 할 것 같고, 오, 보라니 X 가 다시 사실로군요"라고 말합니다.

문제점: 이러한 "수다"는 구조적 중복을 만듭니다. 단어가 너무 긴 것이 아니라, 서로 다른 단계 (세그먼트) 의 수가 너무 많다는 것입니다.
비유: 집에서 가게까지 걸어가는 상황을 상상해 보세요. 정상적인 사람은 곧장 그곳으로 갑니다. 하지만 과도하게 생각하는 AI 는 공원에 가서 시간을 확인하고, 다시 돌아와서 도서관으로 가서 시간을 다시 확인한 뒤, 그제야 가게로 갑니다. 거리 (토큰 수) 는 비슷할지라도, 정거장 (세그먼트) 의 수는 엄청나게 많고 비효율적입니다.

2. 해결책: "분할 - 병합" 알고리즘

CoSMo 는 AI 의 추론 체인을 편집이 필요한 문장처럼 취급합니다. 이를 정리하기 위해 두 단계의 과정을 사용합니다:

병합 (불필요한 것 제거): AI 가 같은 내용을 말하거나 서로의 사소한 변형에 불과한 두 단계를 작성하면, CoSMo 는 "이건 같은 생각이야!"라고 말합니다. 그런 다음 이를 하나의 강력하고 명확한 문장으로 병합합니다.
- 비유: "나는 배가 고파. 내 위장에서 꾸르륵 소리가 나."라고 말하는 대신, 편집자가 이를 "나는 배가 고파."로 통합합니다.
분할 (빈칸 채우기): 때로는 AI 가 너무 효율적이 되려고 단계를 건너뛰어 "A"에서 "C"로 점프하고 "B"를 설명하지 않습니다. CoSMo 는 이러한 "논리적 도약"을 발견하고 "잠깐, 단계를 건너뛰었어!"라고 말합니다. 그런 다음 그 큰 점프를 두 개의 작고 논리적인 단계로 분할합니다.
- 비유: AI 가 "나는 개를 봤으니 산책줄을 샀다"고 말하면, CoSMo 는 이를 분할합니다: "1. 나는 개를 봤다. 2. 나는 그 개를 위한 산책줄이 필요하다."

3. 훈련: "적당히" 되는 법 배우기

이 논문은 AI 에게 이 새로운 사고방식을 가르치기 위한 두 단계 훈련 과정을 설명합니다:

1 단계: 편집자 (지도 미세 조정): 연구자들은 AI 의 messy 하고 지나치게 긴 답변들을 가져와 분할 - 병합 알고리즘을 사용하여 완벽하고 간결한 버전으로 다시 씁니다. 그런 다음 AI 가 이러한 완벽한 버전을 모방하도록 가르칩니다. 이는 학생이 명확하게 쓰는 법을 배우기 위해 모범 답안을 공부하는 것과 같습니다.
2 단계: 코치 (강화 학습): 이제 AI 는 스스로 문제를 해결해 봅니다. "코치" (보상 시스템) 는 AI 가 사용하는 단어 수를 단순히 세지 않습니다. 대신 AI 가 취하는 서로 다른 단계의 수를 셉니다.
- 반전: 코치는 말합니다. "매우 상세하고 정확하게 설명하기 위해 단계 내에서는 원하는 만큼 많은 단어를 써도 돼. 하지만 너무 많은 단계를 취해서는 안 돼."
- 이것이 중요한 이유: 이전 방법들은 단어의 총 수를 제한하려고 했습니다. CoSMo 는 복잡한 아이디어를 설명하기 위해 때로는 긴 문장이 필요할 수 있음을 깨닫습니다. 따라서 긴 문장을 작성한 것에 대해 AI 를 처벌하는 것이 아니라, 너무 많은 정거장(세그먼트) 을 취한 것에 대해 처벌합니다.

4. 결과: 더 짧은 체인, 더 깊은 사고

이 논문은 다양한 어려운 질문들 (다단계 퀴즈나 독해 등) 에서 이를 테스트했습니다.

결과: CoSMo 는 다른 방법들보다 더 정확한 답변을 생성했고, 더 적은 단계를 사용했습니다.
비유: 경주를 상상해 보세요. 다른 달리기 선수들은 원을 그리며 뛰거나 (중복된 단계), 거칠고 어색한 거대한 점프를 취했습니다 (논리 생략). CoSMo 의 선수는 가장 직접적인 경로를 택했고, 지도를 확인하기 위해 딱 필요한 횟수만큼만 멈췄지, 신발 끈을 두 번 묶기 위해 멈추지는 않았습니다.
통계: 논문은 CoSMo 가 정확도를 약 3.3 포인트 향상시키면서 추론 단계의 수를 거의 29% 줄였다고 주장합니다.

요약

간단히 말해, 이 논문은 이렇게 말합니다: AI 가 덜 말하게 만드는 것이 아니라, 더 효율적으로 생각하게 하십시오.

AI 에게 반복적인 생각을 병합하고 건너뜀을 분할하는 법을 가르침으로써, CoSMo 는 "골디락스" 스타일의 추론을 만들어냅니다. 너무 짧아 (상세함을 놓치는) 것도, 너무 길어 (시간을 낭비하는) 것도 아닌, 문제의 복잡성에 딱 맞는 적절한 스타일입니다. 이는 AI 가 필요한 곳에서는 깊고 상세하게 존재할 수 있게 하면서, 속도를 늦추는 구조적 잡음을 제거합니다.

"Short Chains, Deep Thoughts: Balancing Reasoning Efficiency and Intra-Segment Capability via Split-Merge Optimization" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

대규모 추론 모델 (LRMs) 은 긴 사고의 사슬 (CoT) 을 생성함으로써 다중 홉 질문 답변 (QA), 수학, 코드와 같은 복잡한 작업에서 놀라운 능력을 입증해 왔습니다. 그러나 이러한 장황한 생성에 대한 의존성은 두 가지 치명적인 문제를 야기합니다.

계산적 오버헤드: 긴 추론 사슬은 상당한 지연 시간과 토큰 소비를 초래합니다.
구조적 중복: 토큰 제한이나 가지치기와 같이 무분별하게 사슬을 단축하는 것은 종종 논리적 일관성을 해칩니다. 반대로 과도한 길이는 모델, 특히 지식 집약적 다중 홉 질문 답변 (QA) 에서 혼란을 초래할 수 있는 중복된 단계를 도입합니다.
핵심 과제: 기존 방법들은 구조적 중복(불필요한 추론 단계/세그먼트) 과 세그먼트 내부 깊이(단일 논리적 단계를 설명하는 데 필요한 필수 토큰 양) 를 구분하지 못합니다. 기존 접근 방식들은 종종 전체 토큰 길이를 패널티로 부과하여 복잡한 문제에 필요한 심층 추론 능력을 부당하게 억제합니다.

2. 방법론: CoSMo 프레임워크

저자들은 추론 사슬의 길이뿐만 아니라 그 위상 (topology) 을 최적화하도록 설계된 CoSMo(일관성 기반 분할 - 병합 최적화) 프레임워크를 제안합니다. 이는 두 단계로 운영됩니다.

A. 분할 - 병합 최적화 알고리즘 (데이터 큐레이션 및 SFT)

CoSMo 는 이미지 분할 알고리즘에서 영감을 받아 추론 사슬을 이산적인 세그먼트 시퀀스 ( $s_1, s_2, ..., s_N$ ) 로 간주합니다. 이는 문제의 정답 홉 수 ( $k^*$ ) 와 세그먼트 수 ( $N$ ) 가 일치하도록 사슬을 반복적으로 정제합니다.

병합 단계: $N > k^*$ (중복) 인 경우, 알고리즘은 LLM 기반 일관성 판정기를 사용하여 의미상 중복된 (예: 패러프레이징이나 사소한 확장) 인 인접 세그먼트를 식별합니다. 그런 다음 의미 생성기가 이를 하나의 간결한 논리적 단위로 융합합니다.
분할 단계: $N < k^*$ (논리적 도약) 인 경우, 알고리즘은 여러 단계가 압축된 거친 수준의 논리를 감지합니다. 생성기는 논리적 연속성을 보장하기 위해 이를 더 세분화되고 일관된 하위 세그먼트로 분해합니다.
결과: 이 과정은 모델에 구조적 사전 지식을 심어주는 감독 미세 조정 (SFT) 에 사용되는 고품질 논리 밀집 데이터셋 ( $D_{cosmo}$ ) 을 생성합니다.

B. 구조 정렬 강화 학습 (RL)

SFT 이후, 모델은 그룹 상대 정책 최적화 (GRPO) 를 사용하여 추가적으로 최적화됩니다.

새로운 보상 메커니즘: 전체 토큰 수를 패널티로 부과하는 대신, CoSMo 는 세그먼트 수준 예산을 도입합니다.
- 형식 보상: 번호가 매겨진 목록 구조에 대한 엄격한 준수를 보장합니다.
- 정확도 보상: 정확한 답변 일치를 보상합니다.
- 구조적 효율성 보상: 세그먼트 수와 정답 간의 편차 ( $|N - k^*|$ ) 를 패널티로 부과합니다.
주요 혁신: 이 설계는 모델이 세그먼트 수가 최적인 한, 세그먼트 내 토큰 길이를 확장 (심층 추론을 위해) 하더라도 패널티를 받지 않도록 합니다. 이는 구조적 효율성을 설명적 깊이와 분리합니다.

3. 주요 기여

구조와 깊이의 분리: 이 논문은 토큰 양이 아닌 문제 복잡성과의 위상적 정렬로 추론 효율성을 공식적으로 정의합니다. 이는 구조적 중복 (세그먼트 수) 과 세그먼트 내부 추론 (토큰 세분화) 을 분리합니다.
일관성 기반 분할 - 병합: 중복된 단계를 병합하고 논리적 간극을 분할하여 훈련 데이터를 동적으로 큐레이션하는 새로운 알고리즘으로, 간결성과 논리적 연속성을 모두 보장합니다.
RL 의 세그먼트 수준 예산 할당: 전역 토큰 제약을 세그먼트 수 패널티로 대체하는 강화 학습 전략으로, 필요한 심층 추론 세부 사항의 억제를 방지합니다.
실증적 검증: 구조 최적화만으로는 길이 최적화보다 더 나은 성능을 산출한다는 것을 입증하는 포괄적인 실험.

4. 실험 결과

저자들은 Llama-3.1-8B 와 Qwen-2.5 모델을 사용하여 여러 벤치마크 (HotpotQA, HaluEval, NQ, CRAG) 에서 CoSMo 를 평가했습니다.

성능 향상: CoSMo 는 추론 효율성 기준 대비 벤치마크 전반에 걸쳐 평균 정확도 +3.3 점 향상을 달성했습니다.
효율성:
- 평균 토큰 소비를 29.5% 감소시켰습니다.
- 효율적 추론 기준 대비 평균 세그먼트 수를 28.7% 감소시켰습니다.
- HotpotQA(대부분 2 홉 질문) 에서 CoSMo 는 구조적 중복 (정답을 초과하는 세그먼트) 을 CoT 의 약 1.6 에서 0.6으로 감소시켰습니다.
강건성:
- CoSMo 는 작업 난이도가 증가함에 따라 (2 홉에서 4 홉 질문으로) 높은 정확도를 유지한 반면, CoT 및 C3oT 와 같은 기준 모델들은 정확도가 크게 하락했습니다.
- 모델은 다양한 LLM 판정기 (Qwen-7B/14B/72B, Llama-3.1) 에서 일관된 우월성을 보여주어, 획득한 이득이 판정기 편향이 아닌 고유한 논리적 유효성 때문임을 입증했습니다.
애블레이션 연구:
- SFT 단계 (분할 - 병합) 만으로도 정확도 향상과 토큰 감소에 상당한 기여를 했습니다.
- RL 단계는 고유 능력을 더욱 강화했습니다.
- 두 단계의 조합이 최상의 결과를 산출하여 구조적 사전 지식과 RL 정렬이 상호 보완적임을 확인했습니다.

5. 의의 및 영향

계산적 지속 가능성: 추론 깊이를 희생하지 않으면서 구조적 중복을 제거함으로써, CoSMo 는 LRMs 의 탄소 발자국과 추론 비용을 줄이는 "그린 AI"로의 길을 제시합니다.
패러다임 전환: 이 연구는 지배적인 "토큰 예산" 접근 방식에 도전하며, 토큰의 양보다 추론의 구조가 더 중요한 최적화 대상임을 시사합니다.
해석 가능성: 생성된 분할된 추론 구조는 더 투명하여 추론 중 모델이 자원을 어떻게 할당하는지 분석을 용이하게 합니다.
일반화 가능성: 이 방법은 모델에 구애받지 않으며 다양한 백본 아키텍처와 난이도 수준에서 효과적이므로, 리소스가 제한된 장치에 효율적인 추론 모델을 배포하는 데 유망한 접근법입니다.