💬 NLP

R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning

R-Stitch는 토큰별 엔트로피를 활용해 불확실한 구간은 대형 언어 모델(LLM)에, 확실한 구간은 소형 언어 모델(SLM)에 맡기는 동적 경로 스티칭(Dynamic Trajectory Stitching) 방식을 통해, 추론 정확도를 유지하면서도 CoT(Chain-of-Thought) 생성 속도를 획기적으로 높인 학습 불필요(training-free) 하이브리드 디코딩 프레임워크입니다.

원저자: Zhuokun Chen, Zeren Chen, Jiahao He, Lu Sheng, Mingkui Tan, Jianfei Cai, Bohan Zhuang

게시일 2026-02-10

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhuokun Chen, Zeren Chen, Jiahao He, Lu Sheng, Mingkui Tan, Jianfei Cai, Bohan Zhuang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 배경: "천재 수학자와 초등학생의 협업"

우리가 아주 어려운 수학 문제를 풀려고 한다고 상상해 보세요.

LLM (거대 언어 모델): 모든 지식을 다 알고 있는 **'천재 교수님'**입니다. 하지만 교수님은 한 문장을 말할 때마다 아주 신중하고 느리게, 그리고 엄청나게 긴 설명을 덧붙이며 말합니다. (비용과 시간이 많이 듭니다.)
SLM (소형 언어 모델): 기초 지식은 있지만 조금 부족한 **'초등학생'**입니다. 하지만 말하는 속도가 엄청나게 빠르고, 쉬운 문제는 아주 간단하게 대답합니다. (빠르고 저렴합니다.)

지금까지의 기술(Speculative Decoding)은 초등학생이 먼저 답을 써 내려가면 교수님이 "맞았어!" 혹은 "틀렸어, 다시 해!"라고 검사하는 방식이었습니다. 그런데 초등학생이 조금이라도 교수님과 다르게 말하면, 교수님이 "틀렸어! 처음부터 다시 써!"라고 하며 모든 걸 뒤엎어버리는 바람에 오히려 시간이 더 걸리는 문제가 있었습니다.

2. R-Stitch의 핵심 아이디어: "똑똑한 이어붙이기(Stitching)"

R-Stitch는 이 문제를 **'불확실성(Entropy)'**이라는 신호등을 이용해 해결합니다.

비유하자면, '자율주행 자동차의 속도 조절'과 같습니다.

초등학생(SLM)이 먼저 달립니다: 아주 쉬운 계산이나 뻔한 문장은 초등학생이 빠르게 써 내려갑니다.
신호등(Entropy)을 확인합니다: 초등학생이 글을 쓰다가 "어... 이건 좀 어려운데? 내가 맞게 쓰고 있나?" 하고 헷갈려 하는 순간(즉, 불확실성/엔트로피가 높아지는 순간)이 옵니다.
교수님(LLM)에게 바통을 넘깁니다: 초등학생이 헷갈려 하는 그 지점에서 딱 멈추고, 교수님이 나타나서 그 부분만 정확하게 고쳐줍니다.
다시 초등학생에게 넘깁니다: 교수님이 어려운 고비를 넘겨서 다시 명확한 길을 찾아주면, 초등학생이 다시 바통을 이어받아 빠르게 달려갑니다.

이것을 논문에서는 **'동적 궤적 스티칭(Dynamic Trajectory Stitching)'**이라고 부릅니다. 마치 끊어진 길을 상황에 맞춰 딱딱 이어 붙이는 것과 같죠.

3. R-Stitch+ : "더 똑똑해진 내비게이션"

논문에서는 여기서 한 단계 더 나아간 **'R-Stitch+'**도 제안합니다.

기존에는 "헷갈리면 교수님 불러!"라는 단순한 규칙(고정된 문턱값)만 있었다면, R-Stitch+는 '경험을 통해 배우는 내비게이션' 같습니다.

"이 정도 난이도에서는 교수님을 부르는 게 시간 대비 효율적이야."
"이 문제는 초등학생이 그냥 가도 충분해."

이런 판단을 **강화학습(RL)**을 통해 스스로 학습합니다. 즉, **'정확도'**와 **'속도'**라는 두 마리 토끼를 가장 완벽하게 잡을 수 있는 최적의 타이밍을 스스로 찾아내는 것이죠.

4. 결과: "성능은 그대로, 속도는 광속으로!"

이 기술을 적용했더니 놀라운 결과가 나왔습니다.

속도: 기존 방식보다 훨씬 빨라져서, 어떤 경우에는 최대 4배 이상 속도가 빨라졌습니다.
정확도: 교수님이 중요한 순간에 개입해주기 때문에, 초등학생만 썼을 때보다 훨씬 정확하며, 교수님 혼자 썼을 때와 거의 차이가 없습니다.
효율성: 교수님이 모든 문장을 다 쓸 필요가 없으니, 컴퓨터 자원(메모리, 전기 등)도 훨씬 적게 씁니다.

요약하자면?

R-Stitch는 "쉬운 건 빠르게, 어려운 건 정확하게!"를 실현하기 위해, 초등학생의 속도와 교수님의 지혜를 '불확실성'이라는 신호등에 맞춰 아주 유연하게 이어 붙인 똑똑한 인공지능 가속 기술입니다.

[기술 요약] R-Stitch: 효율적인 추론을 위한 동적 궤적 스티칭 (Dynamic Trajectory Stitching)

1. 문제 배경 (Problem Statement)

최근 대규모 언어 모델(LLM)의 추론 능력을 극대화하기 위해 Chain-of-Thought (CoT) 프롬프팅이 널리 사용되고 있습니다. 하지만 CoT는 중간 추론 과정을 단계별(token-by-token)로 생성해야 하므로, 수천 개의 토큰을 생성하는 과정에서 **막대한 추론 비용과 지연 시간(Latency)**이 발생한다는 치명적인 단점이 있습니다.

기존의 가속화 방법은 크게 세 가지 방향이 있었으나 한계가 명확했습니다:

추론 길이 단축: 추론 과정을 강제로 줄이려 하면 정확도가 떨어짐.
Speculative Decoding (추측적 디코딩): 작은 모델(SLM)이 초안을 쓰고 큰 모델(LLM)이 검증하는 방식. 하지만 SLM과 LLM의 출력 일치도(Consistency)가 낮으면 빈번한 롤백(Rollback)이 발생하여 오히려 속도가 느려지거나 오버헤드가 발생함.
KV 캐시 최적화: I/O 병목을 줄이지만 근본적인 토큰 생성량 문제를 해결하지는 못함.

2. 핵심 아이디어 및 방법론 (Methodology)

본 논문은 **"SLM은 LLM보다 훨씬 짧고 간결한 추론 궤적을 생성하지만, 정답을 맞히는 능력은 충분할 때가 많다"**는 점에 착안했습니다. 즉, SLM과 LLM의 '토큰 일치성'에 집착하는 대신, 두 모델의 **'불확실성(Uncertainty)'**을 기준으로 계산을 동적으로 배분하는 방식을 제안합니다.

A. R-Stitch (Entropy-Guided Decoding)

엔트로피 기반 라우팅: 토큰 생성 시 해당 토큰의 **엔트로피(Entropy)**를 불확실성의 척도로 사용합니다.
- Low Entropy (확신): SLM이 생성한 토큰의 엔트로피가 낮으면, 모델이 확신하고 있다고 판단하여 그대로 수용합니다.
- High Entropy (불확실): 엔트로피가 높으면 오류 가능성이 크다고 보고, LLM을 호출하여 해당 토큰을 교정(Overwrite)하고 추론을 이어갑니다.
양방향 스티칭 (Bidirectional Stitching): SLM에서 LLM으로 전환될 뿐만 아니라, LLM이 생성하다가 다시 확신이 생기면(Low Entropy) 다시 SLM으로 제어권을 넘겨 계산 비용을 절감합니다.
KV Cache 관리: 모델 전환 시 중복 계산을 피하기 위해 Partial Prefill 전략을 사용하여 기존에 생성된 토큰의 KV 캐시를 재사용합니다.

B. R-Stitch+ (RL-based Adaptive Routing)

단순히 고정된 엔트로피 임계값( $\tau$ )을 사용하는 대신, **강화학습(RL)**을 통해 최적의 라우팅 정책을 학습합니다.
Latency-aware Reward: 정확도(Accuracy)뿐만 아니라 실제 추론 지연 시간(Latency)을 보상 함수에 포함하여, 정확도를 유지하면서도 가장 빠른 경로를 선택하도록 학습합니다. (DAPO 최적화 알고리즘 사용)

3. 주요 기여 (Key Contributions)

새로운 패러다임 제시: 기존 Speculative Decoding이 모델 간의 '일치성'에 의존했다면, R-Stitch는 모델 간의 '불확실성'을 활용하여 불일치 문제를 해결했습니다.
Training-free 효율성: R-Stitch 자체는 추가 학습이 필요 없는 프레임워크이며, R-Stitch+를 통해서만 경량 라우터를 학습합니다.
유연한 트레이드오프: 임계값 조절만으로 사용자의 컴퓨팅 예산에 맞춰 정확도와 속도 사이의 균형을 자유롭게 조절할 수 있습니다.

4. 실험 결과 (Results)

DeepSeek-R1-Distill-Qwen 시리즈(7B, 14B, 32B)를 대상으로 수학적 추론 벤치마크(AIME, AMC, MATH 등)에서 실험한 결과:

압도적인 가속도:
- 7B 모델: 최대 3.00× 가속
- 14B 모델: 최대 3.85× 가속
- 32B 모델: 최대 4.10× 가속
정확도 유지: LLM 전체 디코딩과 비교했을 때 정확도 손실이 거의 없거나, 오히려 불필요하게 긴 추론을 줄여줌으로써 정확도가 소폭 상승하는 결과도 관찰되었습니다.
Speculative Decoding 대비 우위: 모델 간 일치도가 낮은 상황에서 기존 방식은 속도가 느려지거나 정확도가 떨어졌으나, R-Stitch는 일관되게 높은 성능을 보였습니다.

5. 의의 및 결론 (Significance)

R-Stitch는 "작은 모델의 효율성"과 "큰 모델의 신뢰성"을 동적으로 결합함으로써, CoT 추론의 고질적인 문제인 높은 비용 문제를 해결할 수 있는 실질적인 해결책을 제시했습니다. 특히 별도의 모델 재학습 없이도 기존 LLM 인프라에 즉시 적용 가능하다는 점에서 실무적 가치가 매우 높습니다.