💬 NLP

STITCH: Simultaneous Thinking and Talking with Chunked Reasoning for Spoken Language Models

이 논문은 음성 언어 모델(SLM)이 답변을 말하는 동안 내부적인 추론 과정을 동시에 수행할 수 있도록, 음성 출력과 무언(unspoken) 추론 청크를 교차 생성하여 지연 시간(latency)을 최소화하면서도 추론 성능을 높인 'Stitch'라는 새로운 생성 방식을 제안합니다.

원저자: Cheng-Han Chiang, Xiaofei Wang, Linjie Li, Chung-Ching Lin, Kevin Lin, Shujie Liu, Zhendong Wang, Zhengyuan Yang, Hung-yi Lee, Lijuan Wang

게시일 2026-02-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Cheng-Han Chiang, Xiaofei Wang, Linjie Li, Chung-Ching Lin, Kevin Lin, Shujie Liu, Zhendong Wang, Zhengyuan Yang, Hung-yi Lee, Lijuan Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 배경: 기존 AI의 문제점 (말하기 전의 '정적')

우리가 어려운 수학 문제를 물어봤을 때, 똑똑한 사람은 바로 입을 떼지 않습니다. 잠시 "음... 그러니까... (머릿속으로 계산 중)" 하며 생각을 정리한 뒤에 아주 명쾌하게 대답하죠.

하지만 지금까지의 음성 AI(Spoken Language Models)는 두 가지 극단적인 방식 중 하나였습니다.

생각 없이 바로 말하기: 머릿속으로 정리할 시간이 없으니, 말이 꼬이거나 틀린 답을 툭 내뱉습니다. (마치 시험 문제를 읽자마자 아무 생각 없이 답을 적는 학생과 같습니다.)
생각 다 하고 말하기: 완벽한 답을 내기 위해 머릿속으로 모든 계산을 끝낸 뒤에야 입을 엽니다. 문제는 이 과정이 너무 길어서, 사용자는 AI가 대답할 때까지 한참 동안 "어... 왜 말이 없지?" 하며 기다려야 한다는 것입니다. (마치 수학 문제를 다 풀 때까지 입을 꾹 다물고 있는 학생과 같습니다.)

🧵 해결책: STITCH (말하면서 동시에 생각하기)

연구진은 이 문제를 해결하기 위해 **'STITCH(스티치)'**라는 기술을 제안했습니다. 'Stitch'는 '한 땀 한 땀 꿰매다'라는 뜻이죠. 이 기술은 "말하는 시간"과 "생각하는 시간"을 교묘하게 교차시켜서 하나로 이어 붙입니다.

💡 비유: "요리사 이야기"

이 기술을 **'요리사'**에 비유해 보겠습니다.

기존 방식 (TBS): 손님이 주문을 하면, 요리사가 주방에서 요리를 완전히 다 만들 때까지 손님에게 아무 말도 안 하고 가만히 있습니다. 손님은 요리가 나올 때까지 배고픈 채로 기다려야 하죠.
STITCH 방식: 요리사가 요리를 시작하자마자 손님에게 말을 겁니다. "네, 주문하신 오므라이스 준비해 드릴게요! (말하기 시작)" 그러면서 요리사는 손님과 대화하는 그 짧은 틈틈이 머릿속으로 다음 재료를 어떻게 손질할지, 간은 어떻게 맞출지 **계속해서 계산(생각)**합니다.

즉, 입으로는 "첫 번째 단계"를 말하고 있고, 그 말을 하는 동안 머릿속으로는 "두 번째 단계"를 위한 생각을 하는 것입니다.

🛠️ 어떻게 작동하나요? (STITCH-R & STITCH-S)

논문에서는 두 가지 버전을 제시합니다.

STITCH-R (생각 먼저 조금 하기): 아주 짧게 "음, 잠시만요..." 하고 머릿속으로 첫 단추를 끼운 뒤 바로 말을 시작합니다. 말을 하는 동안 다음 생각을 계속 이어갑니다.
STITCH-S (말 먼저 하기): 기다리는 시간을 아예 없애기 위해, 일단 질문에 대한 반응(예: "네, 계산해 드릴게요!")을 먼저 말해버립니다. 그 말을 하는 동안 머릿속으로는 본격적인 계산을 시작합니다. 사용자 입장에서는 대기 시간이 '0'에 가깝게 느껴집니다.

🏆 결과: 똑똑해졌는데, 빠르기까지 하다!

이 기술을 적용했더니 놀라운 결과가 나왔습니다.

지능 상승: 수학 문제 풀이 능력이 기존 방식보다 약 15%나 향상되었습니다. 머릿속으로 '생각(Reasoning)'을 하는 과정을 거치기 때문입니다.
속도 유지: 그런데도 사용자가 느끼는 대기 시간은 기존에 생각 없이 바로 말하던 모델과 똑같습니다. 말하는 시간을 '생각하는 시간'으로 알뜰하게 활용했기 때문입니다.
자연스러움: 일반적인 대화(상식 질문 등)를 할 때는 성능이 떨어지지 않고 아주 자연스럽게 대화할 수 있었습니다.

🌟 요약하자면?

STITCH는 AI에게 **"말하는 동안 머릿속으로 딴생각(계산)을 할 수 있는 능력"**을 준 것입니다. 덕분에 우리는 AI가 틀린 말을 할까 봐 걱정할 필요도 없고, 대답을 기다리느라 지루해할 필요도 없게 되었습니다. 마치 말 잘하고 똑똑한 사람과 실시간으로 대화하는 듯한 경험을 주는 기술입니다.

[기술 요약] STITCH: 분할된 추론을 통한 음성 언어 모델의 동시 사고 및 발화

1. 문제 정의 (Problem Statement)

현재의 **음성 언어 모델(Spoken Language Models, SLMs)**은 사용자의 음성 입력을 받아 음성으로 응답을 생성하지만, 응답을 하기 전 내부적으로 '생각(Reasoning)'하는 과정이 결여되어 있습니다.

인간은 복잡한 질문을 받으면 내부적으로 추론 과정을 거친 뒤 정제된 답변을 말하지만, 기존 SLM에 단순히 **Chain-of-Thought(CoT)**를 도입하려 하면 다음과 같은 문제가 발생합니다:

지연 시간(Latency) 문제: 모델이 답변을 시작하기 전에 전체 추론 과정을 텍스트로 모두 생성해야 하므로, 추론이 길어질수록 사용자가 첫 음성을 듣기까지 기다려야 하는 시간이 무한정 늘어납니다.
비효율성: 추론 과정은 내부적인 사고일 뿐인데, 이를 모두 음성으로 출력하면 대화가 불필요하게 길어지고 혼란을 줄 수 있습니다.

2. 제안 방법론 (Methodology: STITCH)

본 논문은 **STITCH(Simultaneous Thinking and Talking with Chunked Reasoning)**라는 새로운 생성 프레임워크를 제안합니다. 핵심 아이디어는 **"말하는 동안 동시에 생각하기"**입니다.

핵심 메커니즘: Chunked Reasoning

STITCH는 전체 추론을 한 번에 생성하는 대신, **'생각(Reasoning) 청크'**와 **'발화(Spoken Response) 청크'**를 번갈아 가며 생성합니다.

시간 활용의 최적화: 음성 응답 청크( $N_{speech}$ )가 생성되어 스피커를 통해 사용자에게 재생되는 시간( $t_{chunk}$ )은 모델이 다음 토큰들을 생성하는 시간보다 훨씬 깁니다. STITCH는 이 **'남는 시간(Free time)'**을 활용하여 다음 단계의 내부 추론 토큰( $N_{reason}$ )을 생성합니다.
두 가지 변형 모델:
- STITCH-R (Reasoning First): 첫 번째 음성 청크를 내보내기 전에 짧은 추론 청크를 먼저 생성합니다. 약간의 초기 지연은 있지만, 추론의 질을 높이는 데 유리합니다.
- STITCH-S (Speaking First): 추론 없이 즉시 첫 번째 음성 청크를 생성한 뒤, 음성이 재생되는 동안 추론을 수행합니다. 기존 모델과 동일한 수준의 제로(Zero) 추가 지연 시간을 유지하면서도 추론 능력을 확보할 수 있습니다.

3. 주요 기여 (Key Contributions)

최초의 내부 사고 과정 도입: SLM에 음성으로 출력되지 않는 '내부 독백(Unspoken reasoning)' 개념을 최초로 도입했습니다.
지연 시간 문제 해결: STITCH-S를 통해 추론 능력을 강화하면서도, 기존 모델(추론 기능이 없는 모델)과 동일한 응답 속도를 달성했습니다.
효율적인 데이터 구성: 기존의 텍스트-음성 교차 생성(Interleaved) 방식을 확장하여, 추론-텍스트-음성이 정교하게 맞물린 새로운 학습 데이터 파이프라인을 구축했습니다.

4. 실험 결과 (Results)

실험은 수학적 추론(Math QA)과 일반 지식(Non-reasoning) 데이터셋을 통해 진행되었습니다.

수학적 추론 성능 향상: 5개의 수학 QA 데이터셋에서 STITCH는 추론 기능이 없는 베이스라인 모델 대비 평균 15% 이상의 정확도 향상을 보였습니다. 특히 어려운 GSM8K 데이터셋에서 성능 향상이 두드러졌습니다.
지연 시간 유지: STITCH-S는 베이스라인과 동일한 첫 패킷 지연 시간(First packet latency)을 유지하면서도 성능을 크게 높였습니다.
일반 대화 능력 보존: 비추론(Non-reasoning) 데이터셋(TriviaQA, AlpacaEval 등)에서도 성능 저하 없이 기존 모델과 대등하거나 더 나은 성능을 유지하여, 추론 학습이 일반 대화 능력을 해치지 않음을 증명했습니다.
음성 품질: UTMOSv2 및 GPT-4o 평가 결과, 음성의 지각적 품질과 유창성(Fluency) 모두 기존 모델과 유사하게 높게 유지되었습니다.

5. 의의 및 결론 (Significance)

STITCH는 "성능(Reasoning Quality)"과 "속도(Latency)" 사이의 트레이드오프(Trade-off)를 혁신적으로 해결했습니다.

이 연구는 향후 AI 비서가 단순히 말을 빠르게 하는 것을 넘어, 인간처럼 "생각하며 말하는(Thinking while speaking)" 고도화된 상호작용을 가능하게 하는 중요한 기술적 토대를 마련했습니다. 특히 실시간성이 중요한 음성 인터페이스 분야에서 매우 높은 실용적 가치를 지닙니다.