1. 문제 정의 (Problem Definition)

본 논문은 구어 언어 모델 (SLMs, Spoken Language Models) 이 다턴 (multi-turn) 대화에서 초기에 지시받은 화법 스타일 (speaking style) 을 유지하지 못하고 점차 잊어버리는 현상을 발견하고 이를 '스타일 망각 (Style Amnesia)' 으로 명명했습니다.

• 핵심 문제: SLM 은 단일 턴 (single-turn) 대화에서는 감정, 억양, 음량, 말하기 속도 등의 비언어적 (paralinguistic) 스타일 지시를 잘 따르지만, 대화가 여러 턴으로 이어질수록 해당 스타일을 일관되게 유지하지 못합니다.
• 현상: 대화의 첫 번째 턴에서는 지시 사항을 잘 따르지만, 이후 턴으로 갈수록 지시 준수율 (Instruction-Following Rate, IF Rate) 이 급격히 감소합니다.
• 영향: 이는 실제 사용자 환경에서 SLM 이 일관된 캐릭터나 톤으로 대화하는 능력을 저해하며, 현재 SLM 의 한계를 드러냅니다.

2. 연구 방법론 (Methodology)

저자들은 스타일 망각 현상을 정량화하고 그 원인을 규명하기 위해 다음과 같은 평가 프레임워크와 실험을 수행했습니다.

가. 평가 프레임워크

• 모델 대상: 3 개의 상용 모델 (GPT-4o, GPT-4o mini, Gemini Live) 과 2 개의 오픈소스 모델 (Qwen2.5-Omni, Step-Audio 2 mini) 을 평가했습니다.
• 스타일 유형: 4 가지 비언어적 속성 (감정, 억양, 음량, 말하기 속도) 의 10 가지 구체적인 스타일 (예: 슬픔, 분노, 인도 억양, 빠른 속도 등) 을 테스트했습니다.
• 대화 시나리오:
  • 사용자 시뮬레이터: 평가 대상 SLM 과 상호작용하기 위해 ASR(음성인식) + 텍스트 LLM + TTS(음성합성) 로 구성된 캐스케이드 시스템을 '사용자 시뮬레이터'로 구축하여 다턴 대화를 생성했습니다.
  • 대화 주제: Soda 데이터셋에서 추출한 100 가지 다양한 사회적 대화 주제를 사용했습니다.
  • 지시 위치: 스타일 지시를 '시스템 메시지 (System Message)'와 '사용자 메시지 (User Message)' 중 어디에 배치했을 때 성능이 달라지는지 비교 실험을 수행했습니다.

나. 평가 지표

• 지시 준수율 (IF Rate): 각 턴에서 생성된 음성이 목표 스타일을 따르는지 자동 판정기 (Automatic Judges) 를 통해 0 또는 1 로 판단하고, 전체 비율을 계산했습니다.
  • 감정: Emotion2vec-Large 모델 사용.
  • 억양: Voxlect-English-Dialect-Whisper-Large-v3 모델 사용.
  • 음량/속도: LUFS(음량) 와 WPM(단어/분) 을 측정하여 기준 음성과 비교하는 상대적 평가 사용.
• 퇴화율 (Degradation Rate, D): 첫 턴의 IF Rate 대비 이후 턴에서의 성능 감소 정도를 정량화했습니다.

다. 원인 분석 및 완화 방안

• 주의 메커니즘 분석: 오픈소스 모델 (Step-Audio 2 mini) 의 어텐션 (attention) 가중치를 분석하여 스타일 지시 토큰에 대한 주의가 대화 진행에 따라 어떻게 희석되는지 확인했습니다.
• 회상 (Recall) 프로세스: 모델이 지시를 잊었는지, 아니면 기억은 하지만 실행을 못 하는지 확인하기 위해 매 턴마다 "초기 스타일 지시를 다시 말해라"는 회상 프롬프트를 추가하는 실험을 수행했습니다.

3. 주요 결과 (Key Results)

가. 스타일 망각의 보편성

• 평가된 모든 모델 (상용 및 오픈소스) 이 다턴 대화에서 스타일 유지에 실패했습니다.
• 특히 감정 (슬픔, 분노) 과 속도 관련 지시에서 퇴화율이 가장 컸습니다. (예: GPT-4o mini 의 경우 슬픔 표현에서 65.3% 의 퇴화율 발생).
• 시스템 메시지 vs 사용자 메시지: 시스템 메시지는 전역적 지시를 위해 설계되었으나, 오히려 사용자 메시지에 지시를 넣었을 때 초기 턴의 성능이 훨씬 좋았습니다. 시스템 메시지에 스타일 지시를 넣으면 모델이 이를 거의 무시하는 경향이 있었습니다.

나. 원인 분석: 기억 상실 아님

• 주의 희석: 대화 턴이 증가할수록 모델의 어텐션 가중치가 초기 스타일 지시 토큰에서 급격히 감소했습니다 (첫 턴 약 8% → 네 번째 턴 0.6% 미만).
• 기억 vs 실행: 모델은 지시를 잊지 않았습니다. 회상 실험에서 모델은 초기 지시를 거의 완벽하게 기억하고 재진술할 수 있었지만 (Recall Rate 높음), 실제 음성 생성 시에는 그 스타일을 적용하지 못했습니다. 이는 기억 (Retention) 과 생성 (Generation) 간의 괴리가 문제임을 시사합니다.

다. 완화 방안: 회상 (Recall) 프로세스

• 매 턴마다 모델에게 "현재 어떤 스타일로 말해야 하는가?"를 묻고 지시를 재진술하게 하는 회상 프로세스를 도입했습니다.
• 이 방법은 스타일 망각을 유의미하게 완화시켰습니다. 특히 GPT-4o mini 의 경우 평균 퇴화율을 약 25% 감소시켰으며, 다른 모델들에서도 일관된 개선 효과를 보였습니다.

4. 주요 기여 (Key Contributions)

1. 스타일 망각 현상의 발견 및 명명: 다턴 구어 대화에서 SLM 이 초기 스타일 지시를 유지하지 못하는 체계적인 문제를 최초로 규명하고 'Style Amnesia'로 정의했습니다.
2. 포괄적인 평가 프레임워크 구축: 감정, 억양, 음량, 속도 등 다양한 비언어적 스타일에 대한 다턴 평가 벤치마크를 구축하고, 사용자 시뮬레이터를 활용한 실시간 상호작용 평가를 가능하게 했습니다.
3. 원인 규명: 스타일 망각이 '기억 상실'이 아니라 '주의 메커니즘의 희석'과 '생성 단계에서의 실행 실패' 때문임을 어텐션 분석과 회상 실험을 통해 증명했습니다.
4. 실용적 해결책 제시: 명시적인 회상 (Recall) 프롬프팅을 통해 스타일 일관성을 회복할 수 있음을 보여주어, 향후 모델 개선 및 프롬프트 엔지니어링에 대한 통찰을 제공했습니다.

5. 의의 및 시사점 (Significance)

• SLM 개발의 새로운 방향성: 현재의 SLM 은 텍스트 기반 LLM 과 달리 비언어적 정보 처리와 장기적 문맥 유지에 있어 근본적인 한계가 있음을 보여줍니다. 향후 모델은 단순한 텍스트 생성뿐만 아니라 화법 스타일의 장기적 일관성 (Style Adherence) 을 유지할 수 있도록 아키텍처나 학습 목표를 개선해야 함을 강조합니다.
• 시스템 메시지의 재고: LLM 에서 시스템 메시지가 강력한 지시 수단으로 간주되지만, SLM 의 경우 오히려 사용자 메시지가 스타일 유지에 더 효과적일 수 있음을 발견하여 프롬프트 설계 전략에 대한 새로운 관점을 제시했습니다.
• 실제 적용 가능성: 대화형 AI 어시스턴트, 캐릭터 기반 챗봇 등 일관된 톤과 매너가 필요한 분야에서 SLM 의 신뢰성을 높이기 위해 회상 메커니즘과 같은 기술적 보완이 필요함을 시사합니다.

이 논문은 구어형 AI 의 발전 단계에서 중요한 '일관성' 문제를 제기하며, 더 자연스럽고 신뢰할 수 있는 음성 대화 시스템을 구축하기 위한 기초 연구로서 큰 의의를 가집니다.