논문 제목: TiCo: Time-Controllable Training for Spoken Dialogue Models

핵심 주제: 구어 대화 모델 (SDM) 이 시간 제약이 있는 지시를 따르고, 제어 가능한 지속 시간의 응답을 생성할 수 있도록 하는 새로운 학습 프레임워크 제안.

1. 문제 정의 (Problem)

• 배경: 음성 비서, 웨어러블 기기, 의료/응급 상황 등 실제 응용 분야에서 구어 대화 모델 (SDM) 의 응답은 정확성과 자연스러움뿐만 아니라 **엄격한 시간 제한 (Duration Constraint)**을 준수해야 합니다.
• 현황: 기존 SDM 들은 자연스러운 음성 생성 능력은 뛰어나지만, "약 15 초 동안 응답해 주세요"와 같은 시간 관련 지시 (Time-constrained instructions) 를 따르는 능력은 매우 부족합니다.
• 어려움: 텍스트 LLM 과 달리, 음성 생성에서 단어 수를 제한한다고 해서 실제 음성 지속 시간이 보장되지 않습니다. 음절 수, 발음, 억양, 화자의 말하기 속도 (Speaking rate) 등 다양한 요인이 실제 소리의 길이에 영향을 미치기 때문입니다.
• 결론: 기존 모델들은 시간 제어 지시를 따르지 못하거나, 응답 길이가 목표와 크게 빗나가는 문제가 발생했습니다.

2. 제안 방법: TiCo (Methodology)

TiCo 는 SDM 이 생성 과정에서 **구어 시간 마커 (Spoken Time Markers, STM)**를 사용하여 경과 시간을 추정하고, 이를 바탕으로 응답 길이를 실시간으로 조절할 수 있게 하는 2 단계 후학습 (Post-training) 프레임워크입니다.

핵심 메커니즘: Spoken Time Marker (STM)

• 모델이 중간 표현 (Intermediate Representation) 단계에서 <10.6 seconds>와 같은 텍스트 형태의 시간 마커를 생성하도록 학습시킵니다.
• 이 마커는 생성된 콘텐츠와 실제 음성 지속 시간 간의 정렬 (Alignment) 을 제공하여 모델이 "지금까지 얼마나 말했는지"를 인지하게 합니다.

학습 단계 (Two-Stage Training)

1. 1 단계: 시간 인식 학습 (Time-Awareness Training)

   • 목표: 모델이 생성 중 경과 시간을 추정하고 시간 마커를 삽입하는 능력을 키우는 것.
   • 방법:
     • 자가 생성 (Self-generation): 모델이 자유롭게 응답을 생성한 후, ASR(자동 음성 인식) 과 타임스탬프 정렬 기술을 활용하여 실제 음성 길이와 텍스트 토큰 간의 매핑을 수행합니다.
     • 데이터 구성: 생성된 응답에 시간 마커를 삽입하여 증강된 데이터 세트를 만듭니다.
     • 학습: 이 데이터를 사용하여 지도 미세 조정 (SFT) 을 수행하여 모델이 중간 생성 상태와 시간 진행 상황을 연관 짓도록 학습시킵니다. (질문 - 답변 쌍 수집 불필요)

2. 2 단계: 시간 제어 학습 (Time-Controllable Training)

   • 목표: 명시적인 시간 제약 지시 (예: "15 초로 응답하라") 를 따르는 능력을 강화.
   • 방법:
     • 강화 학습 (RLVR): 검증 가능한 보상 (Verifiable Rewards) 을 이용한 강화 학습 (GRPO) 을 적용합니다.
     • 보상 설계:
       • 주요 보상: 지시된 목표 시간과 생성된 마지막 시간 마커가 나타내는 시간의 차이를 기반으로 계산 (가우시안 함수 사용).
       • 보조 보상: 시간 마커 생성 유무, 단조 증가성, 반복 방지, 지시 시간의 단순 복사 방지 등을 위한 패널티/보너스 적용.
     • CHORD: 오프-폴리시 전문가 궤적 (Stage 1 데이터) 을 온-폴리시 RL 과정에 통합하여 학습 안정성을 높이고 보상 해킹 (Reward Hacking) 을 방지합니다.

3. 주요 기여 (Key Contributions)

1. TiCo 프레임워크 제안: 추론 중 시간 마커를 생성하고 실시간으로 응답 지속 시간을 제어할 수 있는 2 단계 학습 프레임워크를 최초로 제안했습니다.
2. TiCo-Bench 벤치마크 구축: 구어 대화 모델의 시간 제어 능력을 평가하기 위한 최초의 벤치마크를 개발했습니다. (InstructS2S, UROBench, LIFEBench 등의 데이터를 기반으로 1,440 개의 평가 샘플 구성)
3. 성능 입증 및 일반화: TiCo 가 기존 오픈소스/상용 모델 및 캐스케이드 시스템보다 시간 제어 정확도를 획기적으로 개선했으며, 학습 시 보지 못한 긴 응답 구간이나 텍스트 입력에서도 잘 일반화됨을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능 (TiCo-Bench):
  • 오차 감소: TiCo 는 기존 모델 (Qwen2.5-Omni-7B 등) 과 강력한 캐스케이드 베이스라인 (GPT + TTS) 을 모두 압도했습니다.
    • 평균 절대 오차 (MAE): 4.54 초 (기존 모델 대비 13.01 초, 캐스케이드 대비 10.41 초에서 대폭 개선).
    • 평균 절대 백분율 오차 (MAPE): 14.9% (기존 모델 42.3%, 캐스케이드 29.0% 대비).
  • 짧은/긴 응답 모두 우수: 1030 초 (짧은) 및 3060 초 (긴) 구간 모두에서 낮은 오차를 유지하며, 특히 짧은 시간 제약에서 기존 모델들이 겪는 어려움을 해결했습니다.
• 응답 품질: 시간 제어 능력을 향상시키면서도 응답의 유용성 (Helpfulness) 과 일관성 (Coherence) 은 유지되었습니다 (GPT-score 기준).
• 일반화 능력:
  • 긴 응답: 학습 시 최대 41 초 (2048 토큰) 까지 학습했으나, 1 분 (60 초) 이상의 응답에서도 높은 정확도를 보였습니다.
  • 입력 모드: 음성 입력으로만 학습되었음에도, 텍스트 입력에 대한 시간 제어 능력도 뛰어난 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 음성 비서, 웨어러블 기기, 의료/응급 상황 등 시간이 중요한 실제 환경에서 SDM 의 배포 가능성을 크게 높였습니다.
• 기술적 혁신: 텍스트 기반 길이 제어와 달리, 음성의 물리적 특성을 고려한 내부 시간 인식 메커니즘을 학습시켜 음성 생성의 새로운 제어 가능성을 열었습니다.
• 간단하고 효율적: 추가적인 대규모 데이터 수집이나 복잡한 아키텍처 변경 없이, 소량의 데이터와 자기 생성 (Self-generation) 기반 학습만으로 효과를 입증했습니다.

이 논문은 구어 대화 시스템이 단순히 "무엇을" 말하는지뿐만 아니라 "얼마나 오래" 말하는지를 정밀하게 제어할 수 있는 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.