TiCo: Time-Controllable Training for Spoken Dialogue Models

1. O Problema

Os Modelos de Diálogo Falado (SDMs - Spoken Dialogue Models) são fundamentais para assistentes de voz e agentes interativos. Embora existam modelos capazes de gerar respostas naturais, eles carecem de consciência temporal e dificuldade em seguir instruções de duração.

• Desafio Principal: Diferente de modelos de texto onde contar palavras é um bom proxy para o tamanho, em sistemas de fala, a duração depende de fatores complexos como número de sílabas, composição fonética, contexto linguístico, estrutura prosódica e velocidade de fala do locutor.
• Limitação Atual: Modelos existentes (tanto open-source quanto comerciais) frequentemente falham ao tentar atender a restrições explícitas de tempo (ex: "Gere uma resposta de 15 segundos"), resultando em respostas muito curtas ou excessivamente longas, o que prejudica a usabilidade em cenários críticos (como atualizações de trânsito ao dirigir ou feedback médico de emergência).

2. Metodologia: TiCo (Time-Controllable Training)

O TiCo é uma abordagem de pós-treinamento simples e eficiente que permite aos SDMs estimar e regular a duração da fala gerada em tempo real. O método baseia-se em Marcadores de Tempo Falado (STMs - Spoken Time Markers) e um processo de treinamento em duas etapas:

Etapa 1: Treinamento de Consciência Temporal (Self-Generation & SFT)

• Objetivo: Ensinar o modelo a associar estados intermediários de geração com o progresso temporal.
• Mecanismo: O modelo gera respostas livremente e, em seguida, utiliza um sistema de ASR (Automatic Speech Recognition) com carimbos de tempo (timestamps) para alinhar o texto intermediário com a duração real da fala sintetizada.
• Marcadores de Tempo (STMs): São inseridos tokens especiais no intermediário (ex: <10.6 seconds>) que indicam o tempo acumulado falado até aquele ponto.
• Aprendizado: O modelo é ajustado via Supervised Fine-Tuning (SFT) para prever esses marcadores, aprendendo a estimar o tempo decorrido durante a geração sem necessidade de pares de dados question-resposta externos (usa auto-geração).

Etapa 2: Treinamento Controlável por Tempo (RLVR)

• Objetivo: Otimizar o modelo para seguir instruções de duração específicas.
• Mecanismo: Utiliza Reinforcement Learning with Verifiable Rewards (RLVR), especificamente o algoritmo GRPO.
• Recompensas:
  • Recompensa Principal: Baseada na diferença entre a duração alvo (na instrução) e o último marcador de tempo gerado. Usa uma função Gaussiana para penalizar erros.
  • Recompensas Auxiliares: Incluem penalidades para evitar reward hacking (como copiar cegamente o tempo alvo sem gerar conteúdo, repetir marcadores ou gerar marcadores não monotônicos).
• Regularização: Utiliza o método CHORD para misturar o aprendizado por reforço com trajetórias de especialistas da Etapa 1, garantindo estabilidade e preservando a qualidade da resposta.

3. Principais Contribuições

1. Framework TiCo: Uma arquitetura de duas etapas que permite a geração de fala com controle de duração em tempo real através de marcadores temporais internos.
2. TiCo-Bench: O primeiro benchmark projetado especificamente para avaliar a capacidade de seguir instruções de controle de tempo em SDMs. O conjunto de dados inclui 1.440 amostras derivadas de datasets existentes (InstructS2S, UROBench, LIFEBench), cobrindo tarefas de raciocínio, criatividade e resumo, com durações alvo de curto (10-30s) e longo (30-60s).
3. Generalização: Demonstração de que a capacidade de controle temporal aprendida generaliza para durações não vistas durante o treinamento e transfere-se eficazmente de consultas em fala para consultas em texto.

4. Resultados Experimentais

Os experimentos foram conduzidos no TiCo-Bench, comparando o TiCo (baseado no Qwen2.5-Omni-7B) com modelos comerciais, open-source e sistemas em cascata (LLM + TTS).

• Desempenho Superior: O TiCo superou consistentemente todas as linhas de base.
  • Erro Absoluto Médio (MAE): TiCo alcançou 4.54s (vs. 13.01s do modelo base e 10.41s do melhor sistema em cascata).
  • Erro Porcentual Médio (MAPE): TiCo alcançou 14.9% (vs. 42.3% do modelo base).
• Robustez: O TiCo foi o único modelo a manter um erro abaixo de 20% em todos os subconjuntos (curto e longo), demonstrando eficácia tanto em orçamentos de tempo apertados quanto em respostas longas.
• Qualidade da Resposta: A qualidade semântica e a coerência das respostas (avaliadas por GPT-score) foram preservadas, sendo comparáveis ao modelo base, indicando que o controle de tempo não degrada a utilidade da resposta.
• Generalização: O modelo treinado com dados de fala generalizou bem para entradas de texto e para durações superiores às vistas no treinamento (até 1 minuto).

5. Significado e Impacto

O TiCo representa um avanço significativo na interação homem-máquina por voz.

• Aplicabilidade Prática: Permite a implantação de assistentes de voz em cenários onde o tempo é crítico (ex: dispositivos com bateria limitada, situações de emergência, interfaces de direção), garantindo que a resposta seja concisa e dentro do limite de tempo solicitado.
• Mudança de Paradigma: Demonstra que o controle de duração na fala não pode ser tratado apenas como uma restrição de contagem de palavras, mas requer uma modelagem interna de tempo durante o processo de planejamento semântico.
• Eficiência: A abordagem é leve, não requer grandes volumes de dados anotados manualmente e pode ser aplicada a qualquer SDM que utilize representações intermediárias, tornando-a uma solução escalável para a próxima geração de agentes de voz.

Em resumo, o TiCo preenche uma lacuna crítica na pesquisa de SDMs, transformando a capacidade de "falar por tempo" de um desafio não resolvido em uma funcionalidade controlável e confiável.