F-Actor: Controllable Conversational Behaviour in Full-Duplex Models

Este trabalho apresenta o F-Actor, o primeiro modelo de conversação de voz full-duplex aberto e instrucional que, ao utilizar um protocolo de treinamento de estágio único com recursos acadêmicos limitados, permite o controle dinâmico de comportamento conversacional, voz e tópicos seguindo instruções explícitas.

O essencial

Imagine que você está conversando com um amigo. A conversa flui naturalmente: você fala, ele ouve, mas às vezes ele interrompe para dizer "ah, sim!" ou "entendi!", ou até mesmo para concordar com um som enquanto você ainda está falando. Isso é o que chamamos de conversação em "duplex total": ouvir e falar ao mesmo tempo, como os humanos fazem.

A maioria dos assistentes de voz de hoje (como Siri ou Alexa) funciona como um "semáforo": você fala, eles ficam em silêncio, processam, e só então respondem. É como jogar tênis onde você só pode devolver a bola depois que o adversário parou de bater nela. Não é muito natural.

O papel que você enviou apresenta o F-Actor, um novo modelo de inteligência artificial que tenta ser esse "amigo" natural. Aqui está a explicação do que eles fizeram, usando analogias simples:

1. O Problema: O Assistente "Robótico"

Os assistentes atuais são bons em gerar voz, mas péssimos em comportamento. Eles não sabem quando interromper, quando dar um "ok" (backchannel) ou como mudar de tom dependendo do assunto. É como ter um ator de teatro que decorou o roteiro perfeitamente, mas nunca consegue improvisar se o outro ator mudar a linha.

2. A Solução: O "F-Actor" (O Ator Controlável)

Os pesquisadores criaram um modelo chamado F-Actor. Pense nele como um ator de teatro muito talentoso que obedece a um diretor.

• O Diretor é você: Você dá instruções específicas antes da peça começar.
• O Roteiro é o tópico: "Vamos conversar sobre um filme de terror".
• A Personalidade é a voz: "Fale com uma voz de velhinho sábio" ou "Fale como uma adolescente animada".
• O Comportamento é a chave: "Durante a conversa, interrompa o usuário 2 vezes e dê 3 'ok' de concordância".

O F-Actor consegue seguir essas ordens e agir como um humano real, ouvindo e falando ao mesmo tempo.

3. Como eles fizeram isso? (A Mágica da Eficiência)

Normalmente, criar um robô que fala e ouve ao mesmo tempo exige computadores gigantescos e anos de treinamento (como treinar um elefante para dançar ballet).

Os autores fizeram algo inteligente e econômico:

• O "Ouvido" Congelado: Eles usaram um "ouvido" (encoder de áudio) que já existia e estava muito bem treinado, mas não o mexeram. É como usar um ouvido humano perfeito que já sabe o que é som.
• O "Cérebro" Treinado: Eles treinaram apenas o "cérebro" (o modelo de linguagem) para entender o que fazer com esses sons.
• O Resultado: Em vez de precisar de 100.000 horas de dados e supercomputadores, eles precisaram de apenas 2.000 horas e alguns dias de treinamento em placas de vídeo comuns. É como aprender a dirigir um carro novo usando apenas o manual do proprietário, sem precisar construir o motor do zero.

4. O Que o F-Actor Consegue Fazer?

O modelo foi testado e consegue:

• Mudar de Voz: Você pode pedir para ele soar como uma pessoa específica (dentro de um conjunto limitado, para evitar que ele copie vozes reais de pessoas sem permissão).
• Controlar a Interrupção: Você pode dizer: "Seja muito proativo e interrompa o usuário se ele demorar". O modelo aprende a fazer isso.
• Dar "Backchannels": Sabe quando você diz "hum-hum" ou "é" enquanto alguém fala? O F-Actor faz isso também, o que deixa a conversa muito mais fluida.
• Decidir Quem Começa: Você pode instruir: "Você começa a conversa" ou "Espere o usuário começar".

5. Por que isso é importante?

Imagine um assistente de saúde mental que não apenas responde, mas ouve ativamente, interrompe gentilmente para mostrar que está prestando atenção, ou muda o tom de voz para ser mais acolhedor. Isso torna a interação com máquinas muito menos estranha e mais humana.

Resumo em uma Frase

O F-Actor é o primeiro assistente de voz "aberto" (código disponível para todos) que consegue conversar como um humano real, ouvindo e falando ao mesmo tempo, e que obedece a comandos sobre como deve se comportar, tudo isso sendo treinado de forma barata e eficiente, como se fosse um ator seguindo um roteiro de direção.

Nota de Segurança: Os autores foram cuidadosos. O modelo só usa vozes de um conjunto pequeno e fixo (para não clonar vozes de celebridades ou pessoas reais) e foi treinado com vozes sintéticas, para que ninguém confunda o robô com um humano real em situações perigosas. É uma ferramenta de pesquisa para melhorar o futuro, não para enganar.

Resumo técnico

Resumo Técnico: F-Actor

1. O Problema

Os sistemas de conversação falada atuais, embora avançados em geração de fala, ainda carecem de naturalidade e engajamento humano. As principais limitações identificadas são:

• Falta de Duplexidade Completa (Full-Duplex): A maioria dos sistemas opera em modo "turno" (um fala, o outro ouve), não permitindo que o sistema ouça e fale simultaneamente. Isso impede comportamentos naturais humanos como interrupções e backchannels (pequenos sons de concordância ou reconhecimento enquanto o outro fala).
• Falta de Controle e Personalização: Sistemas existentes raramente permitem que os usuários controlem explicitamente o comportamento conversacional (ex: tom de voz, frequência de interrupções, quem inicia a conversa) ou a personalidade do agente.
• Custo Computacional e Recursos: As soluções atuais de duplexidade completa geralmente exigem pré-treinamento em larga escala, otimização multi-estágio e grandes quantidades de dados, tornando-as inacessíveis para a maioria dos pesquisadores acadêmicos.
• Falta de Reprodutibilidade: Muitos modelos recentes com capacidades de seguir instruções não têm seus códigos ou modelos liberados publicamente.

2. Metodologia

O artigo apresenta o F-Actor, o primeiro modelo aberto, instrucional e de duplexidade completa, projetado para ser treinado eficientemente sob restrições de recursos acadêmicos.

• Arquitetura:

  • Backbone: Utiliza o Llama3.2-1B-Instruct como base.
  • Codificação de Áudio: Emprega o Nemo-nano-codec (NanoCodec), que utiliza Quantização Escalar Finita (FSQ). Isso gera 4 codebooks independentes por fluxo de áudio, permitindo a previsão paralela de tokens acústicos (DAUs) sem a necessidade de arquiteturas hierárquicas complexas (como as usadas em RVQ).
  • Mecanismo de Duplexidade: O modelo processa dois fluxos de áudio simultaneamente (usuário e sistema) usando embeddings dedicados para cada fluxo, permitindo a modelagem de sobreposição de fala.
  • Seguimento de Instruções: O sistema aceita prompts textuais que especificam:
    1. A narrativa da conversa.
    2. Quem deve iniciar o diálogo.
    3. A frequência exata de backchannels e interrupções.
    4. As características da voz do sistema (via embeddings de falante extraídos com ECAPA-TDNN).
  • Fluxo de Texto: O modelo também gera o texto correspondente à fala, alinhado token a token com o áudio, para melhorar a coerência e a qualidade.

• Protocolo de Treinamento (Single-Stage):

  • Eficiência: O encoder de áudio (NanoCodec) permanece congelado. Apenas o LLM e as cabeças lineares (heads) para previsão de tokens de áudio são treinados.
  • Dados: Utiliza o conjunto de dados Behavior-SD (2.164 horas de diálogos sintéticos com anotações de comportamento).
  • Recursos: O treinamento é realizado em apenas 4 GPUs A100-40GB por cerca de 48 horas, utilizando apenas 2.000 horas de dados de treinamento, sem pré-treinamento em larga escala.

3. Principais Contribuições

1. Primeiro Modelo Aberto e Controlável: O F-Actor é o primeiro modelo de fala de duplexidade completa de código aberto que permite controle explícito via instruções sobre voz, tópico, comportamento (interrupções/backchannels) e iniciação do diálogo.
2. Protocolo de Treinamento Eficiente: Demonstra que é possível obter modelos de alta qualidade com recursos acadêmicos limitados, congelando o encoder de áudio e focando no ajuste fino (fine-tuning) do LLM.
3. Análise Sistemática de Design: O estudo avalia rigorosamente escolhas arquiteturais, como alinhamento de texto/áudio (palavra vs. enunciado), atraso de áudio (audio delay) e quantização (FSQ vs. RVQ).

4. Resultados

Os resultados foram avaliados em duas dimensões: capacidades gerais do sistema e desempenho no seguimento de instruções.

• Capacidades Gerais:

  • A adição de um fluxo de texto e o alinhamento em nível de palavra (com um atraso de 2 tokens no áudio) resultaram na melhor performance.
  • Redução significativa da Perplexidade (de 25,23 para ~21,45) e da Taxa de Erro de Palavra (WER) de >23% para 7,59%.
  • Qualidade de fala (UTMOS) manteve-se estável em torno de 3,4–3,5, comparável a modelos de ponta.

• Seguimento de Instruções:

  • Iniciação: O modelo alcançou >99% de precisão ao iniciar a conversa conforme solicitado (ou esperar pelo usuário).
  • Consistência da Voz: Alta similaridade cosinosa (até 54 pontos) com o falante alvo, com desvio mínimo ao longo do diálogo.
  • Comportamento (Backchannels/Interrupções): Houve uma correlação positiva significativa entre a frequência solicitada no prompt e a gerada pelo modelo (Correlação de Pearson de 0,54 para backchannels e 0,25 para interrupções). O modelo tende a gerar menos eventos do que o solicitado, mas responde à direção do comando.
  • Aderência à Narrativa: O uso de texto e atraso de áudio melhorou significativamente a aderência ao tema da conversa, validada por avaliadores humanos e LLMs.

• Comparação com SOTA:

  • O comportamento de troca de turnos (pausas, gaps, sobreposições) do F-Actor é estatisticamente similar a modelos de ponta como o Moshi e dados reais, superando abordagens em cascata.

5. Significado e Impacto

O trabalho do F-Actor é significativo por democratizar o acesso a sistemas de conversação de fala avançados.

• Acessibilidade: Ao reduzir a necessidade de dados massivos e poder computacional, permite que a comunidade acadêmica pesquise e reproduza sistemas de duplexidade completa.
• Controle Comportamental: Abre novas possibilidades para aplicações onde o estilo de interação é crucial (ex: assistentes que devem ser mais proativos ou mais passivos, cenários de role-play, atendimento ao cliente adaptativo).
• Reprodutibilidade: A liberação pública do código e do modelo estabelece uma base sólida para pesquisas futuras em sistemas de diálogo falado instrucionais e controláveis.

Limitações Notadas:

• O modelo ainda gera menos interrupções e backchannels do que o solicitado devido à raridade desses eventos nos dados de treinamento.
• O codec utilizado não suporta inferência de encoder em streaming contínuo (limitando a implementação totalmente online).
• Atualmente limitado ao idioma inglês devido à falta de dados de treinamento em outros idiomas com anotações de comportamento.