F-Actor: Controllable Conversational Behaviour in Full-Duplex Models

Este trabajo presenta F-Actor, el primer modelo de conversación de voz dúplex completo y abierto que, mediante un entrenamiento eficiente de solo 2.000 horas sin preentrenamiento a gran escala, permite controlar dinámicamente el comportamiento conversacional (como la voz, el tema, las interrupciones y los retroalimentos) siguiendo instrucciones explícitas.

Lo esencial

¡Hola! Imagina que has estado hablando con asistentes de voz como Siri o Alexa. Son muy útiles, pero a veces se sienten un poco "robóticos" y torpes. Si tú hablas mientras ellos están hablando, ellos suelen cortarse, quedarse en silencio o no entenderte bien. Es como intentar tener una conversación con alguien que solo te escucha cuando tú guardas silencio absoluto.

Los autores de este paper, F-Actor, quieren cambiar eso. Han creado un nuevo tipo de "actor de voz" que puede escuchar y hablar al mismo tiempo, tal como lo hacemos los humanos.

Aquí te explico cómo funciona y por qué es especial, usando algunas analogías sencillas:

1. El problema: La conversación de "turnos" vs. la conversación real

Imagina un juego de tenis donde solo puedes golpear la pelota cuando el otro jugador la ha devuelto y se ha detenido. Eso es como las conversaciones actuales: tú hablas, ellos esperan, ellos hablan, tú esperas.

Pero una conversación real es como un baile fluido o una charla en una fiesta ruidosa. En una fiesta, puedes:

• Interrumpir a alguien amablemente para decir "¡Exacto!".
• Hacer sonidos de asentimiento ("ajá", "uh-huh") mientras la otra persona sigue hablando.
• Empezar a hablar antes de que la otra persona termine su frase.

Esto se llama dúplex completo (full-duplex). F-Actor es el primer modelo que puede hacer esto de forma natural y, lo más importante, puedes decirle cómo comportarse.

2. La solución: El "Actor" que sigue un guion

La gran innovación de F-Actor es que es controlable. Imagina que eres el director de cine y tienes un actor (el modelo). Antes, el actor solo sabía improvisar. Ahora, puedes darle un guion con instrucciones específicas:

• La Voz: "Hoy actúa como un abuelo sabio" o "como un niño entusiasta".
• El Tema: "Hablemos sobre recetas de cocina" o "sobre el clima".
• El Comportamiento: "Interrumpe a la otra persona 3 veces" o "Haz sonidos de asentimiento cada vez que yo hable".
• Quién empieza: "Tú inicia la conversación" o "Espera a que yo hable primero".

Es como darle al actor una lista de deseos antes de que empiece la escena. Si le pides que sea muy interrumpidor, lo será. Si le pides que sea tímido, lo será.

3. ¿Cómo lo lograron? (La receta secreta)

Crear un modelo así suele ser como intentar construir un rascacielos: necesitas cantidades masivas de dinero, computadoras gigantes y años de trabajo. Pero los autores hicieron algo inteligente:

• No reinventaron la rueda: En lugar de entrenar todo el cerebro del modelo desde cero (lo cual es carísimo), tomaron un cerebro ya entrenado (un modelo de lenguaje grande) y le añadieron "orejas" y "boca" especializadas.
• La "Cápsula de Audio": Imagina que el audio es una película muy larga y compleja. En lugar de ver cada fotograma, el modelo convierte el sonido en pequeños bloques de código (como píxeles de sonido).
• Entrenamiento eficiente: Usaron solo 2,000 horas de datos (lo cual es poco para los estándares de la IA actual) y lo entrenaron en un par de días con hardware que una universidad normal puede tener. Es como aprender a conducir en un coche deportivo en lugar de construir tu propio coche desde cero.

4. ¿Por qué es importante?

Hasta ahora, si querías que un asistente de voz fuera más natural, tenías que programar reglas fijas y complejas. Con F-Actor, simplemente le escribes una instrucción y él lo hace.

• Para la educación: Podrías tener un tutor que te interrumpa amablemente si ve que no entiendes algo.
• Para la terapia: Podrías tener un compañero de conversación que sepa exactamente cuándo escuchar y cuándo dar su opinión, adaptándose a tu estado de ánimo.
• Para el entretenimiento: Podrías tener un personaje de videojuego que realmente parezca vivo, capaz de reaccionar en tiempo real a lo que dices, sin pausas incómodas.

En resumen

F-Actor es como un actor de voz muy talentoso que no solo sabe hablar, sino que sabe escuchar activamente, interrumpir con tacto y adaptar su personalidad según lo que le pidas. Y lo mejor de todo: los creadores han decidido que este actor y su "guion" sean gratuitos y de código abierto, para que cualquier investigador o desarrollador pueda usarlo y mejorar la forma en que hablamos con las máquinas.

Es un paso gigante para que las conversaciones con la IA dejen de sentirse como un juego de turnos aburrido y empiecen a sentirse como una charla real con un amigo.

Resumen técnico

Resumen Técnico: F-Actor

1. El Problema

Los sistemas de conversación hablada actuales presentan limitaciones significativas para lograr una interacción verdaderamente natural y humana:

• Falta de Naturalidad y Adaptabilidad: La mayoría de los sistemas operan en modo half-duplex (turnos estrictos), lo que impide comportamientos humanos naturales como las interrupciones, los backchannels (señales de escucha activa como "ajá", "sí") y la superposición de habla.
• Limitada Personalización: Los sistemas existentes rara vez permiten la personalización dinámica de la voz, el tema de conversación, el estilo de interacción o la iniciativa de iniciar el diálogo.
• Barreras de Recursos: Las soluciones de full-duplex (simultaneidad de hablar y escuchar) más avanzadas suelen requerir preentrenamiento a gran escala, optimización multi-etapa y recursos computacionales masivos, haciéndolas inaccesibles para la investigación académica estándar.
• Evaluación Reactiva: Las evaluaciones actuales se centran en cómo el sistema reacciona a las interrupciones del usuario, pero no en la capacidad proactiva del sistema para interrumpir o dar backchannels de manera controlada.

2. Metodología

Los autores proponen F-Actor, el primer modelo de conversación hablada full-duplex de código abierto que sigue instrucciones y se puede entrenar eficientemente bajo restricciones de recursos académicas.

Arquitectura y Diseño:

• Base LLM: Utiliza Llama3.2-1B-Instruct como columna vertebral.
• Codificación de Audio: Emplea NanoCodec (con cuantización FSQ - Finite Scalar Quantization) para convertir el audio en Unidades Acústicas Discretas (DAUs). A diferencia de trabajos previos, el codificador de audio se mantiene congelado (frozen).
• Entrenamiento Eficiente: Solo se fine-tunea el LLM y las cabezas lineales de salida (DAU heads). Esto elimina la necesidad de preentrenamiento masivo o optimización multi-etapa.
• Mecanismo Full-Duplex: El modelo procesa dos flujos de audio simultáneos (usuario y sistema) utilizando embeddings separados para cada flujo y cada libro de códigos, sumándolos para permitir la superposición de habla.
• Seguimiento de Instrucciones:
  • Se introduce un prompt de instrucción que especifica: (a) la narrativa de la conversación, (b) quién inicia el diálogo, (c) la frecuencia exacta de interrupciones y backchannels, y (d) las características de la voz del hablante (vía embeddings de hablante extraídos con ECAPA-TDNN).
  • Se utiliza una alineación de texto-audio a nivel de palabra con un retraso (delay) de audio para mejorar la sincronización.

Protocolo de Entrenamiento:

• Datos: Utiliza el conjunto de datos sintético Behavior-SD (2,164 horas de conversaciones en inglés con anotaciones de comportamiento).
• Recursos: Entrenado con solo 2,000 horas de datos en 4 GPUs A100-40GB durante aproximadamente 2 días (48 horas de entrenamiento).
• Estrategia: Entrenamiento en una sola etapa (single-stage) sin preentrenamiento adicional de voz o texto.

3. Contribuciones Clave

1. Primer Modelo Abierto y Controlable: Presentan el primer modelo full-duplex de código abierto capaz de seguir instrucciones explícitas sobre voz, tema, comportamiento conversacional (interrupciones/backchannels) y quién inicia la conversación.
2. Eficiencia de Recursos: Demuestran que es posible lograr un rendimiento competitivo sin preentrenamiento a gran escala, requiriendo solo 2,000 horas de datos y hardware académico estándar.
3. Protocolo de Entrenamiento y Análisis: Desarrollan un protocolo de entrenamiento de una sola etapa y analizan sistemáticamente decisiones de diseño críticas (alineación texto-audio, retraso de audio, uso de tokens especiales, pérdida de sistema vs. sistema+usuario).
4. Reproducibilidad: Liberan tanto el modelo como el código de entrenamiento para fomentar la investigación futura en sistemas de voz full-duplex.

4. Resultados

El modelo fue evaluado en capacidades generales y seguimiento de instrucciones:

• Calidad de Voz y Coherencia:

  • Logró un UTMOS (calidad de voz percibida) de 3.42, cercano a los datos de referencia (3.78).
  • La tasa de error de palabras (WER) entre el texto generado y el audio transcrito fue de 8.49% (con temperatura 0.9), mejorando significativamente al usar alineación a nivel de palabra y retraso de audio.
  • El equilibrio en el tiempo de habla entre interlocutores fue efectivo.

• Seguimiento de Instrucciones:

  • Iniciación del Diálogo: Al combinar el flujo de texto con el retraso de audio, la precisión para iniciar o esperar según la instrucción superó el 99.8%.
  • Consistencia de Voz: La similitud coseno entre el hablante objetivo y el generado fue de 0.54, con una deriva mínima (drift) a lo largo de la conversación.
  • Adherencia a la Narrativa: Un juez LLM y evaluadores humanos confirmaron que el modelo sigue la narrativa especificada, con una correlación perfecta entre la clasificación del juez LLM y la humana.
  • Comportamiento Conversacional:
    • Se observó una correlación significativa (Pearson r = 0.54) entre la frecuencia solicitada de backchannels y la generada.
    • La correlación para interrupciones fue menor (0.25), atribuida a la rareza de estos eventos en los datos de entrenamiento, aunque el modelo aprendió a generarlos cuando se solicitaba.

• Comparación con SOTA:

  • En métricas de toma de turnos (IPUs, pausas, huecos, superposiciones), F-Actor mostró un comportamiento comparable a modelos de vanguardia como Moshi y dGLSM, replicando estadísticas de conversaciones reales (pausas más largas que los huecos entre turnos).

5. Significado e Impacto

• Democratización de la Tecnología: F-Actor rompe la barrera de entrada para la investigación en sistemas de voz full-duplex, demostrando que no se necesitan recursos de escala industrial para crear sistemas conversacionales avanzados.
• Control Finas: Permite por primera vez controlar explícitamente la "personalidad" conversacional de una IA (qué tan proactiva es, si interrumpe, qué tono usa), lo cual es crucial para aplicaciones donde la naturalidad y la empatía son prioritarias.
• Fundamento para Futuras Investigaciones: Al liberar el código y el modelo, establece un estándar reproducible para evaluar y mejorar el comportamiento conversacional proactivo y reactivo en sistemas de voz.
• Limitaciones y Riesgos: Los autores reconocen que el modelo aún genera menos interrupciones de las solicitadas debido a la escasez de datos y que el uso de TTS sintético reduce el riesgo de suplantación de identidad, aunque advierten sobre los riesgos potenciales de uso indebido (estafas, ingeniería social) y recomiendan su uso solo con fines de investigación.

En conclusión, F-Actor representa un avance significativo hacia la creación de agentes de voz que no solo hablan, sino que "actúan" de manera conversacionalmente inteligente y adaptable, acercándose más a la dinámica de la interacción humana real.