Resumen Técnico: MuVAP

Planteamiento del Problema

Los modelos actuales de toma de turnos multiparte enfrentan limitaciones significativas en escenarios reales de Interacción Humano-Robot (HRI). Los enfoques tradicionales suelen depender de matrices de micrófonos complejas, configuraciones de múltiples cámaras o entradas de audio multicanal para aislar a los interlocutores, lo cual es poco práctico para entornos no restringidos. Además, los modelos de Proyección de Actividad de Voz (VAP) existentes, aunque efectivos para interacciones diádicas (de dos partes), sufren de una complejidad combinatoria cuando se escalan a entornos multiparte; el espacio de etiquetas crece exponencialmente con el número de interlocutores ($N$), lo que los hace inadecuados para tamaños de grupo dinámicos. Adicionalmente, los conjuntos de datos existentes utilizados para la Detección de Locutor Activo (ASD) suelen contener cortes editoriales (saltos de corte o jump cuts) que interrumpen el flujo temporal causal requerido para entrenar modelos predictivos de toma de turnos.

Metodología

Los autores proponen MuV-VAP (Proyección de Actividad de Voz Multimodal y Multiparte), un marco causal diseñado para predecir la dinámica de toma de turnos utilizando únicamente un flujo de audio monoaural y una única vista de cámara. La arquitectura consta de tres componentes principales:

1. Proyección Relativa al Rol: Para abordar el problema de escalabilidad del modelado multiparte, los autores introducen una abstracción novedosa que mapea cualquier interacción de $N$ interlocutores en un estado fijo de "Poseedor actual vs. Próximo" del turno (Current vs. Next floor-holder). En lugar de modelar todas las permutaciones posibles de interlocutores, el sistema identifica al interlocutor con la mayor actividad histórica como el "Poseedor Actual" y al interlocutor con la mayor actividad futura como el "Próximo Poseedor". Esto reduce el estado variable de $N$ interlocutores a una representación de pares fija, comprimiendo el espacio de etiquetas de exponencial a un tamaño manejable (136 estados únicos para un vector de 8 bits).
2. Arquitectura Multimodal Causal:
   • Backbone de VAP: Extrae señales prosódicas y lingüísticas de audio bruto utilizando un codificador de Codificación Predictiva Contrastiva (CPC) y un Transformer causal.
   • Backbone de ASD Causal: Una arquitectura TalkNet modificada que se preentrena en múltiples conjuntos de datos para generar incrustaciones (embeddings) visuales robustas para la separación de interlocutores. Utiliza convoluciones causales y atención cruzada para fundamentar las señales acústicas a rastreos faciales específicos sin depender de fotogramas futuros.
   • Módulo de Fusión: El modelo fusiona las incrustaciones de audio globales ($Z_{VAP}$) con las incrustaciones visuales de los interlocutores individuales ($Z_{ASD}$) a través de un Transformer de Fotogramas y un Transformer Temporal. Produce dos salidas: GlobalVAP (GVAP) para predecir el estado global de cambio/permanencia (shift/hold) y SpeakerVAP (SVAP) para predecir la actividad de un interlocutor específico.
3. Estrategia de Entrenamiento: El modelo utiliza un enfoque de entrenamiento modular:
   • Fisher Corpus (196h): Para el aprendizaje de señales acústicas de toma de turnos (VAP).
   • MSDWild, WASD, AVA-AS (140h+): Para el preentrenamiento del módulo ASD.
   • AVCC (31h): Para optimizar la dinámica temporal en secuencias multiparte continuas y sin editar.

Contribuciones Clave

• Marco MuVAP: Un modelo multimodal y causal que permite la predicción de la toma de turnos sensible al interlocutor a partir de un solo canal de audio y una sola vista de cámara, eliminando la necesidad de matrices de micrófonos o geometría de múltiples vistas.
• Proyección Relativa al Rol: Un método novedoso para manejar la complejidad multiparte mediante la abstracción de la dinámica de grupo en un estado fijo de "Actual vs. Próximo", lo que permite al modelo generalizarse a tamaños de grupo arbitrarios sin necesidad de reentrenamiento.
• Corpus de Conversación Audio-Visual (AVCC): La introducción de un nuevo conjunto de datos de 31 horas de conversaciones multiparte sin editar. A diferencia de los conjuntos de datos existentes (por ejemplo, MSDWild), el AVCC preserva el flujo conversacional natural, incluyendo silencios mutuos, solapamientos y señales de pre-turno, los cuales son esenciales para el modelado causal de toma de turnos.
• Predicción Jerárquica: Un enfoque de doble tarea donde el GVAP actúa como un "director social" para predecir las transiciones globales de turno, lo que luego condiciona al SVAP para identificar al interlocutor específico.

Resultados

Las evaluaciones se realizaron en el conjunto de datos AVCC para dos tareas: Predicción de Cambio/Permanencia (clasificación binaria de si un turno cambiará o se mantendrá) y Predicción del Próximo Interlocutor (NSP) (identificar al siguiente interlocutor).

• Predicción de Cambio/Permanencia: MuVAP superó a las bases sólidas, incluyendo un modelo VAP unimodal y una base MLP no fusionada. En entornos de 2 interlocutores, MuVAP alcanzó un Macro-F1 de 0.696 (Silencio) y 0.641 (Activo), comparado con el VAP unimodal de 0.672 y 0.622 respectivamente. Los resultados indican que la fundamentación visual ayuda significamente a desenredar las señales acústicas solapadas.
• Predicción del Próximo Interlocutor: MuVAP alcanzó una precisión de 0.637 (2 interlocutores, Silencio) y 0.477 (3 interlocutores, Silencio), superando la base MLP. El rendimiento mejoró aún más al condicionar las predicciones con las salidas de GVAP e la identificación del interlocutor previo.
• Validación de la Proyección Relativa al Rol: Los experimentos en el corpus Fisher mostraron que la Proyección Relativa al Rol (usando audio mono) logró un Macro-F1 de 0.778, solo ligeramente inferior a la proyección basada en interlocutores usando audio estéreo (0.799), validando la viabilidad del enfoque para entradas de un solo canal.

Significancia y Reivindicaciones

El artículo afirma que MuVAP representa un paso significativo hacia el despliegue de agentes conversacionales receptivos en entornos sociales del mundo real utilizando únicamente hardware comercial estándar (un solo micrófono y una cámara). Al demostrar que la fundamentación visual a través de los rastreos de ASD puede sustituir eficazmente la separación de audio espacial, el marco aborda un cuello de botella crítico en la HRI. Los autores enfatizan que su enfoque imita la atención social humana al centrarse en los poseedores actuales y próximos del turno, evitando así la explosión combinatoria del modelado conjunto.

La introducción del conjunto de datos AVCC se destaca como una contribución crucial, ya que proporciona el primer recurso a gran escala y sin editar para entrenar modelos de toma de turnos causales en entornos reales, superando las limitaciones de los conjuntos de datos editados que rompen la continuidad temporal. Los autores concluyen que la combinación de la reducción escalable de estados (Proyección Relativa al Rol) con la fundamentación audiovisual ofrece un camino robusto para la predicción de la interacción multiparte, aunque señalan que se necesita trabajo futuro para validar la escalabilidad en grupos más grandes y diversos idiomas.