Resumen Técnico: Co-policy – Co-creación Humano-Robot Responsiva para Interpretaciones Musicales

1. Declaración del Problema

El artículo aborda el desafío de la co-creación musical humano-robot con encarnación (embodied). Mientras que la IA generativa ha avanzado en la producción de contenido desincorporado (texto, audio, partituras), los sistemas robóticos suelen funcionar meramente como dispositivos de reproducción que ejecutan notas preespecificadas sin una contribución creativa genuina o adaptación física en tiempo real.

Los autores identifican dos preguntas científicas no resueltas:

1. Brecha Semántica-Acción: ¿Cómo puede un robot transformar una semilla creativa humana incompleta (por ejemplo, un motivo, intención verbal o estilo) en una respuesta musical complementaria en lugar de una copia mecánica?
2. Ejecución Física y Latencia: ¿Cómo puede ejecutarse esta respuesta física, con precisión y con una latencia a nivel de interacción?

Las soluciones existentes enfrentan compromisos (trade-offs):

• Políticas de Difusión (Diffusion Policies): Altamente expresivas pero sufren de alta latencia debido al denoise iterativo, lo que las hace inadecuadas para el estricto tiempo musical de la interacción humano-robot.
• Modelos de Imitación Estándar: A menudo colapsan hacia acciones promedio, perdiendo la diversidad de modos de impacto necesarios para una interpretación expresiva.
• Modelos Generativos Desincorporados: Carecen de las restricciones físicas (alcanzabilidad, dinámica del instrumento) requeridas para la ejecución en el mundo real.

2. Metodología: El Marco de Trabajo Co-policy

Co-policy es un agente de IA con encarnación modular y ligero que separa el flujo de trabajo en tres etapas distintas: Anclaje de Intención Semántica, Variación Musical Restringida y Ejecución Visomotriz.

2.1 Anclaje de Intención Semántica y Planificación

En lugar de tratar al Modelo de Lenguaje-Visión (VLM) como un generador monolítico de extremo a extremo, Co-policy lo utiliza como un módulo de anclaje semántico.

• Banco de Anclaje Semántico: Se utiliza una base de datos de semillas musicales emparejadas, imágenes de partituras, descriptores de estilo y etiquetas de jugabilidad robótica para recuperar el contexto relevante durante la inferencia.
• Qwen-vl Ajustado (F-Qwen): El VLM se ajusta para producir planes en formato JSON estructurado en lugar de texto libre. Procesa el habla humana, semillas musicales en vivo (extraídas del audio) y observaciones visuales (RGB) para definir el rol del robot (por ejemplo, "acompañamiento"), el estilo, el tempo y las notas alcanzables.
• Planificador de Variación Restringida: El planificador genera una respuesta de nota del robot ($N^r_t$) que debe satisfacer cuatro criterios:
  1. Consistencia de Motivo: Mantener una estructura reconocible de la semilla humana.
  2. Validez Armónica: Evitar conflictos tonales.
  3. Novedad: Evitar la copia directa (asegurando la contribución creativa).
  4. Jugabilidad Encarnada: Garantizar que el plan sea ejecutable dentro del espacio de trabajo del robot y los límites de latencia.

2.2 Política Visomotriz de Mezcla Gaussiana (GMP)

Para abordar los desafíos de latencia y multimodalidad, el artículo introduce la GMP, una política de densidad de mezcla condicional de un solo paso.

• Codificador de Atención Guiada (GSA): Para resolver el desequilibrio global-local en el razonamiento visual, el codificador utiliza una arquitectura de doble flujo:
  • Un flujo de Swin Transformer captura dependencias espaciales de largo alcance (diseño de la escena).
  • Un flujo de DenseNet extrae características locales de píxel a píxel (regiones de contacto).
  • Acoplamiento entre Flujos (Cross-Stream Coupling): Las consultas (queries) se extraen del flujo global, mientras que las llaves (keys) y valores (values) provienen del flujo local. Esto permite al modelo preguntar "¿dónde está el objetivo?" usando el contexto global, pero responder usando evidencia local, mejorando la localización de campanas específicas.
• Cabezal de Acción de Mezcla de Densidad: En lugar de predecir una única acción determinista (que conduce al colapso de modo), la GMP predice una distribución de mezcla gaussiana condicional sobre vectores de acción robótica completos (o trayectorias de corto horizonte):
  $$p_\theta(\tau_t | O_t, N^r_t, c_t) = \sum_{k=1}^K \pi_k \mathcal{N}(\tau_t; \mu_k, \Sigma_k)$$
  • Cada componente $k$ representa un modo de acción latente (por ejemplo, golpear desde arriba, balanceo lateral o toque suave) en lugar de una articulación específica.
  • Esto preserva múltiples respuestas físicas factibles en un solo paso hacia adelante (forward pass), evitando el denoise iterativo de los modelos de difusión.
• Inferencia: El sistema selecciona el modo más probable ($\arg\max \pi_k$) o agrega la expectativa de la mezcla, permitiendo una ejecución de baja latencia.

3. Contribuciones Clave

1. Definición Formal de Co-creación con Encarnación: El artículo define la co-creación como una interacción de bucle cerrado donde el robot contribuye con una respuesta complementaria a una semilla humana incompleta, distinguiéndola de la reproducción robótica o la generación desincorporada.
2. Agente con Encarnación Modular: Un marco que combina F-Qwen para el anclaje semántico, un planificador restringido para la variación musical y GMP para la ejecución. Este enfoque modular evita los costos de despliegue de los modelos VLA monolíticos de extremo a extremo, manteniendo el anclaje físico.
3. GMP de Baja Latencia: Una política de densidad de mezcla condicional que predice distribuciones de acción multimodales en un solo paso hacia adelante, preservando los modos de acción factibles alternativos sin la latencia del denoise de los modelos de difusión.

4. Resultados Experimentales

El sistema fue evaluado en una interpretación de campanas (chimes) en el mundo real y en la plataforma de simulación ManiSkill2.

4.1 Evaluación con Robot Real (Interpretación de Campanas)

• Calidad de la Co-creación: En evaluaciones de expertos ciegos (10 intérpretes profesionales de campanas), Co-policy con F-Qwen y GMP logró un puntaje promedio de 74.8 en co-creación musical semántica y 62.0 en co-creación de concierto. Esto superó a la línea base de la Política de Difusión (66.3 y 55.8, respectivamente) y otras líneas base como $\pi_{0.5}$ y GR00T.
• Precisión de Ejecución: Co-policy logró una tasa de éxito de acción ($Acc_a$) de 0.78 y una precisión de afinación ($Acc_t$) de 0.88, resultando en una precisión combinada de 0.69. Esto es una mejora significativa sobre la Política de Difusión (precisión combinada de 0.56).
• Latencia: La frecuencia de acción post-comando para Co-policy fue de 18.6 Hz, significativamente mayor que la de la Política de Difusión (1.01 Hz) bajo la misma configuración de hardware y horizonte de acción.

4.2 Estudios de Ablación

• Anclaje Semántico: Reemplazar el Qwen-vl estándar con el F-Qwen ajustado mejoró los puntajes de co-creación en un 7.4%–13.3% en música semántica y un 3.5%–9.6% en tareas de concierto.
• Componentes de GMP: La ablación de los componentes del codificador de GMP mostró que la etapa de Swin Transformer contribuyó con un 32% al rendimiento, el bloque DenseNet un 27%, el mecanismo GSA un 21% y el cabezal de densidad de mezcla un 16%.
• Generalización: En la plataforma de simulación ManiSkill2 (tareas de Verter, Llenar, Colgar, Excavar), la GMP demostró una generalización robusta, validando la efectividad de la política visomotriz más allá de la tarea específica de las campanas.

5. Significado y Reivindicaciones

El artículo sostiene que la generación de acciones físicamente ancladas es un componente necesario de la co-creación humano-IA.

• Más allá de la Reproducción: El sistema demuestra que un robot puede transformar una semilla humana incompleta en una respuesta complementaria semánticamente alineada, musicalmente coherente y físicamente ejecutable.
• Interpretabilidad: Al separar el anclaje semántico, la planificación y la ejecución, el sistema permite la inspección independiente de fallos (semánticos vs. perceptivos vs. de ejecución), a diferencia de los modelos monolíticos de extremo a extremo.
• Latencia vs. Expresividad: El trabajo muestra que una política de densidad de mezcla condicional puede preservar múltiples modos de acción factibles (expresividad) mientras cumple con los estrictos requisitos de latencia de la interacción musical, un compromiso que suele ser difícil de lograr con los modelos de difusión.

Los autores mantienen un alcance modesto, reconociendo que el sistema actual se valida principalmente en la interpretación de campanas y depende de señales de audio simbólicas de alto nivel en lugar de retroalimentación táctil de bucle cerrado. Posicionan el trabajo como un paso hacia la "variación guiada" en la IA con encarnación, donde la creatividad está restringida por la viabilidad física y las propiedades del instrumento.