Go witheFlow: Real-time Emotion Driven Audio Effects Modulation

Resumen Técnico de "Go witheFlow: Modulación de Efectos de Audio en Tiempo Real Impulsada por Emociones"

Planteamiento del Problema
Las aplicaciones actuales de IA en la música se centran predominantemente en la generación autónoma, la clasificación o la recomendación, posicionando a menudo a la IA como un reemplazo de la creatividad humana en lugar de una herramienta colaborativa. Además, la tecnología musical tradicional procesa las señales de audio de forma aislada, pasando por alto el estado emocional y fisiológico en tiempo real del intérprete. Existe una falta de sistemas que utilicen IA ligera y local para proporcionar retroalimentación instantánea y de baja latencia a intérpretes en vivo, cerrando la brecha entre el estado interno de un músico y su salida sonora sin introducir la latencia o la sobrecarga computacional de las soluciones basadas en la nube.

Metodología
Los autores proponen witheFlow, un sistema de concepto de prueba diseñado para mejorar la interpretación musical en tiempo real mediante la modulación automática de efectos de audio basada en una fusión de biosignales y análisis de audio. El sistema está implementado en Python, se ejecuta localmente en una computadora portátil y se comunica mediante mensajes del protocolo MIDI con una Estación de Trabajo de Audio Digital (DAW).

La arquitectura consta de tres componentes principales:

1. Extracción de Características de Biosignales:

   • Sensores: El sistema utiliza sensores comerciales de Electroencefalografía (EEG) y Electrocardiografía (ECG).
   • Procesamiento de EEG: Las señales se muestrean a 250 Hz desde electrodos en O1, O2, T3 y T4. Se extrae potencia de las bandas Alfa (8–13 Hz) y Beta (13–30 Hz) sobre ventanas deslizantes de 4 segundos. Se derivan dos métricas: Atención (Potencia Beta / (Alfa + Beta)) y Relajación (Potencia Alfa / (Alfa + Beta)).
   • Procesamiento de ECG: Las señales se muestrean a 1000 Hz. Se calcula el Índice de Estrés de Baevsky (SI) utilizando una ventana deslizante de 15 segundos (analizando 30 ventanas de 0,5 s). Este índice cuantifica el estrés reflejando el equilibrio entre la actividad del sistema nervioso simpático y parasimpático.
   • Robustez: El sistema incluye detección de artefactos. Si se detectan artefactos persistentes (por ejemplo, mal contacto), el dispositivo afectado se desactiva. Para artefactos transitorios de EEG, las características se extraen de los electrodos restantes; si todos fallan, los valores se imputan a partir de pasos de tiempo anteriores.

2. Regresor de Emoción de Audio:

   • Modelo: Se utiliza una arquitectura PANNs CNN10, entrenada en el conjunto de datos DEAM. La capa de clasificación final se reemplaza con un regresor lineal para generar dos valores: Valencia y Activación.
   • Entrada: El audio "seco" (sin procesar) se submuestrea a 30 kHz y se procesa en ventanas de 5 segundos.
   • Limitación: Los autores señalan que el ajuste de hiperparámetros es mínimo y que los conjuntos de datos actuales suelen contener producciones completas en lugar de interpretaciones en solitario, lo cual es un objetivo para el desarrollo futuro de conjuntos de datos.

3. Lógica de Mezcla Basada en Reglas:

   • Mecanismo: El sistema enruta el audio seco a través de múltiples cadenas de efectos paralelas en la DAW. Un módulo de lógica de mezcla ajusta dinámicamente la ganancia de cada canal (incluido la señal seca) basándose en una combinación del estado fisiológico del intérprete (Estrés, Atención) y el estado afectivo del audio (Valencia, Activación).
   • Configuración: La lógica se define mediante archivos YAML personalizables que contienen reglas (por ejemplo, estrés < x < atención). Estas reglas activan funciones de Python que potencian o suprimen canales de efectos específicos.
   • Estrategia: Los conjuntos de reglas actuales buscan alinear la mezcla de salida con la intención del intérprete. Por ejemplo, bajo Alto Estrés/Alta Atención, el sistema potencia los efectos que están "lejos" de la señal seca en el espacio Valencia-Activación (VA) para crear un entorno sonoro contrastante. Bajo Bajo Estrés/Baja Atención, potencia efectos cercanos a la señal seca con menor activación.
   • Control: Los intérpretes pueden modular la intensidad de estas reglas o anularlas por completo mediante pedales MIDI.

Contribuciones Clave

• Arquitectura del Sistema: La introducción de witheFlow, un sistema ligero y de código abierto que integra biosignales y análisis de audio para la modulación de efectos de audio en tiempo real sin dependencia de la nube.
• Enfoque Híbrido de IA: Una combinación de aprendizaje automático (para regresión de emociones y extracción de características de biosignales) y lógica transparente basada en reglas (para decisiones de mezcla) para garantizar la interpretabilidad y el control.
• Ejecución Local: Un diseño que prioriza la baja latencia, la privacidad de los datos y la portabilidad, permitiendo que el sistema se ejecute completamente en una máquina local.
• Mecanismos de Robustez: Implementación de detección de artefactos y cambio adaptativo de reglas para mantener la funcionalidad durante la degradación de la señal del sensor.

Resultados y Evaluación
El artículo presenta el sistema en una fase de concepto de prueba.

• Retroalimentación del Usuario: El sistema fue co-desarrollado y probado con múltiples músicos. Los participantes reportaron una experiencia generalmente positiva, particularmente durante sesiones de improvisación, notando que la capacidad de respuesta del sistema ante su estado interno abrió nuevas posibilidades expresivas.
• Estado Técnico: El sistema enruta audio con éxito, procesa biosignales y aplica ajustes de ganancia basados en reglas en tiempo real. Sin embargo, los autores declaran explícitamente que aún no se ha realizado un ajuste significativo de hiperparámetros y que actualmente se está desarrollando un conjunto de datos dedicado multiinstrumental para interpretaciones en solitario para mejorar el regresor de audio.

Significado y Afirmaciones
Los autores posicionan a witheFlow no como un compositor autónomo, sino como una herramienta que preserva la agencia creativa humana mientras aprovecha la IA para manejar el procesamiento técnico.

• Colaboración Centrada en el Humano: El sistema busca crear un "entorno liberado" donde la IA actúa como una herramienta de mejora en lugar de una competidora, permitiendo a los intérpretes enfocarse en la autoexpresión.
• Conciencia Bio: Al crear una conexión directa entre la experiencia emocional interna y la salida sonora, el sistema facilita la "conciencia bio" y la integración mente-cuerpo para los músicos.
• Futuras Direcciones: El artículo describe varias direcciones de investigación, incluyendo la creación de marcos de evaluación formales, el desarrollo de conjuntos de datos más grandes que contengan biosignales e interpretaciones en solitario, y la exploración de arquitecturas híbridas donde modelos interpretables locales manejan la interacción en tiempo real mientras los sistemas basados en la nube proporcionan insights de alto nivel.
• Postura Ética: Los autores enfatizan la importancia de la privacidad (mediante procesamiento local), el consentimiento informado y la capacidad del intérprete de anular el sistema para garantizar la seguridad psicológica y mantener la autoría de la interpretación.