Resumen Técnico: Auditoría de Datos de Entrenamiento en Modelos Generativos de Música mediante Inferencia de Membresía de Caja Negra

Declaración del Problema

Los avances recientes en la generación de texto a música (por ejemplo, MusicGen, Stable Audio, Suno) han permitido la síntesis de alta fidelidad de audio estructurado. Sin embargo, estos modelos suelen entrenarse con corpus masivos y opacos agregados de fuentes en línea, sin documentación transparente del origen de los datos ni del consentimiento. Esta falta de transparencia crea una brecha crítica de responsabilidad: actualmente no existe un mecanismo práctico para que artistas, titulares de derechos de autor o reguladores verifiquen si una muestra de audio específica fue incluida en el conjunto de entrenamiento de un modelo generativo desplegado.

Si bien los Ataques de Inferencia de Membresía (MIAs) están bien estudiados en los dominios de imágenes y texto, su aplicación a la música generativa sigue siendo incipiente. Los enfoques existentes sufren limitaciones significativas:

• Dependencias de caja blanca: Algunos métodos requieren acceso a estados internos del modelo, puntuaciones de verosimilitud o estados de difusión, que no están disponibles en implementaciones reales de caja negra.
• Métricas de caja negra débiles: Los enfoques de caja negra actuales a menudo dependen de estadísticas escalares (por ejemplo, puntuaciones de discriminadores, errores de reconstrucción) o particiones de conjuntos de datos fijas, sin modelar explícitamente la alineación semántica entre el audio original y las salidas generadas.
• Falta de fiabilidad: Estos métodos luchan por proporcionar auditorías por muestra fiables en entornos realistas, a menudo funcionando cerca de niveles aleatorios en modelos a gran escala.

Metodología

Los autores proponen un marco de inferencia de membresía de caja negra que aprovecha la hipótesis de que la membresía en el entrenamiento induce una alineación semántica y estructural sistemáticamente más fuerte entre una muestra de audio candidata y la generación del modelo cuando se condiciona con la descripción (caption) de la muestra.

Visión General del Sistema

El marco opera en dos fases: un Proceso de Entrenamiento en modelos sombra y un Proceso de Auditoría en el modelo objetivo.

1. Entrenamiento del Modelo Sombra (Construcción de Datos):

   • El auditor utiliza varios modelos sombra de texto a música accesibles ($M_{si}$) con subconjuntos de entrenamiento conocidos ($D_{in}$).
   • Pares de Miembros: Para una pista $x \in D_{in}$, se extrae una descripción $C_{in}$. El modelo sombra genera $G_{in} = M_{si}(C_{in})$. El par $(x, G_{in})$ representa un ejemplo de "miembro".
   • Pares de No Miembros: Para garantizar la comparabilidad semántica, se utiliza la misma descripción $C_{in}$ para condicionar un modelo auxiliar ($M_{aux}$, distinto del modelo objetivo y de los modelos sombra) para generar una pista no miembro $x'$. Se extrae una descripción $C_{out}$ de $x'$, y el modelo sombra genera $G_{out} = M_{si}(C_{out})$. El par $(x', G_{out})$ representa un ejemplo de "no miembro".
   • Esta construcción crea cuatro grupos alineados ($D_{in}, D_{out}, G_{in}, G_{out}$) para aislar la exposición al entrenamiento como el factor diferenciador principal, controlando la variación semántica.

2. Extracción de Características:

   • Las muestras de audio se incrustan utilizando cinco codificadores de audio diversos: MERT (semántica musical), Music2Vec (estructura/tonalidad), DAC (artefactos acústicos), Fx-Encoder++ (efectos de producción) y CLAP (semántica audio-texto).
   • Los codificadores generan incrustaciones globales 1D o mapas de incrustación 2D (preservando los ejes de capa/temporal).

3. Entrenamiento del Auditor de Música:

   • Se entrena un clasificador ligero (el "Auditor de Música") para distinguir pares de miembros de pares de no miembros basándose en la alineación en el espacio de incrustación.
   • Arquitectura:
     • Para incrustaciones 1D: Una Red Neuronal de Perceptrón Multicapa (MLP) con tres capas ocultas (256, 128, 64 unidades) procesa el par concatenado $[f(x) \parallel f(x')]$.
     • Para incrustaciones 2D: Una Red Neuronal Convolucional (CNN) con tres capas convolucionales procesa el par apilado.
   • El auditor aprende patrones de alineación característicos de la membresía en el entrenamiento sin acceso a los parámetros del modelo objetivo ni a sus datos de entrenamiento.

4. Proceso de Auditoría:

   • Dada una pista candidata $x$ y un modelo objetivo de caja negra $M_t$, el auditor extrae la descripción $C_x$, consulta $M_t$ para obtener $x' = M_t(C_x)$, calcula las incrustaciones y alimenta el par al auditor entrenado.
   • Una puntuación de membresía alta indica que la alineación entre $x$ y $x'$ se asemeja a los patrones aprendidos de los miembros del modelo sombra, lo que sugiere que $x$ estaba en el conjunto de entrenamiento.

Contribuciones Clave

• Nuevo Marco de Caja Negra: El artículo introduce el primer marco de auditoría de caja negra práctico para música generativa que no requiere acceso interno al modelo, puntuaciones de verosimilitud ni estados de caja blanca.
• Hipótesis de Alineación Semántica: Establece que la membresía en el entrenamiento induce consistencia semántica y estructural medible entre una pista fuente y su generación condicionada por la descripción, una señal que puede capturarse en el espacio de incrustación.
• Estrategia de Modelo Sombra: Los autores proponen un método robusto para construir pares de no miembros semánticamente coincidentes utilizando generación auxiliar, asegurando que las diferencias en la alineación se deban a la exposición al entrenamiento y no a la variación semántica.
• Análisis de Codificadores: El estudio evalúa sistemáticamente cinco codificadores de audio distintos, identificando qué espacios de características son más discriminativos para la inferencia de membresía en música.

Resultados Experimentales

El marco se evaluó en tres sistemas de texto a música de última generación: AudioLDM2, Stable Audio Open y Mustango, utilizando un protocolo de exclusión de un generador.

• Rendimiento: El método alcanza una precisión de hasta 98.6% con una Tasa de Falsos Positivos (FPR) de 1.9% y una Tasa de Falsos Negativos (FNR) de 1.0% en Stable Audio Open utilizando el codificador DAC.
• Efectividad del Codificador:
  • DAC (artefactos acústicos) surgió como el codificador más efectivo y estable, alcanzando una precisión promedio del 97.7% en todos los objetivos.
  • CLAP y MERT también tuvieron un buen rendimiento (precisión promedio >91%).
  • Music2Vec mostró un rendimiento más débil (78.3% de precisión promedio) y tasas de falsos positivos más altas.
  • Fx-Encoder++ exhibió inestabilidad, particularmente en AudioLDM2.
• Transferibilidad: El auditor demostró una fuerte transferibilidad cruzada entre generadores, particularmente entre AudioLDM2 y Stable Audio Open. Sin embargo, la transferencia hacia/desde Mustango (que genera clips cortos de 10 segundos) mostró una brecha de rendimiento, probablemente debido a desplazamientos de distribución entre segmentos cortos y audio de larga duración (150s).
• Eficiencia de Muestras: El sistema es altamente eficiente en muestras. En ciertas configuraciones (por ejemplo, dejando fuera AudioLDM2), la precisión superó el 98% con tan solo 100 pares de entrenamiento, alcanzando el rendimiento máximo con 1.000 pares.

Significado y Afirmaciones

El artículo afirma que la auditoría fiable de datos de entrenamiento es factible en escenarios realistas de implementación de caja negra. Al demostrar que las señales de membresía pueden extraerse únicamente mediante acceso de consulta y análisis de alineación semántica, el trabajo proporciona una herramienta práctica para:

• Responsabilidad: Permitir la verificación del origen de los datos para artistas y titulares de derechos de autor.
• Verificación de Consentimiento: Ayudar a reguladores y plataformas a evaluar si los modelos fueron entrenados con datos sin consentimiento.
• Transparencia: Ofrecer un mecanismo para auditar sistemas de IA de "caja negra" sin requerir acceso propietario.

Los autores mantienen una postura modesta, reconociendo que su evaluación actual depende de modelos sombra parcialmente informados (donde las descripciones y metadatos de referencia son conocidos) y que la construcción de no miembros es una aproximación práctica. Señalan que el trabajo futuro debe abordar la heterogeneidad de los conjuntos de datos, reducir la dependencia de pipelines auxiliares fijos y desarrollar procedimientos de auditoría con garantías estadísticas fundamentadas para una implementación más amplia.