Human-CLAP: Human-perception-based contrastive language-audio pretraining

El artículo presenta Human-CLAP, un modelo de entrenamiento contrastivo lenguaje-audio basado en la percepción humana que, al entrenarse con puntuaciones de evaluación subjetiva, mejora significativamente la correlación entre las métricas automáticas y la evaluación humana en comparación con el CLAP convencional.

Lo esencial

¡Claro que sí! Imagina que este paper es como una historia sobre cómo enseñar a una computadora a entender lo que realmente le gusta a los humanos, en lugar de solo seguir reglas frías y matemáticas.

Aquí tienes la explicación en español, con analogías sencillas:

🎵 El Problema: El "Traductor" que no entiende el gusto humano

Imagina que tienes un traductor automático muy inteligente llamado CLAP. Su trabajo es conectar dos mundos: el de las palabras (texto) y el de los sonidos (audio).

• Cómo funciona: Si le dices "sonido de lluvia", el traductor busca un audio que se parezca matemáticamente a esa frase.
• La herramienta: Usa una puntuación llamada CLAPScore. Piensa en esto como un "termómetro de similitud". Si el texto y el audio tienen una puntuación alta, el traductor dice: "¡Perfecto! Esto encaja".

El problema: Los autores descubrieron que este "termómetro" está roto cuando se trata de gustos humanos.

• A veces, el traductor dice que un audio y un texto son una pareja perfecta (puntuación alta), pero un humano escucha y dice: "¡Eh, eso suena mal! No tiene nada que ver".
• Es como tener un crítico de cine que solo mide la longitud de la película y la cantidad de actores, pero no entiende si la historia es aburrida o emocionante. El CLAPScore no se parece a lo que realmente piensa la gente.

🧠 La Solución: "Human-CLAP" (El Traductor con Corazón)

Para arreglar esto, los investigadores crearon una nueva versión llamada Human-CLAP.

¿Cómo lo hicieron?
En lugar de dejar que la computadora adivine qué es bueno basándose en millones de datos sucios (donde a veces el texto no coincide bien con el audio), le dieron un entrenamiento especial con humanos.

1. El Entrenamiento: Pidió a un grupo de personas que escucharan muchos pares de audio y texto y les dieran una calificación del 0 al 10 (como en una escuela).
   • 0: "No tiene nada que ver".
   • 10: "Es exactamente lo que describen".
2. La Magia: Usaron esas calificaciones humanas para "re-entrenar" al modelo. Imagina que le dices al robot: "Oye, no te fíes solo de la matemática. Si un humano dice que esto es un 2, tú también debes darle un 2, aunque las matemáticas digan que es un 8".

🏆 Los Resultados: ¡Funcionó!

Después de este entrenamiento, probaron a Human-CLAP y los resultados fueron increíbles:

• Antes: El traductor antiguo (CLAP normal) y los humanos estaban en mundos diferentes. Su acuerdo era muy bajo (como si dos personas hablaran idiomas distintos).
• Ahora: Human-CLAP y los humanos ahora "piensan igual". La correlación entre lo que la máquina calcula y lo que la gente siente aumentó significativamente.

La analogía final:

• CLAP original: Es como un robot que mide la similitud entre dos objetos usando una regla. Si ambos miden 10 cm, dice que son iguales, aunque uno sea una zanahoria y el otro un lápiz.
• Human-CLAP: Es como un robot que ha aprendido a saborear. Ahora entiende que, aunque la zanahoria y el lápiz midan lo mismo, no son lo mismo para un humano. Aprende a decir: "Este audio suena como un gato, no como un perro", tal como lo diría una persona.

💡 ¿Por qué es importante?

Esto es vital para el futuro de la generación de audio con IA. Si quieres crear música o sonidos con una IA usando descripciones de texto, necesitas que la IA entienda lo que sientes al escucharlo, no solo lo que calcula matemáticamente. Human-CLAP es el puente que conecta la fría matemática de la IA con el cálido juicio de los humanos.

En resumen: Crearon un modelo que aprendió a "escuchar" como lo hacemos nosotros, haciendo que la evaluación de sonidos generados por IA sea mucho más precisa y humana.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Human-CLAP: Human-perception-based contrastive language–audio pretraining", presentado en la cumbre APSIPA ASC 2025.

1. Planteamiento del Problema

El modelo CLAP (Contrastive Language–Audio Pretraining) se ha convertido en un estándar para tareas de generación y reconocimiento de audio, así como para evaluar la relevancia entre texto y audio en sistemas de texto-audio (TTA). Una métrica común derivada de este modelo es el CLAPScore, que mide la similitud coseno entre los vectores de incrustación (embeddings) de audio y texto.

Sin embargo, el artículo identifica una brecha crítica: la relación entre el CLAPScore y las puntuaciones de evaluación subjetiva humana no está clara ni está bien alineada.

• Los autores demostraron que el CLAPScore tiene una correlación baja con las puntuaciones dadas por humanos.
• El entrenamiento convencional de CLAP asume que todos los pares audio-texto en el conjunto de datos son perfectos, ignorando el "ruido" (descripciones que no coinciden completamente con el audio).
• Recopilar datos limpios y perfectamente alineados es extremadamente costoso, lo que limita la capacidad de los modelos actuales para reflejar la percepción humana real.

2. Metodología Propuesta: Human-CLAP

Para abordar este problema, los autores proponen Human-CLAP, un modelo de preentrenamiento contrastivo lenguaje-audio ajustado finamente (fine-tuning) utilizando puntuaciones de evaluación subjetiva humana.

Enfoque Principal

En lugar de tratar todos los pares audio-texto como igualmente válidos (como hace el CLAP estándar), Human-CLAP utiliza las puntuaciones subjetivas humanas como puntos de referencia (target scores) para guiar el aprendizaje.

Función de Pérdida (Loss Function)

El modelo se entrena minimizando una función de pérdida combinada que integra dos enfoques:

1. Aprendizaje Contrastivo Ponderado (wSCE): Se modifica la pérdida de entropía cruzada simétrica (SCE) convencional. Se añaden pesos basados en la puntuación subjetiva ($a_i$) de cada par. Esto permite que el modelo aprenda a maximizar la similitud para pares altamente relevantes y minimizarla para pares irrelevantes, reflejando la percepción humana.
   $$L_{wSCE} = -\frac{1}{2N} \sum_{i=1}^{N} a_i \left( \log \frac{\exp(e_{text}^i \cdot e_{audio}^i / \tau)}{\sum \dots} + \dots \right)$$
2. Pérdida de Regresión: Se añade una pérdida de regresión (MSE o MAE) para minimizar el error entre la puntuación subjetiva reescalada ($a_i \in [0, 1]$) y la similitud coseno predicha ($y_i$).

La pérdida total es una combinación lineal:
$$L = \lambda_1 L_{wSCE} + \lambda_2 L_{reg}$$

Datos y Entrenamiento

• Conjunto de Datos: Se utilizó el dataset RELATE, que contiene evaluaciones subjetivas de relevancia entre audio y texto (escala de 0 a 10).
• Eficiencia: El modelo se entrenó utilizando solo una fracción muy pequeña de datos comparado con el CLAP original (aproximadamente 1/320 del tamaño de los datos de entrenamiento convencionales), demostrando que las puntuaciones humanas de alta calidad son más valiosas que la gran cantidad de datos ruidosos.
• Arquitectura: Se fine-tuneó el modelo base LAION CLAP (con codificadores RoBERTa para texto y HTS-AT para audio).

3. Contribuciones Clave

1. Análisis de Correlación: Se cuantificó y demostró empíricamente que el CLAPScore actual tiene una correlación baja con las evaluaciones humanas, lo que cuestiona su idoneidad como única métrica objetiva para TTA.
2. Propuesta de Human-CLAP: Introducción de un nuevo modelo que integra explícitamente la percepción humana en el proceso de entrenamiento mediante el uso de puntuaciones subjetivas como objetivo de aprendizaje.
3. Mejora Significativa: Demostración experimental de que el modelo propuesto supera a los modelos base en la correlación con la percepción humana, incluso con un volumen de datos de entrenamiento mucho menor.

4. Resultados Experimentales

Los experimentos se realizaron evaluando la correlación entre el CLAPScore y las puntuaciones subjetivas en el conjunto de datos de prueba de RELATE (2,405 pares).

• Métricas de Correlación: Se utilizaron el coeficiente de correlación de rango de Spearman (SRCC), el coeficiente de correlación lineal (LCC) y el coeficiente de Kendall (KTAU).
• Comparación con la Línea Base:
  • CLAP Base (LAION/MS): Logró un SRCC de aproximadamente 0.28.
  • Human-CLAP (Propuesto): La mejor configuración (wSCE + MAE) alcanzó un SRCC de 0.457 y un LCC de 0.481.
  • Mejora: Esto representa una mejora en el coeficiente de correlación de Spearman de más de 0.17 (un aumento del ~60% relativo) en comparación con el CLAP convencional.
• Análisis por Tipo de Audio: La mejora fue consistente tanto en audio natural como en audio sintetizado (generado por modelos como AudioLDM, Tango, etc.).
• Comportamiento en Puntuaciones Bajas: El modelo fine-tuneado solo con regresión (MAE) tendía a asignar puntuaciones altas incluso a pares irrelevantes. La inclusión de la pérdida ponderada (wSCE) fue crucial para que el modelo aprendiera a asignar correctamente puntuaciones bajas a pares de baja relevancia.

5. Significado e Impacto

El trabajo de Human-CLAP es significativo porque:

• Valida la Percepción Humana: Establece que los modelos de IA para audio deben ser evaluados y entrenados considerando la percepción humana directa, no solo la coincidencia estadística de datos.
• Eficiencia de Datos: Demuestra que es posible alinear modelos grandes con la percepción humana utilizando conjuntos de datos pequeños pero de alta calidad (puntuaciones humanas), reduciendo la dependencia de la recolección masiva de datos ruidosos.
• Mejora de Métricas de Evaluación: Proporciona una herramienta (Human-CLAP) que puede servir como una métrica de evaluación más fiable para el desarrollo de futuros modelos de generación de texto-audio (TTA), asegurando que los sistemas generen sonidos que realmente coincidan con la descripción humana.

En resumen, el artículo propone un cambio de paradigma: pasar de un aprendizaje contrastivo ciego a la calidad de los datos, hacia un aprendizaje guiado por la percepción humana, logrando una alineación mucho más precisa entre la métrica automática y la experiencia humana.