Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints

1. El Problema

La generación de melodías a partir de letras (lyric-to-melody) utilizando Grandes Modelos de Lenguaje (LLM) ha avanzado significativamente mediante el Ajuste Fino Supervisado (SFT). Sin embargo, los modelos entrenados solo con SFT adolecen de un problema crítico: la violación de restricciones musicales.

Estos modelos tienden a imitar patrones estadísticos de los datos de entrenamiento sin comprender los principios musicales fundamentales, lo que resulta en melodías "musicalmente implausibles". Los errores comunes incluyen:

• Rangos vocales que exceden la capacidad humana.
• Duraciones de notas rítmicamente extrañas o imposibles.
• Secuencias de pitch monótonas (repetición excesiva).
• Desalineación entre la letra y la nota musical.
• Fallos en el formato simbólico de salida.

Estas fallas hacen que las melodías generadas no sean útiles para aplicaciones del mundo real, como la inspiración para compositores o agentes de voz interactivos. Además, las técnicas de alineación tradicionales como RLHF (Aprendizaje por Refuerzo con Retroalimentación Humana) son costosas, complejas y dependen de anotaciones humanas a gran escala.

2. Metodología Propuesta

Los autores proponen un marco de trabajo novedoso que alinea los LLMs utilizando restricciones musicales basadas en reglas para generar datos de preferencia de forma automática, sin intervención humana. El proceso consta de tres etapas principales:

A. Representación Simbólica

Las melodías se representan en un formato legible por humanos y máquinas, tokenizado como una secuencia de eventos de nota: (letra, pitch MIDI, duración en ms). Esto permite una alineación precisa entre el contenido lírico y la contorno melódico.

B. Generación de Datos de Preferencia Automatizada

En lugar de usar anotadores humanos, el modelo SFT inicial genera múltiples candidatos de melodía para un conjunto de letras no vistas. Estos candidatos se evalúan automáticamente contra un conjunto de 5 restricciones musicales basadas en reglas:

1. Restricción de Formato: Validación sintáctica de la salida (parseable como tuplas).
2. Restricción de Letra: La melodía debe corresponder exactamente a la secuencia de palabras de la entrada.
3. Restricción de Nota (Evitación de Monotonía): Limita la repetición consecutiva de notas idénticas para evitar melodías aburridas.
4. Restricción de Duración (Plausibilidad Rítmica): Asegura que las duraciones estén dentro de rangos perceptibles y que la nota final tenga una duración conclusiva adecuada.
5. Restricción de Registro (Rango Vocal): Todas las notas deben estar dentro de un rango vocal humano típico (ej. C4 a C6).

Basado en esta evaluación, se construye un dataset de preferencia que incluye:

• Datos Pareados (Paired): Una melodía que cumple las reglas ("ganadora") vs. una que las viola ("perdedora").
• Datos No Pareados (Unpaired): Colecciones de salidas que violan las reglas para casos donde no se generó ninguna melodía válida.

C. Estrategia de Alineación Secuencial (DPO + KTO)

El modelo se alinea en dos pasos secuenciales para maximizar la señal de aprendizaje:

1. Optimización de Preferencia Directa (DPO): Se aplica sobre los datos pareados. Entrena al modelo para maximizar la probabilidad de la respuesta "ganadora" sobre la "perdedora" sin necesidad de un modelo de recompensa explícito.
2. Optimización Kahneman-Tversky (KTO): Se aplica sobre los datos no pareados (solo negativos). Utiliza etiquetas binarias ("indeseable") para penalizar directamente la generación de violaciones de reglas, aprovechando datos que el DPO descartaría.

3. Contribuciones Clave

• Conjunto de Restricciones Musicales: Definición formal de cinco reglas que abordan los modos de fallo más comunes en la generación de melodías.
• Pipeline Automatizado de Datos: Un método totalmente automático para generar datasets de preferencia a gran escala (pareados y no pareados) sin anotación humana, utilizando reglas deterministas.
• Estrategia de Alineación Híbrida: La combinación secuencial de DPO (para refinar preferencias) y KTO (para eliminar modos de fallo masivos), demostrando ser más efectiva que usar cualquiera de las dos por separado.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de prueba en inglés y chino, comparando el modelo propuesto con baselines de última generación (SongMASS, TeleMelody, SongComposer, etc.).

• Métricas Objetivas: El modelo propuesto superó consistentemente a todos los baselines en similitud de distribución de pitch (PD) y duración (DD), y redujo la distancia de melodía (MD). Esto indica que las melodías generadas se asemejan más a la composición humana en estructura rítmica y tonal.
• Métricas Subjetivas (MOS): En la prueba de puntuación media de opinión (MOS) realizada por expertos musicales, el modelo propuesto obtuvo 3.42/5.0, superando significativamente a los baselines y acercándose casi al nivel de las grabaciones reales (Ground Truth: 3.50).
• Reducción de Errores: El análisis de violaciones de reglas mostró una reducción drástica en todos los tipos de restricciones (especialmente en duración y registro) en comparación con el modelo SFT base y las variantes de alineación parcial.

5. Significado e Impacto

Este trabajo valida que la alineación basada en reglas es una alternativa escalable, rentable y altamente efectiva al RLHF tradicional para dominios donde los principios fundamentales están bien definidos (como la música simbólica).

• Calidad Musical: Logra generar melodías con una calidad percibida casi humana, resolviendo el problema de la "alucinación musical" en los LLMs.
• Eficiencia: Elimina la necesidad de costosas anotaciones humanas para la alineación, permitiendo la creación de modelos especializados de alta calidad de manera automática.
• Futuro: Abre la puerta a expandir el conjunto de reglas para incluir principios armónicos y estructurales más complejos, o permitir la definición interactiva de reglas para la generación controlada por el usuario.

En resumen, el artículo demuestra que codificar el conocimiento experto en reglas deterministas y utilizarlo para guiar la optimización de LLMs es una vía poderosa para crear sistemas de generación musical robustos y comercialmente viables.