Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints

1. Problema e Motivação

O artigo aborda o desafio de gerar melodias a partir de letras de música (Lyric-to-Melody) utilizando Grandes Modelos de Linguagem (LLMs). Embora os LLMs tenham mostrado potencial nessa área, os modelos treinados apenas com Ajuste Fino Supervisionado (SFT) frequentemente produzem melodias musicalmente implausíveis.

Os autores identificam um fenômeno chamado "violação de restrições", onde o modelo gera:

• Ritmos estranhos ou inadequados.
• Faixas vocais fora do alcance humano confortável.
• Sequências de pitch monótonas.
• Falhas no alinhamento entre letras e notas.

A solução tradicional, Aprendizado por Reforço com Feedback Humano (RLHF), é complexa, cara e depende de anotação humana em larga escala, criando um gargalo. O artigo propõe que, para domínios onde os princípios simbólicos (como alcance vocal e duração de notas) são bem definidos, o conhecimento de especialistas pode ser codificado em regras determinísticas, eliminando a necessidade de feedback humano para o alinhamento.

2. Metodologia

O framework proposto alinha um LLM pré-treinado através de um processo de três estágios, ilustrado na Figura 1 do artigo:

A. Ajuste Fino Supervisionado (SFT)

O modelo é inicialmente ajustado em um grande corpus de pares letra-melodia para aprender a mapear a entrada lírica para uma saída melódica em formato simbólico.

• Representação Simbólica: A melodia é tokenizada como uma sequência de eventos de nota (letra, pitch MIDI, duração em ms), delimitados por |.

B. Geração Automática de Dados de Preferência

Em vez de usar humanos para classificar as saídas, o sistema utiliza um conjunto de 5 Restrições Musicais Baseadas em Regras para avaliar as saídas do modelo SFT e gerar automaticamente um conjunto de dados de preferência:

1. Restrição de Formato: Garante que a saída seja sintaticamente correta e parseável.
2. Restrição de Letra: Assegura que a melodia corresponda exatamente às sílabas da letra de entrada.
3. Restrição de Nota (Evitar Monotonia): Limita a repetição consecutiva de notas idênticas para evitar melodias chatas.
4. Restrição de Duração (Plausibilidade Rítmica): Garante que as durações das notas sejam executáveis e que a nota final tenha uma duração conclusiva adequada.
5. Restrição de Registro (Alcance Vocal): Garante que todas as notas estejam dentro de um alcance vocal humano típico (ex: C4 a C6).

Com base nessas regras, o pipeline cria dois tipos de dados:

• Dados Pareados (Winner/Loser): Uma melodia que cumpre as regras vs. uma que viola as regras.
• Dados Não Pareados (Apenas Perdedor): Saídas que violam as regras em prompts onde nenhuma melodia válida foi gerada.

C. Alinhamento Sequencial (DPO + KTO)

O modelo é refinado em duas etapas consecutivas para aprender com todo o espectro de sinais de preferência:

1. Otimização Direta de Preferência (DPO): Aplicado aos dados pareados. Otimiza a política do modelo para preferir a melodia "vencedora" (regras cumpridas) em detrimento da "perdedora", sem necessidade de um modelo de recompensa explícito.
2. Otimização Kahneman-Tversky (KTO): Aplicado aos dados não pareados (apenas amostras negativas). Usa rótulos binários para desencorajar ativamente a geração de saídas que violam as regras, ajudando a corrigir modos de falha onde o modelo não consegue gerar nenhuma resposta válida.

3. Principais Contribuições

• Conjunto de Restrições Musicais: Definição formal de cinco regras fundamentais para escrita de melodias, visando modos de falha comuns.
• Pipeline Automatizado de Dados: Um método totalmente automatizado para gerar conjuntos de dados de preferência em larga escala (pareados e não pareados) sem intervenção humana, usando regras determinísticas.
• Estratégia de Alinhamento Sequencial: A combinação inovadora de DPO (para dados pareados) seguida de KTO (para dados negativos não pareados), maximizando a eficiência dos dados e a robustez do aprendizado.

4. Resultados Experimentais

Os autores avaliaram o modelo em conjuntos de teste em inglês e chinês, comparando com baselines de ponta (SongMASS, TeleMelody, SongComposer, etc.).

• Métricas Objetivas: O modelo proposto superou consistentemente todas as baselines em similaridade de distribuição de pitch (PD) e duração (DD), e reduziu a distância de melodia (MD). Isso indica que as melodias geradas são mais próximas da composição humana em termos de ritmo e altura.
• Métricas Subjetivas (MOS): Em uma avaliação de opinião média (MOS) feita por especialistas musicais, o modelo alcançou uma pontuação de 3.42, superando significativamente as baselines e ficando muito próximo da qualidade de gravações reais (Ground Truth: 3.50).
• Redução de Violações: A análise de frequência de violações (Figura 2) mostrou que o método proposto reduziu drasticamente os erros em todas as categorias de regras (Formato, Letra, Nota, Duração, Registro) em comparação com o modelo SFT puro e versões ablatadas (apenas DPO ou apenas KTO).

5. Significado e Conclusão

O trabalho valida que o alinhamento baseado em regras é uma alternativa escalável, eficiente em custos e altamente eficaz ao RLHF tradicional para domínios especializados como a geração de música.

Ao codificar o conhecimento musical em regras determinísticas, os autores conseguiram:

1. Eliminar a dependência de anotação humana cara e lenta.
2. Ensinar ao LLM princípios musicais fundamentais, resultando em melodias com maior coerência e "cantabilidade".
3. Demonstrar que uma estratégia sequencial (DPO + KTO) é superior ao uso isolado de qualquer uma das técnicas.

Este estudo abre caminho para o desenvolvimento de agentes de voz mais expressivos e ferramentas de composição assistida por IA que são não apenas criativas, mas também musicalmente corretas e prontas para implantação no mundo real.