Helping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and Generation

Resumo Técnico: Ajudando Agentes de Co-criação Musical a "Ouvir" Bem

Declaração do Problema
O artigo aborda o desafio de construir agentes musicais colaborativos que apoiem, em vez de substituir, a agência humana. Os atuais modelos de linguagem e áudio de grande escala frequentemente apresentam desempenho inferior em tarefas musicais específicas quando comparados a modelos menores e direcionados, além de terem dificuldade em articular estruturas musicais explicitamente. Além disso, o aprendizado de representação e a geração são tradicionalmente vistos como um tradeoff: modelos otimizados para reconstrução tendem a carecer de espaços latentes semanticamente significativos, enquanto modelos otimizados para discriminação falham na geração de alta qualidade. O autor visa criar um sistema com "ouvidos" capazes de uma compreensão rica e hierárquica e uma "boca" capaz de geração controlável, tudo isso aderindo a rigorosas restrições de engenharia para acessibilidade (especificamente, inferência oportuna em ambientes de execução apenas em CPU).

Metodologia
O sistema proposto, denominado MIDI-RAE-JEPA-SON (MRJS), adota um paradigma de Autoencoder de Representação (RAE) combinado com uma Arquitetura Preditiva de Embedding Conjunto (JEPA).

1. Representação de Entrada: O modelo opera puramente em dados simbólicos MIDI visualizados como imagens de piano-roll (128×128 pixels, presença binária de notas). Isso descarta nuances de velocidade e performance em favor da intenção estrutural, facilitando o uso de arquiteturas baseadas em visão.
2. Arquitetura do Encoder: Um encoder Swin V2 hierárquico (2,55 milhões de parâmetros) processa as imagens de piano-roll. Diferente de autoencoders padrão, este encoder é treinado sem objetivo de reconstrução e é subsequentemente congelado. Ele produz embeddings de múltiplos níveis (L0–L5) sem comprimir significativamente a dimensionalidade da entrada (16.384 pixels $\to$ 16.128 floats), rearranjando os dados em uma geometria significativa em vez de um espaço latente menor.
3. Objetivos de Treinamento Autossupervisionado: O encoder é treinado usando uma função de perda combinada aplicada nível a nível:
   • Perda de Equivariância ($L_{equiv}$): Garante que a distância entre os embeddings de recortes deslocados (tempo e altura/pitch) seja proporcional à magnitude do deslocamento, evitando o colapso da invariância de deslocamento.
   • Regularizador Distribucional ($L_{SIGReg}$): Um regularizador Gaussiano isotrópico estilo LeJEPA usando o teste de Epps–Pulley para evitar o colapso representacional sem um professor EMA.
   • Predição de Embedding Mascarado ($L_{MEP}$): Uma perda estilo I-JEPA onde um preditor auxiliar infere os embeddings do professor mascarados a partir do contexto total do estudante.
   • Perda de Fatoração Suave ($L_{fact}$): Incentiva os vetores de diferença de deslocamento de pitch e tempo a se alinharem em relações geométricas específicas (paralelas, antiparalelas, ortogonais) dependendo do tipo de aumento de dados.
4. "Boca" Generativa: Em vez de um decodificador treinado, o sistema utiliza um modelo de correspondência de fluxo condicional (flow-matching) operando no espaço de pixels. Ele gera música fluindo a partir do ruído, condicionado aos embeddings reduzidos por PCA da entrada do usuário.
   • Inpainting: O sistema suporta prompting gráfico. Ao aplicar dropout espacial ao sinal de condicionamento nos locais de máscara desenhados pelo usuário, o modelo de fluxo preenche as lacunas com base no contexto circundante sem a necessidade de um amostrador de inpainting especializado.
   • Controle: A força de orientação (guidance) e o dropout de condicionamento por nível permitem que os usuários controlem o quanto as variações se afastam do original, variando de reescrita ao nível da nota até a geração de passagens completas.

Principais Contribuições

• Modelo de Mundo Hierárquico para Música: O artigo demonstra que um encoder Swin V2 hierárquico treinado exclusivamente em imagens de piano-roll simbólicas com objetivos estilo JEPA pode aprender uma representação musical rica e de múltiplas escalas sem rótulos de teoria musical.
• Desacoplamento de Representação e Geração: Ao adotar o paradigma RAE, o autor mostra que o aprendizado de representação discriminativa e a geração de alta qualidade podem ser pareados efetivamente sem o tradeoff tradicional, utilizando um modelo de flow-matching como uma cabeça generativa separada.
• Pipeline Otimizado para CPU: O sistema foi projetado para execução em CPU, gerando sugestões em 2,8 segundos em uma CPU padrão (ou 0,6s em Apple MPS), tornando-o acessível a músicos sem GPUs de alto desempenho.
• Estrutura Explícita vs. Emergente: O estudo revela que estruturas temporais e de frase emergem naturalmente de objetivos autossupervisionados, enquanto o conteúdo harmônico (acordes, tonalidades) requer supervisão explícita para se tornar linearmente decodificável.

Resultados

• Sondagem de Embeddings (Probing): Sondagens lineares em embeddings congelados mostram que propriedades musicais são decodificáveis em níveis correspondentes à sua escala temporal: limites de frase são melhor detectados em níveis mais grosseiros (L0–L2), enquanto densidade de notas e detalhes harmônicos são encontrados em níveis mais finos (L4–L5).
• Impacto da Supervisão:
  • Não Supervisionado (MRJS): Alcança forte densidade de notas ($R^2 \approx 0,93$) e separação entre músicas. No entanto, a recuperação conjunta de acordes é baixa (0,18) e a detecção de tonalidade é próxima do acaso (0,16).
  • Com Supervisão de Acordes: Adicionar uma pequena cabeça de supervisão de acordes melhora significativamente a compreensão harmônica. A recuperação conjunta de acordes sobe para 0,54, e a detecção de tonalidade (nunca diretamente supervisionada) salta para 0,70. Esta supervisão também desloca a informação harmônica para níveis mais abstratos e grosseiros (L2–L3).
  • Comparação: O modelo supera um baseline DINOv2 em tarefas específicas de música (ex: detecção de limite de frase, recuperação de chroma), mantendo-se competitivo em estatísticas gerais de imagem.
• Qualidade de Geração: O modelo de flow-matching reproduz janelas alvo com um F1 score de pixels de 0,996. Em tarefas de inpainting, ele restaura com sucesso a densidade de notas (ex: 96% de restauração com dropout de nível fino) e gera variações que se ajustam ao contexto musical circundante.
• Desempenho: O pipeline roda eficientemente em CPU, com o encoding levando ~8,6ms e a amostragem levando ~3,8s (2,8s em CPU total), atendendo à restrição de design de "tempestividade" para uso interativo.

Significância
O artigo posiciona o sistema como uma ferramenta para um "AI Rick Rubin" — um agente colaborativo que ouve atentamente as ideias de um artista e oferece feedback verbal ou sugestões musicais limitadas, mas deixa a implementação final para o humano. Ao provar que modelos de mundo autossupervisionados hierárquicos podem aprender estrutura musical sem rótulos, e que essas representações podem impulsionar a geração controlável via flow matching, o trabalho oferece um caminho para uma IA que potencializa a criatividade humana em vez de automatizá-la. O autor enfatiza que a capacidade do sistema de rodar em CPU o torna uma ferramenta prática e acessível para compositores e produtores que desejam manter total agência sobre seu processo criativo.