Resumo Técnico: MIDI-RAE-JEPA

Declaração do Problema

O artigo aborda a falta de representações internas auto-supervisionadas ricas para música simbólica que capturem sua natureza hierárquica e multiescala. Embora existam modelos de linguagem multimodais de grande escala, eles apresentam desempenho insatisfatório em tarefas de compreensão musical. Além disso, objetivos de aprendizado auto-supervisionado (SSL) padrão projetados para imagens naturais (como a estratégia de crop-and-resize do DINOv2) são semanticamente problemáticos para representações de piano roll. "Dar zoom" em um piano roll funde semitons adjacentes e distorce a estrutura rítmica, ao contrário da invariância de escala suave encontrada em fotografias. O objetivo é desenvolver uma abordagem específica para o domínio que aprenda representações hierárquicas de música simbólica (codificada como imagens de piano roll) capazes de suportar tanto tarefas discriminativas quanto geração de alta qualidade sem ajuste fino (fine-tuning) de ponta a ponta.

Metodologia

Representação de Dados

O sistema opera no conjunto de dados POP909, renderizando segmentos de 8 compassos como imagens de piano roll binárias de 128 × 128. O eixo horizontal representa o tempo (64 passos de colcheia) e o eixo vertical representa o tom (todos os 128 tons MIDI). O pipeline de treinamento utiliza cropping aleatório com aumento de transposição de tom e tempo para expandir a variedade efetiva de treinamento.

Arquitetura

O núcleo do sistema é um codificador Hierarchical Swin Transformer V2 com seis estágios. Ele processa a entrada usando janelas deslocadas (shifted windows) para atenção de auto-atenção, realizando o downsampling por 2× em cada estágio enquanto dobra a dimensão do embedding. A arquitetidade produz embeddings em múltiplas resoluções, desde detalhes locais de grão fino (Nível 5) até contexto global grosseiro (Nível 0).

Objetivos de Treinamento

O codificador é treinado puramente em objetivos auto-supervisionados, combinando três componentes principais:

1. Perda de Equivariância ($L_{equiv}$): Em vez de forçar todas as visões deslocadas a terem embeddings idênticos (o que causa colapso), o modelo impõe uma distância de embedding alvo proporcional à magnitude do deslocamento.

   • Mecanismo: Duas visões ($x_1$ e $x_2$) são criadas deslocando o crop original em tom e tempo. A perda minimiza a diferença quadrática entre a distância euclidiana dos embeddings e uma distância alvo escalonada pela magnitude do deslocamento ($\alpha \sqrt{d} \|\hat{\delta}\|$).
   • Efeito: Isso encoraja o modelo a internalizar relações temporais e de tom, garantindo que deslocamentos maiores resultem em embeddings proporcionalmente mais distantes.

2. Masked Embedding Predictor (MEP) & LeJEPA: Seguindo o framework LeJEPA, uma rede preditora leve tenta reconstruir os embeddings de patches mascarados a partir da representação de contexto total do estudante, utilizando alvos estáveis gerados por um professor de Média Móvel Exponencial (EMA). Isso garante que o modelo aprenda representações preditivas de contexto musical através da hierarquia.

3. Regularização e Fatoração:

   • SIGReg: A Regularização Gaussiana Isotrópica Esboçada em Blocos (Chunked Sketched Isotropic Gaussian Regularization) é aplicada para prevenir o colapso da representação e impor um prior Gaussiano isotrópico, teoricamente ideal para tarefas de jusante (downstream).
   • Perda de Fatoração Suave ($L_{fact}$): Um termo de perda inovador encoraja as direções de deslocamento de tom e deslocamento de tempo a serem geometricamente ortogonais no espaço latente. Utiliza similaridade de cosseno em vetores de diferença de aumento para impor relações paralelas, antiparalelas ou ortogonais dependendo do tipo de deslocamento, sem prescrever direções específicas.

Decoder e Modelo Generativo

• Decoder: Uma hierarquia Swin espelhada com uma Rede de Pirâmide de Características (FPN) reconstrói o piano roll a partir dos embeddings do codificador congelado. É treinado usando entropia cruzada binária.
• Modelo Generativo: Um modelo de Flow Matching opera no espaço de pixels, condicionado aos embeddings do codificador. Para gerenciar a dimensionalidade, os embeddings passam por PCA (retendo 95% da variância), com o tom médio explicitamente anexado para preservar a informação de registro. O treinamento emprega um esquema de Multi-Level Dropout para permitir geração incondicional, parcialmente condicionada e totalmente condicionada.

Principais Contribuições

1. Primeiro JEPA Hierárquico para Música Simbólica: O artigo apresenta a primeira abordagem baseada em JEPA hierárquico para música simbólica, combinando objetivos de equivariância, LeJEPA e um codificador Swin V2.
2. Pipeline RAE Completo: Demonstra um pipeline completo de Autoencoder de Representação (RAE) para música, mostrando que os embeddings do codificador congelado suportam reconstrução de alta fidelidade, geração condicional e classificação de jusante.
3. Equivariância Mensurável: Os autores fornecem validação empírica de que as distâncias de embedding aumentam monotonicamente com a magnitude do deslocamento de tom e tempo, confirmando a equivariância mensurável.
4. Novas Funções de Perda: A introdução de uma perda de equivariância suave escalonada por delta e uma perda de fatoração suave que encoraja a ortogonalidade geométrica entre as direções de tom e tempo no espaço latente.
5. Viabilidade em Hardware de Consumo: Todos os experimentos foram conduzidos em GPUs de nível de consumo (ex: RTX 4090), demonstrando que este treinamento complexo de SSL não requer clusters de computação de grande escala.

Resultados

Equivariância e Fatoração

• Equivariância: As distâncias de embedding aumentam monotonicamente com a magnitude do deslocamento, estendendo-se além do tamanho nominal do patch de cada nível da hierarquia.
• Fatoração: A perda de fatoração suave estabelece com sucesso relações geométricas onde os deslocamentos de tipos cruzados (tom vs. tempo) são quase ortogonais ($|\cos| < 0.02$), e deslocamentos do mesmo tipo são paralelos ou antiparalelos.

Tarefas de Jusante (Downstream)

• Classificação de Emoção: No conjunto de dados EMOPIA, sondas lineares treinadas nos embeddings congelados (especificamente no Nível 3) superaram tanto o baseline de transformação de dispersão de Haar quanto o baseline do DINOv2 em todas as métricas (4 classes, Arousal e Valence).
• Sondas de Estrutura: Níveis finos (L4/L5) codificam fortemente a densidade de notas ($R^2 > 0.98$), enquanto níveis mais grosseiros capturam o contexto mais amplo. A similaridade entre músicas diminuiu monotonicamente do nível grosseiro para o fino, indicando aumento na discriminabilidade.

Reconstrução e Geração

• Reconstrução: O decoder alcançou um F1 score de 0.995 em dados de teste não vistos, confirmando que o objetivo de SSL força o codificador a reter informação suficiente para uma reconstrução precisa.
• Geração Condicional: O modelo de flow matching produziu gerações que se aproximam do registro de tom e da densidade rítmica do excerto de condicionamento. Condicionamentos incompatíveis ou incondicionados resultaram em saídas musicalmente plausíveis, porém não relacionadas.
• Validade do Condicionamento: A análise da norma de projeção do condicionamento mostrou que o modelo aprende a ignorar sinais de condicionamento embaralhados (sem informação), mantendo pesos estáveis para condicionamentos válidos.

Significância e Alegações

O artigo afirma que objetivos de SSL baseados em equivariância, quando combinados com capacidade de codificador de nível fino suficiente, fornecem um caminho viável para representações semanticamente ricas e gerativamente úteis.

Pontos principais incluem:

• O paradigma de usar representações pré-treinadas congeladas tanto para discriminação quanto para geração (RAE) estende-se com sucesso ao domínio da música simbólica.
• As representações aprendidas capturam estruturas musicalmente significativas (intervalos de tom, períodos rítmicos) sem exigir ajuste fino para tarefas de jusante.
• A abordagem evita os problemas semânticos de SSL baseado em imagens em piano rolls ao utilizar invariância de translação em vez de invariância de escala.
• Embora os níveis mais finos da hierarquia capturem detalhes locais de forma eficaz, o artigo observa que capturar "abstrações musicais obviamente interpretáveis" nos níveis mais grosseiros permanece um problema aberto para trabalhos futuros.

Os autores concluem que este método oferece uma base para trabalhos futuros na extensão dessas abordagens para espectrogramas de áudio, escalonamento para conjuntos de dados maiores e exploração de tarefas de jusante mais ricas, como arranjo ou geração de acompanhamento.