Riassunto Tecnico: MIDI-RAE-JEPA

Problema

Il paper affronta la mancanza di rappresentazioni interne ricche e auto-supervisionate per la musica simbolica che catturino la sua natura gerarchica e multiscala. Sebbene esistano grandi modelli linguistici multimodali, questi performano scarsamente nei compiti di comprensione musicale. Inoltre, gli standard degli obiettivi di apprendimento auto-supervisionato (SSL) progettati per le immagini naturali (ad esempio, la strategia di ritaglio e ridimensionamento di DINOv2) sono semanticamente problematici per le rappresentazioni piano roll. Lo "zoom avanti" su un piano roll fonde semitoni adiacenti e distorce la struttura ritmica, diversamente dalla scala invariante fluida trovata nelle fotografie. L'obiettivo è sviluppare un approccio specifico per il dominio capace di apprendere rappresentazioni gerarchiche della musica simbolica (codificata come immagini piano roll) in grado di supportare sia compiti discriminativi che una generazione di alta qualità senza fine-tuning end-to-end.

Metodologia

Rappresentazione dei Dati

Il sistema opera sul dataset POP909, rendendo segmenti di 8 battute come immagini piano roll binarie 128 × 128. L'asse orizzontale rappresenta il tempo (64 step di ottavi) e l'asse verticale rappresenta l'altezza (tutti i 128 pitch MIDI). La pipeline di addestramento utilizza il ritaglio casuale con aumento di trasposizione di pitch e tempo per espandere la varietà effettiva di addestramento.

Architettura

Il cuore del sistema è un encoder Hierarchical Swin Transformer V2 a sei stadi. Elabora l'input utilizzando finestre traslate (shifted windows) per l'auto-attenzione, con downsampling di 2× ad ogni stadio e raddoppio della dimensione dell'embedding. L'architettura produce embedding a molteplici risoluzioni, dai dettagli locali fini (Livello 5) al contesto globale grossolano (Livello 0).

Obiettivi di Addestramento

L'encoder è addestrato puramente su obiettivi auto-supervisionati, combinando tre componenti principali:

1. Perdita di Equivarianza ($L_{equiv}$): Inveza di forzare tutte le viste traslate verso embedding identici (il che causerebbe il collasso), il modello impone una distanza di embedding target proporzionale all'entità dello shift.

   • Meccanismo: Due viste ($x_1$ e $x_2$) vengono create traslando il ritaglio originale in pitch e tempo. La perdita minimizza la differenza quadratica tra la distanza euclidea degli embedding e una distanza target scalata dall'entità dello shift ($\alpha \sqrt{d} \|\hat{\delta}\|$).
   • Effetto: Questo incoraggia il modello a interiorizzare le relazioni temporali e di pitch, assicurando che shift maggiori risultino in embedding proporzionalmente più distanti.

2. Masked Embedding Predictor (MEP) & LeJEPA: Seguendo il framework LeJEPA, una rete predittrice leggera tenta di ricostruire gli embedding dei patch mascherati dalla rappresentazione a contesto completo dello studente, utilizzando target stabili generati da un insegnante EMA (Exponential Moving Average). Ciò assicura che il modello apprenda rappresentazioni predittive del contesto musicale attraverso la gerarchia.

3. Regolarizzazione e Fattorizzazione:

   • SIGReg: Viene applicata la regolarizzazione Chunked Sketched Isotropic Gaussian per prevenire il collasso della rappresentazione e imporre un prior Gaussiano isotropo, teoricamente ottimale per i compiti downstream.
   • Soft Factorization Loss ($L_{fact}$): Un termine di perdita innovativo incoraggia le direzioni di shift di pitch e di tempo a essere geometricamente ortogonali nello spazio latente. Utilizza la similarità del coseno sui vettori di differenza di augmentation per imporre relazioni parallele, anti-parallele o ortogonali a seconda del tipo di shift, senza prescrivere direzioni specifiche.

Decoder e Modello Generativo

• Decoder: Un'architettura Swin speculare con una Feature Pyramid Network (FPN) ricostruisce il piano roll dagli embedding dell'encoder congelato (frozen). È addestrato usando la cross-entropy binaria.
• Modello Generativo: Un modello di Flow Matching opera nello spazio dei pixel, condizionato dagli embedding dell'encoder. Per gestire la dimensionalità, gli embedding subiscono una PCA (mantenendo il 95% della varianza), con il pitch medio esplicitamente aggiunto per preservare le informazioni sul registro. L'addestramento impiega uno schema di Multi-Level Dropout per abilitare la generazione incondizionata, parzialmente condizionata e totalmente condizionata.

Contributi Chiave

1. Primo JEPA Gerarchico per la Musica Simbolica: Il paper presenta il primo approccio basato su JEPA gerarchico per la musica simbolica, combinando obiettivi di equivalenza, LeJEPA e un encoder Swin V2.
2. Pipeline RAE Completa: Dimostra una pipeline completa di Representation Autoencoder (RAE) per la musica, mostrando che gli embedding dell'encoder congelato supportano la ricostruzione ad alta fedeltà, la generazione condizionata e la classificazione downstream.
3. Equivarianza Misurabile: Gli autori forniscono una validazione empirica secondo cui le distanze degli embedding aumentano monotonicamente con l'entità dello shift di pitch e tempo, confermando un'equivarianza misurabile.
4. Nuove Funzioni di Perdita: L'introduzione di una perdita di equivalenza smooth, scalata dal delta, e di una soft factorization loss che incoraggia l'ortogonalità geometrica tra le direzioni di pitch e tempo nello spazio latente.
5. Fattibilità su Hardware Consumer: Tutti gli esperimenti sono stati condotti su GPU di classe consumer (es. RTX 4090), dimostando che questo complesso addestramento SSL non richiede cluster di calcolo su larga scala.

Risultati

Equivarianza e Fattorizzazione

• Equivarianza: Le distanze degli embedding aumentano monotonicamente con l'entità dello shift, estendendosi oltre la dimensione nominale del patch di ogni livello della gerarchia.
• Fattorizzazione: La soft factorization loss stabilisce con successo relazioni geometriche dove gli shift di tipo incrociato (pitch vs tempo) sono quasi ortogonali ($|\cos| < 0.02$), mentre gli shift dello stesso tipo sono paralleli o anti-paralleli.

Compiti Downstream

• Classificazione delle Emozioni: Sul dataset EMOPIA, i linear probe addestrati sugli embedding congelati (specificamente al Livello 3) hanno superato sia il baseline Haar scattering transform che il baseline DINOv2 in tutti i parametri (4 classi, Arousal e Valence).
• Probe di Struttura: I livelli fini (L4/L5) codificano fortemente la densità delle note ($R^2 > 0.98$), mentre i livelli più grossolani catturano un contesto più ampio. La similarità tra brani diminuisce monotonicamente dai livelli grossolani a quelli fini, indicando una crescente discriminabilità.

Ricostruzione e Generazione

• Ricostruzione: Il decoder ha raggiunto un F1 score di 0.995 sui dati di test tenuti fuori (held-out), confermando che l'obiettivo SSL costringe l'encoder a trattenere informazioni sufficienti per un'accurata ricostruzione.
• Generazione Condizionata: Il modello di flow matching ha prodotto generazioni che corrispondono strettamente al registro di pitch e alla densità ritmica dell'estratto di condizionamento. Condizionamenti errati o incondizionati hanno prodotto output musicalmente plausibili ma non correlati.
• Validità del Condizionamento: L'analisi della norma di proiezione del condizionamento mostra che il modello impara a ignorare i segnali di condizionamento rimescolati (non informativi) mantenendo pesi stabili per il condizionamento valido.

Significato e Rivendicazioni

Il paper afferma che gli obiettivi SSL basati sull'equivarianza, quando combinati con una capacità dell'encoder sufficiente ai livelli fini, forniscono una via percorribile verso rappresentazioni semanticamente ricche e generativamente utili per la musica simbolica.

I punti chiave includono:

• Il paradigma dell'uso di rappresentazioni pre-addestrate congelate sia per la discriminazione che per la generazione (RAE) si estende con successo al dominio della musica simbolica.
• Le rappresentazioni apprese catturano strutture musicalmente significative (intervalli di pitch, periodi ritmici) senza richiedere fine-tuning per i compiti downstream.
• L'approccio evita i problemi semantici dell'SSL basato sulle immagini sui piano roll, utilizzando l'equivarianza di traslazione invece dell'invarianza di scala.
• Sebbene i livelli più fini della gerarchia catturino efficacemente i dettagli locali, il paper nota che catturare "astrazioni musicali ovviamente interpretabili" ai livelli più grossolani rimane un problema aperto per il lavoro futuro.

Gli autori concludono che questo metodo offre una base per il lavoro futuro nell'estendere questi approoli agli spettrogrammi audio, scalare a dataset più ampi ed esplorare compiti downstream più ricchi come l'arrangiamento o la generazione di accompagnamento.