💬 NLP

MeRoTune: RoPE-Safe Merging with a Tunable Dial

MeRoTune introduce una tecnica di fusione dei modelli che risolve il disallineamento degli spazi di attenzione nei modelli dotati di RoPE attraverso l'apprendimento di matrici di correzione vincolate e commutanti con RoPE, consentendo una miscelazione regolabile post-hoc di modelli sottoposti a fine-tuning senza modificare i pesi base.

Autori originali: Salman Faroz

Pubblicato 2026-09-09✓ Author reviewed ⓘ

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Salman Faroz

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo dell'intelligenza artificiale, i ricercatori affrontano spesso un dilemma: hanno un potente cervello informatico generalista e hanno addestrato versioni separate e specializzate di esso per eccellere in compiti specifici, come scrivere codice in un linguaggio o rispondere a domande in un altro. L'obiettivo è combinare questi specialisti in un unico modello versatile senza il costo di eseguire più programmi contemporaneamente. Il modo standard per farlo è semplicemente mescolare i pesi matematici dei due modelli, come se si mescolassero due lotti di vernice. Tuttavia, questa semplice miscelazione presuppone che la logica interna di entrambi i modelli sia perfettamente allineata. Se un modello elabora un concetto utilizzando un sistema di coordinate interne leggermente diverso rispetto all'altro, la fusione diretta può creare un risultato confuso che è peggiore di entrambi i modelli originali. Questo è particolarmente complicato nei modelli moderni che utilizzano un meccanismo specifico per comprendere l'ordine delle parole, un sistema che ruota le informazioni in base alla posizione. Se il processo di miscelazione ignora questa rotazione, interrompe silenziosamente la capacità del modello di comprendere il contesto, spesso in modi invisibili durante l'addestramento.

Un ricercatore ha sviluppato un nuovo metodo chiamato MeRoTune per risolvere questo problema. Invece di mediare ciecamente i due modelli, insegna prima a ciascun modello di regolare il proprio sistema di coordinate interne, in modo che possano concordare su come gestire l'ordine delle parole prima di essere mescolati. Hanno scoperto che, affinché questa regolazione funzioni senza rompere il modello, le modifiche devono seguire un insieme di regole molto specifico e ristretto. Hanno dimostrato matematicamente che l'unico modo sicuro per correggere questi modelli è applicare un tipo specifico di rotazione che rispetti il modo unico in cui il modello gestisce la posizione. Hanno costruito un sistema in cui due modelli specializzati apprendono queste precise regolazioni autonomamente e, successivamente, possono essere combinati in qualsiasi proporzione desiderata dall'utente, agendo come un dial di regolazione piuttosto che come una miscela fissa.

Hanno testato questo approccio su due versioni distinte di un modello linguistico: una addestrata per essere un esperto in indonesiano e programmazione, e un'altra addestrata per essere un esperto in giapponese. Prima di tentare di fondere i modelli, hanno applicato un rigoroso controllo matematico per garantire che i due modelli fossero effettivamente abbastanza diversi da giustificare il complesso processo. Hanno verificato che ciascun modello fosse genuinamente migliore nella propria specialità e peggiore nell'altra, confermando che esisteva un reale conflitto che necessitava di essere risolto. Hanno rifiutato diverse altre coppie di candidati che non soddisfacevano questo criterio, assicurandosi di lavorare solo su un problema reale. Una volta confermata l'idoneità della coppia, hanno addestrato i modelli a imparare i propri fattori di correzione unici. Questi fattori sono stati progettati per essere semplici rotazioni, garantendo che i modelli rimanessero stabili e non diventassero distorti durante il processo.

Quando hanno combinato i modelli usando il loro nuovo metodo, i risultati sono stati superiori alle tecniche esistenti. Hanno testato il modello fuso attraverso un'ampia gamma di rapporti di miscelazione, dal prevalentemente indonesiano al prevalentemente giapponese, e hanno scoperto che il loro approccio non performava mai peggio dei metodi standard utilizzati da altri ricercatori. In effetti, nella maggior parte dei test, il loro metodo ha superato un alto traguardo di affidabilità statistica, mentre un metodo concorrente è risultato meno performante del modello base originale, non fuso, in almeno un compito. Hanno anche esplorato se il rapporto di miscelazione potesse essere diviso in due controlli indipendenti, permettendo a ciascun modello di contribuire più liberamente. Hanno scoperto che fare ciò causava il crollo delle prestazioni, provando che mantenere il rapporto di miscelazione legato insieme era essenziale per il funzionamento del metodo.

Lo studio ha anche rivelato dettagli interessanti su ciò che i modelli hanno effettivamente imparato durante il processo. La maggior parte delle regolazioni effettuate dai modelli sono state molto piccole, rotazioni minime di pochi gradi, suggerendo che i modelli fossero già per lo più allineati. Tuttavia, un piccolo numero di parti specifiche dei modelli richiedeva cambiamenti molto più grandi, fino a ottantasei gradi, e queste parti si sono anche rimpicciolite in magnitudo. Ciò indica che, sebbene la struttura generale fosse simile, vi erano disaccordi profondi e specifici su come i modelli gestissero certi concetti, che richiedevano un riallineamento significativo. Hanno notato che questo metodo non è una soluzione magica per ogni possibile coppia di modelli; funziona solo quando i modelli sono veramente specializzati in modi contrastanti e quando la struttura interna del modello include il meccanismo specifico di gestione della posizione che hanno affrontato.

In definitiva, questo lavoro dimostra che fondere i modelli di IA non è solo una questione di mediare numeri. Richiede la comprensione della geometria nascosta di come il modello elabora le informazioni. Rispettando le regole specifiche di come questi modelli gestiscono l'ordine delle parole, hanno creato uno strumento che permette di regolare fluidamente tra diverse capacità di esperti senza perdere la qualità di nessuno dei due. Il metodo fornisce un modo affidabile per combinare cervelli IA specializzati, assicurando che il risultato finale sia un modello coerente e ad alte prestazioni, piuttosto che una miscela confusa. Il codice e i dati di questo lavoro sono pubblicamente disponibili, consentendo ad altri di verificare i risultati e applicare lo stesso approccio accurato e matematicamente fondato alle proprie combinazioni di modelli.

Riepilogo Tecnico: MEROTUNE: UN FUSIONAMENTO ROPE-SAFE CON UN DIAL REGOLABILE

1. Definizione del Problema

Il merging di modelli mira a combinare più modelli fine-tuned in un unico set di pesi, preservando le capacità specializzate di ciascuno senza il costo di servire più modelli. I metodi standard (ad es., weight averaging, TIES, DARE) operano direttamente sui tensori dei pesi grezzi, assumendo implicitamente che i sistemi di coordinate interni (specificamente i sottospazi di attenzione) dei modelli da fondere siano già allineati.

Un lavoro recente [13] ha tentato di correggere i disallineamenti apprendendo una matrice di correzione invertibile, $M$ , per le proiezioni della query ( $W_q$ ) e della key ( $W_k$ ). Teoricamente, applicare $M$ a $W_q$ e $M^{-\top}$ a $W_k$ è un "no-op" in isolamento perché $(Mq)^\top (M^{-\top}k) = q^\top k$ . Tuttavia, questa cancellazione si basa sull'assunto che nulla intervenga tra la proiezione e il prodotto scalare.

Il Conflitto Centrale: Quasi tutti i moderni modelli linguistici open-weight (ad es, Qwen, Llama 3) utilizzano le Rotary Position Embeddings (RoPE) esattamente in questo spazio intermedio. RoPE applica una rotazione dipendente dalla posizione ai vettori query e key. Se la matrice di correzione $M$ appresa non commuta con la rotazione RoPE, la proprietà di "no-op" viene interrotta. La correzione distorce involontariamente le dipendenze di posizione relativa che RoPE è progettato per codificare, una distorsione che è invisibile alle perdite di addestramento standard che non derivano esplicitamente l'interazione RoPE.

2. Metodologia

2.1 Derivazione Teorica: La Classe dei Commutanti di RoPE

Il documento deriva la specifica classe di matrici $M$ per le quali la cancellazione $(Mq)^\top R(\Delta\theta) (M^{-\top}k) = q^\top R(\Delta\theta) k$ si verifica esattamente in presenza di RoPE.

Condizione: $M$ deve commutare con la matrice di rotazione RoPE $R(\Delta\theta)$ per ogni posizione relativa $\Delta$ .
Risultato: Le matrici valide formano un sottoinsieme stretto e a bassa dimensionalità di matrici invertibili. Nello specifico, per ogni coppia di frequenze RoPE (un sottospazio 2D), $M$ deve essere una rotazione scalata che agisce indipendentemente all'interno di tale coppia.
Struttura: $M$ è una matrice diagonale a blocchi in cui ogni blocco $2\times2$ assume la forma $aI + bJ$ (dove $J$ è la rotazione di $\pi/2$ ). Ciò riduce lo spazio di ricerca da $d^2$ parametri per head a $d$ parametri (una scala e un angolo di rotazione per coppia di frequenze).
Proprietà:
- Sicurezza: Applicare tale trasformazione a un singolo modello è un no-op esatto (Corollario 1).
- Stabilità: Queste matrici hanno sempre un numero di condizionamento esattamente pari a 1, prevenendo i problemi di cattivo condizionamento comuni nell'apprendimento di matrici non vincolate (Corollario 2).

2.2 L'Algoritmo MeRoTune

Costruendo su questa classe, l'autore propone MeRoTune (Merging + RoPE + Tunable):

Allineamento Lato-Duale: Due modelli fine-tuned ( $A$ e $B$ ) apprendono ciascuno le proprie matrici di correzione conformi a RoPE ( $M_a$ e $M_b$ ).
Operatore di Merging: I pesi fusi al rapporto di miscelazione $\alpha$ $α$ sono calcolati come:
- $W_k^{merge}(\alpha) = (1-\alpha) M_a^{-\top} W_k^A + \alpha M_b^{-\top} W_k^B$
- $W_q^{merge}(\alpha) = (1-\alpha) M_a W_q^A + \alpha M_b W_q^B$
- Altri pesi (MLP, embedding, ecc.) sono interpolati linearmente.
Dial Regolabile: Il metodo permette di regolare il rapporto di miscelazione finale $\alpha$ post-hoc. L'obiettivo di addestramento minimizza la perdita su un intervallo scelto di $\alpha$ (predefinito come un $\alpha=0.5$ fisso, simile alla scalatura fissa di LoRA), consentendo al modello fuso di essere regolato su diversi punti operativi senza ri-addestramento.
Validazione del Pre-Addestramento: Il documento introduce una condizione matematica (Eq. 7) per verificare se una coppia di fine-tune sia effettivamente degna di allineamento. Una coppia è un target valido solo se ciascun modello migliora rispetto al base nella propria specialità ( $\Delta > 0$ ) ma performa peggio o uguale sulla specialità dell'altro ( $\Gamma \le 0$ ). Se questo "gap di capacità bidirezionale genuino" non esiste, il processo di allineamento aggiunge solo rumore senza benefici.

3. Contributi Chiave

Prova di Correzioni Safe per RoPE: Una prova autosufficiente che identifica l'esatta classe di matrici (rotazioni scalate all'interno delle coppie di frequenza) che preservano la struttura di posizione relativa di RoPE durante il merging.
Metodo MeRoTune: Un algoritmo di merging a due lati che addestra queste correzioni vincolate per agire come un dial di runtime, permettendo la regolazione post-hoc del rapporto di miscelazione.
Condizione di Validazione: Una condizione matematica in forma chiusa per verificare empiricamente l'esistenza di un vero gap di capacità tra due fine-tune prima di impegnarsi nel training, evitando sprechi computazionali su coppie non valide.
Valutazione Esaustiva: Una valutazione contro TIES e DARE-TIES su una coppia verificata di Qwen2.5-1.5B-Instruct fine-tuned (Indonesiano/Codice vs. Giapponese), dimostrando la robustezza attraverso diversi rapporti di miscelazione.

4. Risultati Sperimentali

Il metodo è stato testato su una coppia di modelli Qwen2.5-1.5B-Instruct: uno specializzato in indonesiano e codice, l'altro in giapponese.

Performance vs. Baseline:
- MeRoTune non è mai stato inferiore alle implementazioni ufficiali di mergekit di TIES o DARE-TIES in nessuno dei rapporti di miscelazione testati.
- DARE-TIES è performato significativamente peggio del modello base non fuso su almeno un asse di benchmark.
- MeRoTune ha superato il livello di rumore statistico nella maggior parte dei benchmark (MMLU, Indonesiano, Giapponese), mentre TIES è sceso al di sotto del modello base in tre benchmark su quattro.
Comportamento del Rapporto di Miscelazione:
- Il rapporto di miscelazione $\alpha$ ha funzionato efficacemente come un dial. Le metriche hanno generalmente mostrato un trend monotono verso il modello più forte per quel compito specifico al variare di $\alpha$ .
- L'addestramento con un rapporto di miscelazione fisso ( $\alpha=0.5$ ) ha generalmente superato o eguagliato una variante in cui $\alpha$ veniva ricampionato casualmente ad ogni step.
Ablazione del Decoupling:
- Il documento ha testato il rilassamento del vincolo di rapporto di miscelazione legato ( $\alpha$ ) in due fattori di scala indipendenti ( $s_a, s_b$ ).
- Risultato: Il decoupling ha causato un degrado affidabile delle performance in tutti i benchmark. Spingere entrambi i fattori verso l'alto simultaneamente ha complicato i delta incontrollati, portando a performance peggiori del caso casuale in alcuni casi. Ciò conferma che il vincolo convesso legato è necessario per la stabilità.
Trasformazioni Apprese:
- Le correzioni apprese sono state prevalentemente piccole rotazioni (mediana $\approx 10^\circ$ ) con scale vicine a 1.
- Una piccola coda di blocchi ha esibito rotazioni maggiori ( $>45^\circ$ ) accompagnate da una scalatura significativa (riduzione), suggerendo che, sebbene il metodo sia teoricamente sicuro, l'ottimizzatore ha occasionalmente utilizzato la capacità per rimodellare il comportamento oltre il puro riallineamento geometrico.

5. Significato e Rivendicazioni

Il documento sostiene che le Rotary Position Embeddings non siano un dettaglio minore, ma un vincolo fondamentale che detta quali correzioni di merging siano matematicamente sicure. Derivando la classe dei "commutanti di RoPE", MeRoTune fornisce un metodo che:

Garantisce la Sicurezza: A differenza dei metodi non vincolati, non può corrompere silenziosamente la logica di posizione relativa del modello.
Offre Flessibilità: Produce un modello che può essere regolato post-hoc come un dial, piuttosto che essere bloccato in un singolo merge fisso.
Evita Sprechi: La condizione di pre-addestramento assicura che le risorse siano spese solo per coppie con specializzazioni contrastanti e genuine.

L'autore sottolinea la modestia delle proprie rivendicazioni: i risultati sono specifici per l'architettura Qwen2.5-1.5B e la coppia verificata testata. Nota che, sebbene il metodo sia robusto, i margini di performance specifici dipendono dal livello di rumore statistico dei benchmark utilizzati, e la "tassa di allineamento" (dove i fine-tune regrediscono rispetto al base) rimane un filtro critico per l'applicabilità. Il codice, i dati e gli script sono pubblicamente disponibili.