Sintesi Tecnica: Stay Unique, Stay Efficient (DTS)

Definizione del Problema

Il merging di modelli offre un paradigma privo di dati e di ottimizzazione per unificare molteplici modelli specifici per task in una singola rappresentazione, evitando i costi proibitivi del fine-tuning e della memorizzazione di modelli separati. Tuttavia, i metodi di merging basici tradizionali (ad es. Weight-Averaging, Task-Arithmetic) soffrono di gravi conflitti di parametri, portando a una significativa degradazione delle prestazioni anche quando si uniscono modelli addestrati su task semanticamente simili.

Sebbene gli recenti framework di merging di modelli personalizzati tentino di preservare le informazioni specifiche del task per mitigare tali conflitti, essi comportano tipicamente un overhead di archiviazione proibitivo. I metodi che memorizzano componenti esperte dense, l'intero set di parametri del modello o reti di routing complesse annullano il principale vantaggio di efficienza del model merging, limitandone l'implementazione in ambienti con risorse limitate. La sfida centrale è preservare le informazioni essenziali specifiche del task per mantenere le prestazioni minimizzando l'archiviazione extra richiesta per ogni task.

Metodologia: Decomposition, Thresholding, and Scaling (DTS)

Gli autori propongono DTS, un framework di merging personalizzato basato su approssimazione, progettato per comprimere efficientemente le informazioni specifiche del task. Il metodo opera in due fasi principali: una fase di approssimazione e una fase di inferenza.

1. Rappresentazione delle Informazioni Specifiche del Task

Il framework definisce le informazioni specifiche del task in due forme:

• Task Vectors ($\tau_n$): La differenza tra i pesi fine-tuned ($\theta_n$) e i pesi pre-trained ($\theta_0$), ovvero $\tau_n = \theta_n - \theta_0$.
• Difference Vectors ($d_n$): Una nuova rappresentazione definita come la differenza tra i pesi fine-tuned e un baseline grossolano unito ($\theta_m$), ovvero $d_n = \theta_n - \theta_m$. Questa variante è particolarmente utile quando i pesi pre-trained originali non sono accessibili e cattura il residuo personalizzato rispetto a un baseline condiviso.

2. La Pipeline di Compressione DTS

Per memorizzare questi vettori in modo efficiente, DTS applica tre operazioni sequenziali:

• Decomposizione (SVD): La matrice target (task vector o difference vector) subisce una decomposizione ai valori singolari troncata (SVD). Vengono mantenuti solo i primi $r$ valori singolari e i relativi vettori, filtrando il rumore dei parametri non strutturato in base al teorema di Eckart-Young-Mirsky.
• Thresholding (Soglia): Invece di utilizzare una semplice maschera binaria (che scarta informazioni fini), DTS introduce una nuova strategia di soglia. Partiziona gli elementi di ciascun vettore singolare in quattro gruppi:
  1. Valori positivi "Grandi"
  2. Valori positivi "Piccoli"
  3. Valori negativi "Grandi"
  4. Valori negativi "Piccoli"
     Ciò avviene codificando prima il segno (1 bit) e poi confrontando i valori positivi/negativi rispetto alle rispettive mediane per determinare i livelli di magnitudo.
• Scaling (Scalatura): Per ciascuno dei quattro gruppi, viene calcolato un singolo fattore di scala. Questo fattore rappresenta la media aritmetica (calcolata tramite norma L1 per efficienza) dei valori assoluti all'interno di quel gruppo.

3. Ricostruzione ed Efficienza di Archiviazione

Durante l'inferenza, l'informazione specifica del task viene ricostruita combinando i vettori singolari approssimati e i fattori di scala. La rappresentazione risultante richiede solo 2 bit per elemento (1 bit per il segno, 1 bit per il livello di magnitudo), raggiungendo un rapporto di compressione di 16$\times$. Ciò si traduce in un overhead di archiviazione aggiuntivo di circa l'1% per task.

4. Generalizzazione a Task Non Visti (Adattamento Data-Free)

Per gestire task non visti senza ulteriori dati di addestramento o esempi etichettati, gli autori propongono una variante che fonde le informazioni specifiche del task basandosi sulla similarità semantica.

• Le caratteristiche del task (ad es. nomi delle classi per la classificazione, istruzioni per la generazione) vengono codificate utilizzando un encoder testuale pre-trained per generare embedding semantici.
• I pesi di merging per un task non visto sono calcolati dinamicamente in base alla similarità del coseno tra l'embedding del task non visto e gli embedding dei task già visti.
• Questo approccio è interamente data-free e non richiede addestramento online o backpropagation.

Contributi Chiave

1. Framework DTS: Un metodo di merging personalizzato leggero, basato su approssimazione, che preserva le informazioni specifiche del task minimizzando l'overhead di archiviazione attraverso SVD, un nuovo thresholding a 4 gruppi e scalatura.
2. Varianti DTS-T e DTS-D: L'introduzione di due implementazioni specifiche: una che opera sui task vector standard e un'altra sui difference vector (relativi a un baseline unito), offrendo flessibilità per diversi scenari di deployment.
3. Generalizzazione Data-Free: Una variante capace di adattarsi a task non visti sfruttando la similarità semantica delle caratteristiche del task, eliminando la necessità di dati del dominio target o di router addestrabili.
4. Trade-off tra Efficienza e Performance: Il metodo raggiunge prestazioni allo stato dell'arte con solo l' $\approx$1% di archiviazione extra per task, superando significativamente i metodi di personalizzazione esistenti che spesso richiedono un 10–100% di archiviazione aggiuntiva.

Risultati Sperimentali

Gli autori hanno valutato DTS su compiti di classificazione visiva (ViT-B/32, ViT-L/14, ViT-B/16), elaborazione del linguaggio naturale (RoBERTa, GPT-2) e generazione di linguaggio naturale (Qwen-14B).

• Merging Multi-task Standard: DTS supera costantemente i baseline allo stato dell'arte (inclusi T-Switch, FREE-Merging e WEMOE) nei benchmark standard.
  • Su ViT-B/32, DTS-D ha raggiunto un'accuratezza media del 90,40%, superando il miglior baseline (T-Switch al 90,15%) pur richiedendo solo il 3,68% di memoria aggiuntiva (rispetto al 6,25% di T-Switch e al 49,95% di WEMOE).
  • Su RoBERTa, DTS-D ha raggiunto l'84,98% di accuratezza media con solo il 3,81% di memoria aggiuntiva, recuperando il 99,06% delle prestazioni dei modelli singolarmente fine-tuned.
  • Gli autori osservano che, regolando adattivamente il coefficiente di sparsità ($r$), possono ridurre il tasso di memoria aggiuntiva a <1% (ad es. DTS-D* allo 0,98% per ViT-B/32) con una perdita minima di performance.
• Generalizzazione a Task Non Visti: In scenari zero-shot in cui i modelli fine-tuned per i task non visti non erano disponibili durante il merging:
  • Le varianti di DTS hanno superato significativamente tutti i metodi di personalizzazione concorrenti. Ad esempio, su task non visti di ViT-B/32, DTS-D ha raggiunto un'accuratezza media del 55,41%, mentre altri baseline di personalizzazione (come WEMOE e T-Switch) sono scesi nell'intervallo 40–50%, performando spesso peggio dei metodi di merging basici come Ties-Merging.
  • Ciò dimostra che la fusione basata sulla similarità semantica trasferisce efficacementamente la conoscenza specifica del task senza overfitting sui task visti.

Significato e Rivendicazioni

Il paper sostiene che DTS affronti il trade-off fondamentale nel merging di modelli tra preservazione delle performance ed efficienza di archiviazione. Dimostrando che le informazioni specifiche del task possono essere compresse in una rappresentazione a 2 bit senza una perdita significativa di fedeltà, gli autori sostengono che il merging personalizzato può essere implementato in ambienti con risorse limitate precedentemente inaccessibili a tali metodi.

Inoltre, il lavoro evidenzia come i metodi di merging personalizzato spesso falliscano nel generalizzare a task non visti perché si ottimizzano eccessivamente per specifici task visti. La proposta di adattamento data-free, basata sulla similarità semantica, offre una soluzione scalabile per scenari multi-task "cold-start", consentendo ai modelli di gestire nuovi task senza ulteriori dati o overhead computazionale. Gli autori posizionano DTS come un paradigma pratico, efficiente ed efficace per la prossima generazione di deployment multi-task.