🤖 machine learning

Low-Rank Ternary Adaptation for Fine-Tuning Transformers

Questo articolo propone la "ternary multiplicative adaptation", un nuovo metodo a basso rango che consente il fine-tuning efficiente di transformer ternari rappresentando gli aggiornamenti dei pesi discreti attraverso piccole matrici ternarie, preservando così il dominio ternario e consentendo la fusione diretta senza dequantizzazione, recuperando significativamente le prestazioni in modelli linguistici e di visione.

Autori originali: Alexandru-Dragos Manolache, Yunqiang Li, Jan van Gemert

Pubblicato 2026-08-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alexandru-Dragos Manolache, Yunqiang Li, Jan van Gemert

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'intelligenza artificiale moderna si basa su enormi programmi informatici chiamati transformer, che sono diventati il motore dietro tutto, dagli assistenti per la scrittura ai generatori di immagini. Questi programmi sono incredibilmente potenti, ma sono anche pesanti, richiedendo vaste quantità di memoria informatica ed energia per funzionare. Per renderli utilizzabili su dispositivi più piccoli come telefoni o laptop, i ricercatori hanno trascorso anni cercando di rimpicciolirli. Una strategia popolare è quella di comprimere i numeri all'interno del programma, trasformandoli da valori complessi ad alta precisione in versioni più semplici a basso bit. Immaginate di prendere una fotografia ad alta risoluzione e ridurla a pochi colori; l'immagine diventa più piccola e veloce da elaborare, sebbene si perda inevitabilmente qualche dettaglio. La forma più aggressiva di questa compressione prevede la limitazione dei numeri interni del programma a soli tre valori possibili: meno uno, zero e positivo uno. Questo approccio, noto come quantizzazione ternaria, riduce la memoria necessaria di un fattore di dieci, potenzialmente trasformando un modello che un tempo richiedeva un grande server in qualcosa che potrebbe girare su un normale laptop.

Tuttavia, un problema significativo ha bloccato il progresso di questi modelli ultra-compatti. Sebbene i modelli siano piccoli ed efficienti, sono difficili da insegnare nuovi compiti. I metodi standard per insegnare a questi programmi consistono nel fare piccoli aggiustamenti continui ai loro numeri. Ma quando un modello è limitato a soli tre valori, non può fare piccoli aggiustamenti; può solo invertire il segno di un numero da negativo a positivo, o spegnerlo completamente. Le tecniche esistenti per insegnare a questi modelli compressi spesso richiedono di espandere temporaneamente i numeri alla loro dimensione completa e pesante per effettuare le modifiche, e poi di comprimerli nuovamente. Questo processo di espansione e ri-compressione introduce errori che degradano le prestazioni del modello, rendendo spesso il risultato finale peggiore rispetto a se non fosse stato fatto alcun insegnamento affatto.

Un team di ricercatori della Delft University of Technology e di Amazon ha sviluppato un nuovo modo per insegnare a questi modelli ultra-compatti che evita questo ciclo di espansione ed errore. Invece di cercare di aggiungere piccoli numeri continui al modello, il loro metodo lavora direttamente all'interno del rigoroso sistema a tre valori. Hanno progettato un sistema che agisce come un insieme di interruttori, permettendo al modello di invertire il segno dei suoi numeri interni o di spegnerli completamente, senza mai lasciare lo stato compresso. Per rendere questo processo efficiente, non hanno cercato di regolare ogni singolo numero individualmente. Invece, hanno utilizzato una struttura matematica che permette a pochi schemi piccoli e semplici di controllare vaste sezioni del modello contemporaneamente. Questo approccio, che chiamano adattamento ternario a basso rango (low-rank ternary adaptation), permette al modello di apprendere nuove abilità rimanendo perfettamente compresso.

I ricercatori hanno testato questo metodo su diversi tipi di intelligenza artificiale, inclusi modelli linguistici capaci di ragionare e modelli di visione che riconoscono le immagini. Sono partiti da modelli che erano già stati compressi al limite dei tre valori e poi hanno applicato la loro nuova tecnica di insegnamento. I risultati hanno mostrato che i modelli hanno recuperato gran parte dell'accuratezza che avevano perso durante la compressione iniziale. Nei test riguardanti compiti linguistici, i modelli adattati hanno performato significativamente meglio dei tentativi precedenti che cercavano di forzare l'apprendimento attraverso l'espansione e la ri-compressione. Ad esempio, su un modello linguistico con tre miliardi di parametri, il nuovo metodo ha migliorato l'accuratezza media in nove diversi compiti da circa il 32 percento al 38 percento, rendendo anche le predizioni del modello molto più sicure.

Forse la cosa più importante è che il risultato finale di questo processo è un modello unico e unificato che rimane nella sua forma ultra-compatta. A differenza di altri metodi che lasciano dietro di sé un insieme separato e pesante di istruzioni che deve essere caricato insieme al piccolo modello, questo nuovo approccio fonde l'apprendimento direttamente nei pesi minuscoli. I ricercatori hanno scoperto che per i compiti di visione, come l'identificazione di oggetti nelle immagini, il loro metodo ha prodotto un modello molto più accurato di quelli creati ri-comprimendo dopo l'apprendimento. Hanno anche scoperto che il processo di apprendimento funzionava ridistribuendo i segni dei numeri esistenti piuttosto che cercare di riportare in vita i numeri azzerati. Ciò significa che il modello impara riorganizzando ciò che già possiede, invece di cercare di creare nuove connessioni dove non esistevano.

Questo lavoro dimostra che è possibile insegnare a modelli di intelligenza artificiale altamente compressi senza sacrificare la loro efficienza o accuratezza. Rispettando i limiti rigorosi del sistema a tre valori e trovando un modo per apprendere entro tali confini, i ricercatori hanno dimostrato che questi modelli minuscoli possono essere capaci quanto i loro corrispettivi più grandi per molti compiti. Il metodo non richiede memoria extra o potenza di calcolo durante l'uso, poiché l'apprendimento è completamente integrato nella struttura del modello. Ciò apre la porta all'esecuzione di un'intelligenza artificiale sofisticata su dispositivi con risorse molto limitate, portando capacità potenti in luoghi dove prima era impossibile dispiegarle.

Sintesi Tecnica: Adattamento Ternario a Basso Rango per il Fine-Tuning di Transformer

Definizione del Problema

I modelli Transformer, in particolare i Large Language Models (LLM) e i Vision Transformers (ViT), affrontano sfide significative di deployment a causa degli elevati requisiti di memoria e computazione. La quantizzazione offre una soluzione comprimendo i pesi, con la quantizzazione ternaria (che restringe i pesi a $\{-1, 0, 1\}$ ) che rappresenta un livello di compressione estremo (~1,58 bit per peso) adatto ad hardware di fascia bassa. Tuttavia, il fine-tuning di questi modelli ternari presenta una sfida unica: i metodi esistenti di Parameter-Efficient Fine-Tuning (PEFT), come il Low-Rank Adaptation (LoRA) e le sue varianti quantizzate (QLoRA, QA-LoRA), si basano su aggiornamenti additivi in spazi continui a virgola mobile.

L'applicazione di aggiornamenti additivi ai pesi ternari forza il modello fuori dal dominio ternario, rendendo necessaria la dequantizzazione a precisione intera per l'aggiornamento e la successiva ri-quantizzazione per l'inferenza. Questo processo introduce errori di quantizzazione che degradano le prestazioni, particolarmente a precisioni inferiori ai 2 bit. Inoltre, gli attuali metodi o non riescono a preservare la natura ternaria del modello unito (merged), o richiedono passaggi di dequantizzazione che negano i benefici di memoria e computazione della quantizzazione ternaria. Manca un metodo in grado di eseguire il PEFT nativamente all'interno del dominio ternario discreto producendo al contempo un modello unito che rimanga strettamente ternario.

Metodologia

Gli autori propongono l'Adattamento Moltiplicativo Ternario, un metodo progettato per effettuare il fine-tuning di transformer ternari senza lasciare il dominio ternario. L'innovazione principale risiede nel sostituire gli aggiornamenti additivi continui con aggiornamenti moltiplicativi discreti.

1. Aggiornamento Moltiplicativo Ternario

Invece di aggiungere una matrice a basso rango ai pesi, il metodo applica un prodotto di Hadamard elemento per elemento ( $\odot$ ) tra i pesi ternari pre-addestrati ( $W_{tern}$ ) e una maschera di adattamento ternaria ( $\Delta_{tern}$ ):
$W'_{tern} = W_{tern} \odot \Delta_{tern}$
La maschera $\Delta_{tern}$ consiste di valori in $\{-1, 0, 1\}$ , eseguendo tre operazioni discrete sui pesi base:

$+1$ : Mantiene il peso (identità).
$0$: Azzera il peso (pruning).
$-1$: Inverte il segno del peso.

Questa formulazione garantisce la chiusura all'interno del dominio ternario; i pesi uniti $W'_{tern}$ rimangono strettamente in $\{-1, 0, 1\}$ , eliminando la necessità di dequantizzazione o ri-quantizzazione.

2. Decomposizione Kronecker a Basso Rango

Per rappresentare in modo efficiente l'alta dimensionalità della maschera di adattamento $\Delta_{tern}$ , gli autori la decompongono utilizzando un prodotto di Kronecker di due matrici ternarie più piccole, $A$ e $B$ :
$\Delta_{tern} = A \otimes B$
dove $A \in \{-1, 0, 1\}^{p \times q}$ e $B \in \{-1, 0, 1\}^{r \times s}$ . Le dimensioni sono scelte tali che $p \cdot r = d_{out}$ e $q \cdot s = d_{in}$ , corrispondendo alla forma della matrice dei pesi originale. Questa struttura permette al modello di raggiungere un'espressività ad alto rango (rank fino a $\min(d_{out}, d_{in})$ ) mantenendo un numero di parametri di $O(d)$ per i layer quadrati, significativamente inferiore rispetto all' $O(d^2)$ richiesto per il full fine-tuning o per un LoRA ad alto rango.

3. Training tramite Proxy a Valore Reale e STE

Poiché le matrici $A$ e $B$ devono essere discrete, l'ottimizzazione diretta basata sul gradiente è impossibile. Gli autori ottimizzano dei proxy a valore reale $\bar{A}$ e $\bar{B}$ e li proiettano nel dominio ternario durante il passaggio in avanti (forward pass) utilizzando una funzione di soglia (basata sulla media assoluta della matrice). I gradienti passano attraverso questa proiezione non differenziabile utilizzando un Straight-Through Estimator (STE).

4. Inferenza e Unione (Merging)

Post-training, l'adattamento viene unito direttamente ai pesi base tramite moltiplicazione elemento per elemento. Il modello risultante è completamente ternario, non richiedendo parametri aggiuntivi o overhead di latenza durante l'inferenza.

Contributi Chiave

Adattatore Moltiplicativo Ternario: Un nuovo metodo PEFT che modella gli aggiornamenti ternari discreti (inversione del segno e azzeramento) direttamente sui pesi ternari, preservando il dominio ternario durante l'addestramento e l'inferenza.
Decomposizione di Kronecker: Una rappresentazione compatta a basso rango della maschera di aggiornamento ternaria che bilancia l'efficienza dei parametri con l'alta espressività, consentendo all'adattamento di coprire tutti i pesi in un layer.
Deployment a Zero Overhead: Il metodo consente la piena unione dell'adattatore nel modello base, risultando in un modello strettamente ternario che non richiede passaggi di dequantizzazione o ri-quantizzazione.
Validazione Empirica: Valutazione completa su sei modelli (LLaMA-3.2 1B/3B, Falcon-E 1B/3B, BitNet b1.58, e ViT-B/16) dimostrando il recupero delle prestazioni perse a causa della quantizzazione.

Risultati Sperimentali

Gli autori hanno valutato il loro metodo su task linguistici e di visione, confrontandolo con baseline a precisione intera, baseline di quantizzazione post-training (PTQ) e varianti QLoRA.

Performance LLM (Llama-3.2 1B/3B): Sul modello Llama-3.2 1B, il metodo ha migliorato il punteggio medio del benchmark da 33.2 (baseline SpinQuant ternaria) a 35.3, superando le baseline a 2 bit in sette task su nove. Per Llama-3.2 3B, il metodo ha raggiunto un'accuratezza media di 38.3, superando la baseline SpinQuant a 2 bit (32.6) e la baseline a 1.58 bit (31.9) in tutti i nove benchmark.
Perplessità (PPL): Il metodo ha ridotto significativamente la perplessità rispetto alla baseline SpinQuant ternaria (ad esempio, da 86.5 a 44.6 per Llama-1B) e ha superato QLoRA che era stato unito e ri-quantizzato a 1.58 bit.
Adattamento Downstream: Effettuando il fine-tuning di modelli ternari pre-addestrati (Falcon-E, BitNet) su GSM8K, il metodo ha migliorato l'accuratezza exact-match di +1.0 a +3.1 punti rispetto ai backbone ternari congelati.
Visione (ViT-B/16): Su ImageNet-100, il ViT ternario unito ha raggiunto l'83.0% di accuratezza Top-1, superando la baseline QLoRA ri-quantizzata (78.9%) e riducendo il divario con il full fine-tuning ternario (85.7%).
Analisi dei Pesi: L'analisi delle transizioni ha rivelato che i guadagni di accuratezza derivano principalmente dalla ridistribuzione dei segni tra i pesi non nulli esistenti. Il metodo non può riattivare i pesi che sono stati quantizzati a zero, poiché l'aggiornamento moltiplicativo non può cambiare un valore zero in un valore non nullo.

Significato e Rivendicazioni

Il paper sostiene che questo lavoro affronti una lacuna critica nell'adattamento efficiente dei modelli: consentire il fine-tuning di modelli a bassissimo bit (ternari) senza sacrificare i benefici di memoria e computazione del formato ternario. Evitando la dequantizzazione e la ri-quantizzazione, il metodo previene la degradazione dell'accuratezza associata a questi passaggi a precisioni sub-2-bit.

Gli autori sottolineano che il loro approccio è il primo a produrre un modello unito che rimane strettamente ternario pur utilizzando una strategia di adattamento efficiente nei parametri. Ciò consente il deployment di modelli altamente compressi e sottoposti a fine-tuning su hardware con risorse limitate, senza l'overhead di inferenza di separati moduli di adattamento o la perdita di precisione della ri-quantizzazione. Il lavoro dimostra che i modelli ternari possono essere efficacemente adattati a task downstream, recuperando gran parte delle prestazioni perse durante il processo di quantizzazione iniziale.