Riepilogo Tecnico: Quando i Bit Rompono il Ricorso: Quantizzazione Fedele ai Controfattuali

1. Enunciato del Problema

I sistemi moderni di machine learning fanno sempre più affidamento sulla quantizzazione per ridurre l'ingombro di memoria e la latenza di inferenza, in particolare nelle distribuzioni mobili e periferiche. Sebbene l'Addestramento Consapevole della Quantizzazione (QAT) e la Quantizzazione Post-Addestramento (PTQ) siano rigorosamente valutati per la loro capacità di preservare l'accuratezza predittiva, questo articolo identifica una discrepanza critica nella distribuzione: la quantizzazione può preservare l'accuratezza nel caso medio mentre rompe silenziosamente il ricorso algoritmico.

Il ricorso algoritmico fornisce raccomandazioni azionabili (minime modifiche a un input) che invertono la decisione di un modello verso un esito desiderato. L'articolo sostiene che i vincoli di accuratezza si applicano alla distribuzione dei dati, whereas il ricorso dipende dalla geometria locale del confine decisionale in specifici dintorni attorno a punti individuali. La quantizzazione perturba pesi e attivazioni in modo strutturato ma non uniforme, il che può spostare i margini decisionali e ruotare i confini esattamente nei dintorni che contano per il ricorso. Di conseguenza, un'azione di ricorso valida per un modello in precisione intera può diventare invalida o significativamente più costosa dopo la quantizzazione, anche se l'accuratezza di test del modello rimane invariata.

2. Metodologia: Quantizzazione Fedele ai Controfattuali (CFQ)

Gli autori propongono la Quantizzazione Fedele ai Controfattuali (CFQ), un metodo di addestramento consapevole della quantizzazione progettato per preservare il comportamento controfattuale come obiettivo di prima classe, insieme all'accuratezza predittiva.

Meccanismo Principale

La CFQ tratta la quantizzazione come uno spostamento strutturato del modello. Utilizza un modello "insegnante" in precisione intera ($f$) per generare azioni di ricorso ($\delta_{fp}$) per le istanze di input. Queste azioni sono calcolate tramite un piccolo numero ($K$) di passi di gradiente proiettato su una perdita controfattuale differenziabile e sono trattate come costanti (tramite stop-gradient) durante l'ottimizzazione del modello quantizzato ($f_q$).

L'obiettivo di addestramento per la CFQ combina tre componenti:

1. Perdita di Task ($L_{task}$): Perdita supervisionata standard (ad es. entropia incrociata) per mantenere l'accuratezza predittiva sugli input fattuali.
2. Perdita di Preservazione della Validità ($L_{valid}$): Un regolarizzatore che forza il modello quantizzato a prevedere l'esito target nel punto di ricorso dell'insegnante ($x + \delta_{fp}$). Questo garantisce che se un'azione funziona per il modello in precisione intera, rimanga valida per il modello quantizzato.
3. Penalità del Costo in Bit ($\lambda \cdot \text{BitCost}$): Un vincolo che impone un budget globale di bit, abilitando un'allocazione mista di precisione.

Allocazione Mista di Bit

La CFQ ottimizza congiuntamente i parametri del quantizzatore (ad es. dimensioni dei passi, soglie di clipping) e le larghezze in bit a livello di strato. Impiega un rilassamento differenziabile utilizzando Gumbel-Softmax per selezionare le larghezze in bit da un insieme candidato (ad es. $\{2, 3, 4, 8\}$) per ogni strato. L'ottimizzazione è guidata dall'obiettivo controfattuale, allocando una precisione più elevata agli strati che influenzano maggiormente la validità dei punti di ricorso, piuttosto che ottimizzare esclusivamente per l'accuratezza media.

Miglioramenti Opzionali

• Corrispondenza di Direzione/Costo ($L_{match}$): Un termine opzionale che allinea l'azione di ricorso calcolata dal modello quantizzato ($\delta_q$) con l'azione dell'insegnante ($\delta_{fp}$) in termini di direzione e costo.
• Stabilizzazione del Margine ($L_{hinge}$): Una perdita hinge che impone un margine positivo nel punto di ricorso dell'insegnante, fornendo un cuscinetto di sicurezza contro le perturbazioni indotte dalla quantizzazione.

Fondamento Teorico

L'articolo fornisce una condizione sufficiente per il trasferimento del ricorso basata sulla robustezza del margine. Sostiene che se il margine target in precisione intera in un punto di ricorso supera il doppio della massima perturbazione del logit indotta dalla quantizzazione ($\epsilon$), il modello quantizzato preserverà l'etichetta target. L'obiettivo della CFQ affronta direttamente questo aspetto aumentando il margine nei punti di ricorso e riducendo le perturbazioni effettive attraverso un'allocazione mirata dei bit.

3. Contributi Chiave

1. Identificazione di un Divario di Distribuzione: Gli autori dimostrano che le linee di base di quantizzazione che preservano l'accuratezza (QAT uniforme, QAT a precisione mista) possono degradare significativamente la trasferibilità controfattuale, portando a fallimenti del ricorso invisibili alle metriche di accuratezza standard.
2. Nuove Metriche: Vengono introdotte due metriche per quantificare questa modalità di fallimento:
   • Caduta di Validità (VD): La probabilità che un'azione di ricorso valida per il modello in precisione intera fallisca per il modello quantizzato.
   • Divario di Ricorso Controfattuale (CRG): L'aumento relativo del costo minimo richiesto per raggiungere l'esito target dopo la quantizzazione.
3. Algoritmo CFQ: Una procedura di addestramento innovativa che accoppia l'allocazione mista di bit con un regolarizzatore di coerenza controfattuale per preservare la validità del ricorso sotto vincoli di bit.
4. Validazione Empirica: Esperimenti estesi su benchmark tabellari (ADULT, GERMAN CREDIT, COMPAS) e dataset di immagini non tabellari (MNIST, Fashion-MNIST, CelebA) che mostrano come la CFQ mantenga l'accuratezza migliorando sostanzialmente VD e CRG.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard di ricorso tabellare (ADULT, GERMAN CREDIT, COMPAS) ed estesi a dataset di immagini utilizzando spazi di azione latenti strutturati o semantici.

• Accuratezza vs Ricorso: I metodi di base (LSQ-QAT, PACT-QAT, Precisione Mista guidata dall'accuratezza) hanno raggiunto un'accuratezza predittiva paragonabile a quella dei modelli in precisione intera (ad es. ~85,7% su ADULT) ma hanno subito un'alta Caduta di Validità (VD $\approx$ 0,12–0,18) e un alto Divario di Ricorso Controfattuale (CRG $\approx$ 0,16–0,23).
• Prestazioni CFQ: La CFQ ha raggiunto un'accuratezza paragonabile (ad es. 85,7% su ADULT) riducendo drasticamente VD (a ~0,06) e CRG (a ~0,07). Questo rappresenta una riduzione di circa il 50% nei tassi di fallimento del ricorso rispetto alle migliori linee di base non-CFQ.
• Robustezza: I benefici della CFQ sono stati coerenti tra diversi budget di bit, con i guadagni più grandi osservati nei regimi a basso numero di bit (ad es. 3-4 bit) dove il rumore di quantizzazione è più forte.
• Variante Senza Addestramento (CF-PTQ): È stata introdotta una variante post-addestramento che calibra i quantizzatori sia sui punti fattuali che su quelli controfattuali dell'insegnante senza aggiornare i pesi di base. Questa variante ha ridotto significativamente VD e CRG rispetto alla PTQ standard, offrendo una via di mezzo pratica tra PTQ standard e QAT completo.
• Analisi dei Sottogruppi: La CFQ ha ridotto l'instabilità del ricorso tra diversi sottogruppi (ad es. genere, razza), sebbene le disparità nei sottogruppi in termini di stabilità possano ancora esistere, suggerendo la necessità di future estensioni consapevoli dell'equità.

5. Significato e Affermazioni

L'articolo afferma che l'accuratezza predittiva è insufficiente a garantire l'affidabilità del ricorso algoritmico nei modelli compressi. Trattando la quantizzazione come un cambiamento del modello che altera la geometria decisionale locale, gli autori sostengono che le pipeline di distribuzione devono ottimizzare esplicitamente per la stabilità del ricorso.

Il significato della CFQ risiede nella sua capacità di:

• Prevenire Promesse Rott: Garantire che le raccomandazioni azionabili generate durante lo sviluppo (su modelli in precisione intera) rimangano valide ed economicamente efficienti dopo la distribuzione (su modelli quantizzati).
• Fornire Stabilità Misurabile: Introdurre VD e CRG come metriche standard per valutare la robustezza del ricorso sotto compressione, rivelando fallimenti che le metriche di accuratezza nascondono.
• Offrire Soluzioni Pratiche: Fornire sia un approccio basato sull'addestramento (CFQ) che uno senza addestramento (CF-PTQ) per raggiungere questa stabilità, rendendolo applicabile a vari vincoli di distribuzione.

Gli autori mantengono una posizione modesta, notando che la CFQ preserva il ricorso rispetto al modello predittivo specificato e all'insieme di azioni, ma non certifica l'efficacia causale nel mondo reale. Riconoscono che la CFQ introduce un sovraccarico computazionale (principalmente dal calcolo del ricorso dell'insegnante) e che la sua stabilità è calibrata sulla distribuzione di addestramento, richiedendo potenzialmente una ricalibrazione sotto forti spostamenti nella distribuzione. Tuttavia, i risultati dimostrano che ottimizzare la quantizzazione per il comportamento controfattuale è un obiettivo distinto e necessario per i sistemi di supporto alle decisioni ad alto rischio.