Sintesi Tecnica: Più Grande o Più Economico? Effetti di Scala e Quantizzazione sui Segnali di Incertezza nei Modelli Vision-Language sotto Degradazione d'Immagine

Definizione del Problema

I modelli vision-language (VLM) sono sempre più impiegati su hardware consumer (ad es., dispositivi edge, GPU consumer) dove i budget di memoria sono fissi e le immagini in input sono spesso degradate (compresse, sfocate, sottoesposte). In questi contesti, un segnale di incertezza affidabile è critico per la "predizione selettiva": la capacità di un sistema di delegare a un essere umano quando è probabile che commetta un errore.

I professionisti si trovano di fronte a un compromesso sotto un budget di memoria fisso (ad es., 16 GB):

1. Piccolo, Precisione Completa: Alta precisione, basso numero di parametri.
2. Piccolo, Quantizzato: Bassa precisione, basso numero di parametri (il più veloce/economico).
3. Grande, Quantizzato: Bassa precisione, alto numero di parametri (rientra nello stesso budget).

Non è noto come la scelta tra scala del modello e precisione numerica influenzi i due percorsi primari verso l'incertezza nei VLM generativi:

• Confidenza Verbalizzata: Il modello dichiara esplicitamente un punteggio di confidenza (ad es., "Confidenza: 85").
• Confidenza Interna: La media della probabilità dei token della risposta generata.

Questo articolo indaga se l'aumento delle dimensioni del modello migliori questi segnali, se la quantizzazione a 4 bit li degradi e quale configurazione offra il miglior compromesso di deployment.

Metodologia

Lo studio impiega un esperimento controllato a tre bracci utilizzando la famiglia di modelli Qwen2-VL su un dataset fisso di 100 immagini Food101 poste come domande a scelta multipla con quattro opzioni.

Bracci Sperimentali

• Braccio A: Qwen2-VL-2B-Instruct (fp16) — Piccolo, Precisione Completa.
• Braccio B: Qwen2-VL-2B-Instruct (NF4 4-bit) — Piccolo, Quantizzato.
• Braccio C: Qwen2-VL-7B-Instruct (NF4 4-bit) — Grande, Quantizzato.

Questo design isola due effetti ortogonali:

• Effetto Scala (B vs. C): Precisione costante (4-bit), parametri variabili.
• Effetto Quantizzazione (A vs. B): Parametri costanti (2B), precisione variabile.

Dati e Degradazioni

I modelli sono stati testati su 5.700 predizioni su sei degradazioni fotografiche realistiche con tre livelli di severità ciascuna:

1. Compressione JPEG
2. Sfocatura da movimento (Motion blur)
3. Scarsa illuminazione (Low light)
4. Bagliore (Glare)
5. Rotazione
6. Ricampionamento (Ridimensionamento/Upscaling)

Metriche

• Metrica Primaria: AUROC di rilevamento dell'errore (Area Under the Receiver Operating Characteristic curve). Questa misura la probabilità che una risposta corretta riceva un punteggio di confidenza più alto rispetto a una errata. È stata scelta rispetto all'errore di calibrazione perché misura direttamente l'utilità del segnale per la delega.
• Metriche Secondarie: Accuratezza, Errore di Calibrazione Atteso (ECE), Brier score e curve Rischio-Copertura (AURC).
• Tasso di Parsing: La percentuale di volte in cui il modello ha seguito con successo il formato richiesto a due righe (Risposta + Confidenza).

Contributi Chiave

1. Misurazione Controllata della Scala: Una misurazione di come la scala del modello (2B vs. 7B) influenzi sia la confidenza verbalizzata che quella interna sotto degradazione d'immagine realistica, rivelando che la scala migliora significativamente la consapevolezza interna più della segnalazione verbalizzata.
2. Effetto Quantizzazione Isolato: Una misurazione dell'impatto della quantizzazione a 4 bit sui segnali di incertezza mantenendo costante la dimensione del modello, dimostrando che la quantizzazione degrada severamente i segnali di confidenza pur preservando l'accuratezza.
3. Raccomandazione di Deployment: Una raccomandazione concreta per i deployment a budget fisso, espressa tramite punti operativi di predizione selettiva (curve rischio-copertura e comportamento di trasferimento della soglia).
4. Argomento Metodologico: L'evidenza che l'AUROC di rilevamento dell'errore sia una metrica diagnostica superiore all'errore di calibrazione per i segnali con varianza prossima allo zero, poiché un segnale può apparire ben calibrato (basso ECE) pur essendo inutile per classificare le risposte corrette rispetto a quelle errate.

Risultati

1. Accuratezza vs. Segnali di Confidenza

L'accuratezza è rimasta alta e comparabile in tutti i bracci (0.88–0.94). Tuttavia, la qualità dei segnali di confidenza è variata drasticamente:

• Effetto Scala: L'aumento della scala da 2B a 7B (entrambi a 4-bit) ha migliorato l'AUROC interna di rilevamento dell'errore da 0.80 a 0.98. Al contrario, l'AUROC della confidenza verbalizzata è migliorata solo da 0.61 a 0.69, rimanendo vicino al livello del caso (chance) in molte condizioni (inclusa la scarsa illuminazione).
• Il Divario si Allarga: La discrepanza tra ciò che il modello "sa" (segnale interno) e ciò che "dice" (segnale verbalizzato) è aumentata con la dimensione. Al 7B, il segnale interno era quasi perfetto (0.98), mentre il segnale verbalizzato rimaneva debole (0.69).

2. Impatto della Quantizzazione

Passando da fp16 a 4-bit sul modello 2B:

• Accuratezza: È scesa solo leggermente (0.904 → 0.888).
• Segnale Interno: È sceso significativamente (AUROC 0.95 → 0.80).
• Segnale Verbalizzato: Il tasso di parsing è crollato dal 99% al 64%. Il modello quantizzato ha spesso fallito nel seguire le istruzioni di formattazione, restituendo etichette nude invece di punteggi di confidenza.

3. Raccomandazione di Deployment

Sotto un budget di memoria fisso di 16 GB, la configurazione 7B-4bit è superiore sia alla configurazione 2B-fp16 che alla 2B-4bit.

• Ottiene l'accuratezza più elevata (0.935).
• Ottiene il segnale di incertezza interna più elevato (AUROC 0.98), superando il modello 2B a precisione completa (AUROC 0.95).
• Trasferimento della Soglia: Una soglia di delega calibrata su immagini pulite si trasferisce in sicurezza alle condizioni degradate per il modello 7B (mantenendo circa il 100% di accuratezza selettiva), mentre il modello 2B-4bit ammette silenziosamente gli errori sotto degradazione.

4. Errore di Calibrazione vs. AUROC

L'Errore di Calibrazione Atteso (ECE) è stato basso in tutti i bracci (0.01–0.07), suggerendo che i modelli fossero "ben calibrati". Tuttavia, questa metrica non ha saputo distinguere l'utilità dei segnali. Ad esempio, la confidenza verbalizzata del 2B-fp16 aveva un ECE di 0.011 ma un AUROC di 0.56 (caso). L'articolo sostiene che l'ECE sia fuorviante per questi segnali perché un punteggio di alta confidenza costante in un compito ad alta accuratezza è ben calibrato ma inutile per classificare gli errori.

Significato e Reclami

L'articolo sostiene che per i VLM impiegati su hardware edge:

1. La scala è la leva primaria per l'incertezza: L'aumento della dimensione del modello affina drasticamente la distribuzione di probabilità interna (la capacità del modello di distinguere risposte corrette da errate) ma non rende il modello più veritiero o discriminante nella sua confidenza verbalizzata.
2. La quantizzazione è "economica" per l'accuratezza ma "costosa" per i segnali: Sebbene la quantizzazione a 4 bit preservi l'accuratezza grezza, degrada significativamente la capacità del modello di segnalare l'incertezza, sia internamente che verbalmente.
3. Raccomandazione Pratica: I professionisti dovrebbero dare priorità ai parametri rispetto alla precisione. Un modello più grande e quantizzato (ad es., 7B-4bit) fornisce sia un'accuratezza migliore che un segnale di incertezza più affidabile rispetto a un modello più piccolo a precisione completa.
4. Selezione del Segnale: La probabilità interna del token dovrebbe essere utilizzata per le decisioni di delega, non la confidenza verbalizzata. La confidenza verbalizzata in questi modelli sembra essere un comportamento superficiale appreso che diventa più fluente con la scala, ma non necessariamente più veritiero.
5. Limitazione: Nessuna configurazione è affidabile in condizioni di scarsa illuminazione severa (severità 3), dove l'accuratezza crolla e i segnali interni si indeboliscono. In tali casi, è richiesto un controllo della qualità dell'immagine a monte piuttosto che affidarsi a soglie di confidenza a valle.

Lo studio conclude che il divario tra la conoscenza interna di un modello e il suo rapporto verbalizzato aumenta con la dimensione, e che l'AUROC di rilevamento dell'errore è la metrica necessaria per esporre questa divergenza.