Sintesi Tecnica: Distillazione di Catena di Pensiero Condizionata alla Risposta per la Visione Industriale Few-Shot con Piccoli VLM

Definizione del Problema

L'implementazione dell'IA per l'ispezione visiva nella produzione affronta tre colli di bottiglia critici: requisiti che cambiano rapidamente, l'emergere di nuovi tipi di difetti e la scarsità di dataset etichettati di grandi dimensioni. Le tradizionali reti neurali convoluzionali (CNN) richiedono migliaia di immagini etichettate, il che è spesso impraticabile per le fabbriche che necessitano di classificatori entro pochi giorni utilizzando meno di 30 esempi. Al contrario, i modelli vision-language (VLM) all'avanguardia come GPT-4.1 possono interpretare le immagini senza addestramento specifico al compito, ma la loro accuratezza su compiti industriali specializzati è spesso scarsa (ad esempio, 24,1% nella classificazione granulometrica del calcestruzzo), e non possono essere implementati on-premises a causa dei costi e dei vincoli di privacy dei dati. Di contro, i piccoli VLM (1–7 miliardi di parametri) si adattano all'hardware edge ma, quando sottoposti a fine-tuning standard con dati minimi, tendono a memorizzare le coppie immagine-etichetta piuttosto che apprendere la conoscenza del dominio, fallendo nella generalizzazione.

I metodi esistenti di distillazione della Catena di Pensiero (CoT), che addestrano modelli più piccoli su dati aumentati dal ragionamento fornito da modelli teacher più grandi, si sono concentrati principalmente su scenari puramente testuali o scenari in cui il modello teacher è già altamente competente. Questo articolo affronta il divario nell'applicazione della distillazione CoT ai VLM in contesti industriali few-shot dove il medesimo modello teacher all'avanguardia può avere prestazioni scarse (fino al 24,1% di accuratezza).

Metodologia

Gli autori propongono la Distillazione CoT Condizionata alla Risposta, una pipeline progettata per adattare rapidamente piccoli VLM (specificamente un modello da 3 miliardi di parametri) a nuovi compiti industriali utilizzando 18–30 immagini etichettate.

1. Generazione del Ragionamento Condizionato alla Risposta

A differenza della CoT standard dove un modello teacher classifica un'immagine ed spiega la sua previsione, questo metodo assume che il modello frontier conosca già l'etichetta corretta ($y_i$) per un'immagine di addestramento ($x_i$).

• Processo: Il modello frontier riceve l'immagine e l'etichetta corretta (ground-truth). Gli viene chiesto di generare una spiegazione visiva che giustifichi perché quella specifica etichetta sia corretta e perché classi simili non siano applicabili.
• Ragionamento Contrastivo: Le descrizioni generate contrastano esplicitamente la classe target con i distrattori visivamente simili (ad esempio, distinguere la "porosità" dalla "mancanza di penetrazione" nei radiografi delle saldature descrivendo forma e distribuzione).
• Razionale: Condizionando il processo alla risposta corretta, il sistema assicura che tutto il ragionamento di addestramento sia diretto verso la conclusione corretta. Ciò è fondamentale perché se al teacher venisse chiesto di classificare prima, fino al 76% del ragionamento generato potrebbe essere errato, avvelenando i dati di addestramento.

2. Costruzione dei Dati e Addestramento

Per ciascuna delle $N$ immagini di addestramento etichettate, gli autori costruiscono due tipi di dataset:

• Direct LoRA: $N$ coppie di (Immagine + Prompt $\to$ JSON Etichetta).
• CoT-Augmented LoRA: $4N$ coppie. Per ogni immagine, vengono generate tre descrizioni CoT dal modello frontier, oltre a una coppia di etichetta diretta. Le coppie CoT consistono nell'immagine, un prompt senza istruzioni JSON, il testo del ragionamento generato e l'output JSON corretto.

Il piccolo VLM (Qwen2.5-VL-3B-Instruct) viene sottoposto a fine-tuning su questi dataset utilizzando LoRA (Low-Rank Adaptation). Solo i token della risposta dell'assistente contribuiscono alla perdita (loss); i prompt dell'utente e i token dell'immagine sono mascherati.

3. Prompt Engineering

Lo studio sottolinea che la qualità del prompt è fondamentale. Il prompt di classificazione deve includere definizioni di classe dettagliate, descrizioni visive e caratteristiche contrastive che distinguano le classi simili. Gli esperimenti hanno mostrato che l'uso di definizioni di classe più brevi durante l'addestramento (mantenendo le definizioni complete per la valutazione) ha degradato l'accuratezza di 18,1 punti percentuali, indicando che la generazione del ragionamento dipende fortemente dalla specificità delle definizioni fornite.

Contributi Chiave

1. Applicazione ai VLM Industriali: La prima applicazione della distillazione CoT condizionata alla risposta ai VLM per la classificazione industriale few-shot, dimostrando miglioramenti costanti attraverso quattro compiti, tre modalità di immagine e quattro seed casuali (16/16 vittorie).
2. Isolamento della Qualità del Ragionamento: Un esperimento a budget uguale prova che i guadagni di prestazione derivano dalla qualità del ragionamento, non semplicemente da un aumento degli step di addestramento o del volume dei dati.
3. Necessità della Condizione alla Risposta: Gli autori dimostrano che senza la condizione alla risposta, una CoT non condizionata può degradare le prestazioni fino al 17,8% quando il modello teacher è impreciso.
4. Superiorità sui Modelli Frontier: Un modello da 3 miliardi di parametri, sottoposto a fine-tuning su soli 24 immagini, supera GPT-4.1 e Gemini 2.5 Pro in compiti industriali specializzati, nonostante i modelli frontier ricevano immagini di riferimento durante l'inferenza.

Risultati Sperimentali

Il metodo è stato validato su quattro compiti che spaziano su tre modalità:

• Granulometria: Classificazione degli aggregati del calcestruzzo (9 classi, fotografia).
• Superficie dell'Acciaio: Classificazione dei difetti (6 classi, fotografia).
• UHCS: Microstruttura dell'acciaio (5 classi, microscopia).
• Difetti di Saldatura: Classificazione dei radiografi (4 classi, raggi X).

Metriche di Prestazione:

• Consistenza: L'approccio CoT-Augmented ha superato il Direct LoRA in tutte le 16 combinazioni di seed-task.
• Miglioramento: I miglioramenti medi sono variati da +1,7 a +4,4 punti percentuali rispetto al Direct LoRA.
• Confronto con i Modelli Frontier:
  • Difetti di Saldatura: Il modello 3B sottoposto a fine-tuning ha raggiunto il 75,0% di accuratezza, superando il few-shot di GPT-4.1 (65,0%) di 10,0 punti percentuali.
  • Granulometria: Il modello 3B ha ottenuto il 77,8% rispetto al 29,6% di GPT-4.1 (+48,2pp).
  • Superficie dell'Acciaio: GPT-4.1 (91,1%) rimane superiore, probabilmente grazie alla sua capacità few-shot con immagini di riferimento.

Esperimenti di Controllo:

• Budget Uguale: L'addestramento del Direct LoRA con 4 volte i dati (immagini duplicate) per eguagliare il numero di step della CoT-Aug non ha prodotto guadagni simili; anzi, spesso ha performato peggio o ugualmente, confermando che il guadagno deriva dai segnali di ragionamento diversificati, non solo da più step.
• Baseline Non Condizionata: Quando il teacher (Gemini 2.5 Pro) non riceveva la risposta corretta e generava il ragionamento basandosi sulle proprie previsioni (potenzialmente errate), le prestazioni sono scese significativamente (es. -17,8pp sulla Granulometria) rispetto al Direct LoRA, validando l'effetto di "avvelenamento".

Significato e Rivendicazioni

Il documento sostiene che la Distillazione CoT Condizionata alla Risposta è una soluzione valida ed efficiente per implementare piccoli VLM on-premises in ambienti industriali dinamici. Il metodo trasforma il limite dei piccoli dataset in un'opportunità per il trasferimento di un ragionamento di alta qualità.

• Efficienza: L'intera pipeline (generazione API + addestramento LoRA) richiede meno di 2 ore su una singola GPU NVIDIA L4, permettendo agli ingegneri di fabbrica di implementare modelli adattati al dominio entro un giorno.
• Robustezza: L'approccio è essenziale per domini in cui i modelli frontier mancano di competenza. Gli autori sostengono che la condizione alla risposta non è opzionale in questi contesti; senza di essa, il processo di distillazione può essere dannoso.
• Praticità: Lo studio evidenzia come il prompt engineering (specificamente le definizioni dettagliate delle classi) sia parte integrante del successo del metodo, poiché definizioni deboli portano a un ragionamento debole.

Gli autori concludono che questo approccio consente ai modelli piccoli di superare i massicci modelli frontier su compiti specializzati quando vincolati da dati etichettati minimi, a patto che il ragionamento sia condizionato alla verità di base (ground truth).