Sintesi Tecnica: Generazione di Concetti Spiegabili attraverso l'Apprendimento delle Preferenze Vision-Language

Definizione del Problema

Comprendere le rappresentazioni interne delle reti neurali profonde (DNN) è fondamentale per il miglioramento dei modelli e la valutazione normativa. Sebbene i metodi di spiegazione basati su concetti, come il Testing with Concept Activation Vectors (TCAV), offrano intuizioni interpretabili dall'uomo collegando concetti visivi di alto livello (ad esempio, "strisce") alle decisioni del modello, essi soffrono di un collo di bottiglia significativo: la curatela manuale dei concetti.

Gli approcci esistenti richiedono ai professionisti di indovinare e raccogliere manualmente set di immagini di concetti candidati. Questo processo è laborioso, incline a trascurare concetti critici ed è limitato dai bias cognitivi umani. Inoltre, gli altri metodi di "recupero" (retrieval) che estraggono concetti direttamente dalle immagini di test (ad esempio, tramite segmentazione) spesso non riescono a catturare astrazioni di alto livello, tendendo a produrre patch dell'immagine target (ad esempio, una porzione di una zebra) piuttosto che le caratteristiche sottostanti (ad esempio, le strisce) che guidano la classificazione. Esiste una mancanza di metodi automatizzati capaci di generare concetti diversificati e di alto livello che siano realmente rilevanti per il processo decisionale di una specifica DNN senza l'intervento umano.

Metodologia: Ottimizzazione delle Preferenze basata su Reinforcement Learning (RLPO)

Gli autori propongono RLPO, un framework che ridefinisce la creazione di set di concetti come un problema di generazione di immagini. Invece di recuperare o curare manualmente le immagini, RLPO utilizza un modello generativo guidato dal deep reinforcement learning per sintetizzare immagini di concetti che massimizzino i punteggi TCAV.

Componenti Core

1. Modello Generativo (Stable Diffusion): Il sistema utilizza un modello text-to-image pre-addestrato (Stable Diffusion v1-5) per generare immagini di concetti basate su prompt testuali.
2. Deep Reinforcement Learning (DQN): Un Deep Q-Network (DQN) controlla il processo di generazione.
   • Azione ($a_t$): Selezione di un seed prompt da una lista predefinita (estratta tramite un modello di Vision-Question Answering).
   • Stato ($s_t$): Le immagini di concetti preferite generate dal prompt precedente.
   • Ricompensa ($r_t$): Calcolata in base ai punteggi TCAV delle immagini generate.
3. Ottimizzazione delle Preferenze (RLPO): A differenza della standard ottimizzazione delle preferenze che si basa sul ranking umano, RLPO utilizza i punteggi TCAV come segnale di preferenza. Il sistema confronta due gruppi di immagini generate ($G_1$ e $G_2$); il gruppo con il punteggio TCAV più alto è quello preferito.
4. Fine-Tuning tramite LoRA: Per guidare il modello generativo verso la produzione di concetti più rilevanti, il sistema impiega la Low-Rank Adaptation (LoRA). I pesi del modello Stable Diffusion vengono aggiornati ($w_{t+1} \leftarrow w_t + \lambda ab$) in base al feedback delle preferenze, raffinando iterativamente il modello per generare immagini che attivino specifiche reti neurali.
5. Scaling Dinamico della Ricompensa: Viene introdotto un fattore di scala $\xi_t$ per regolare le ricompense nel tempo, garantendo che l'agente riceva un feedback appropriato mentre progredisce dagli "stati proxy" (basso TCAV) agli "stati spiegabili" (alto TCAV).

Contributi Chiave

1. Generazione Automatica dei Concetti: Il paper introduce RLPO, un metodo per "generare" automaticamente concetti che siano rilevanti per il processo decisionale di una rete neurale, superando la necessità di intuizioni manuali o recupero.
2. Scoperta di Concetti Non Intuitivi: Il metodo identifica con successo concetti diversificati che sono difficili da anticipare per gli esseri umani o per i metodi basati sul recupero (ad esempio, elementi di sfondo come "fango" o alberi in "corsa" per un classificatore di zebre, non solo "strisce").
3. Validazione Completa: Gli autori forniscono prove sia qualitative che quantitative (metriche computazionali e sondaggi umani) dimostrando che RLPO rivela efficacemente le rappresentazioni interne della rete.
4. Modularità e Generalizzabilità: Il framework è progettato per essere modulare, permettendo la sostituzione di componenti come il modello generativo. Gli autori ne dimostrano l'applicabilità oltre la computer vision, estendendola ai compiti di analisi del sentiment in NLP.

Risultati Sperimentali

Il metodo è stato valutato su molteplici classificatori (GoogleNet, InceptionV3, ViT, Swin) addestrati su ImageNet, nonché su un ResNet-18 sul dataset CelebA e un TextCNN su IMDB.

• Strategia di Ricerca: RLPO ha superato le strategie di ricerca $\epsilon$-greedy, mostrando un'entropia più elevata e una migliore esplorazione dello spazio delle azioni (Tabella 1).
• Meccanismo di Scoring: L'uso di TCAV per il feedback delle preferenze (RLPO-XAIF) si è dimostrato superiore al feedback umano (RLPO-HF) e al feedback AI (RLPO-AIF) in termini di tempo di esecuzione e costo computazionale, fornendo al contempo spiegazioni specifiche per il modello (Tabella 2).
• Diversità e Novità dei Concetti:
  • Exploration Gap (EG): I sondaggi umani hanno rivelato un divario significativo tra i concetti identificabili dagli umani e quelli generati da RLPO. Per i profani, l'EG era del 91,54% per RLPO rispetto al 6,54% per i metodi di recupero, indicando che RLPO trova concetti che gli umani non considerano tipicamente (Tabella 3).
  • Diversità: I concetti generati hanno mostrato una minore similarità del coseno e una maggiore distanza euclidea rispetto ai metodi basati sul recupero, confermando che rappresentano caratteristiche astratte piuttosto che patch di immagini (Tabella 4).
• Validazione:
  • C-Deletion: Rimuovere i concetti generati (ad esempio, "strisce") dalle immagini di input ha causato un calo significativo dell'accuratezza del modello, validandone l'importanza (Fig. 6).
  • Utilità per gli Ingegneri: In uno studio condotto su 19 ingegneri ML, il 94,7% ha concordato che le spiegazioni di RLPO hanno aiutato a comprendere meglio il modello, e l'84,2% ha trovato nuove intuizioni. Gli ingegneri spesso hanno mancato concetti (come "corsa" o "fango") che RLPO ha identificato come importanti.
• Rilevamento dei Bias: Applicato a un classificatore "Bionda" vs "Non Bionda", RLPO ha rivelato che il modello faceva affidamento pesantemente su concetti di "volto femminile", evidenziando un bias di genere nei dati di addestramento.
• Generalizzazione NLP: Il framework è stato adattato con successo per generare sinonimi di parole per l'analisi del sentiment, dimostrando l'applicabilità cross-dominio.

Significato e Rivendicazioni

Il paper sostiene che RLPO affronti il limite fondamentale degli attuali metodi di XAI basati sui concetti: la dipendenza dall'intuizione umana per la selezione dei concetti. Inquadrando la creazione di concetti come un problema di generazione ottimizzato tramite reinforcement learning, gli autori dimostrano che è possibile articolare automaticamente concetti diversificati e di alto livello che guidano le decisioni delle reti neurali.

Gli autori posizionano questo lavoro come uno strumento per:

1. Migliorare i Modelli: Gli ingegneri possono utilizzare i concetti generati (ad esempio, identificando che un modello si concentra su texture di sfondo "sfocate" per le tigri) per affinare i modelli e ridurre la dipendenza da correlazioni spurie.
2. Comprendere i Bias: Il metodo può svelare bias indesiderati appresi durante l'addestramento che non sono ovvi per gli osservatori umani.
3. Generalizzabilità: L'approccio non è limitato alla visione; può essere adattato ad altre modalità come l'NLP.

Gli autori riconoscono i limiti, notando che la qualità dei concetti generati dipende dai seed prompt iniziali e dai dati di pre-addestramento del modello generativo, che possono introdurre i propri bias. Suggeriscono che il lavoro futuro potrebbe comportare l'integrazione delle preferenze degli esperti di dominio per allineare ulteriormente le spiegazioni generate con le specifiche esigenze applicative.