Riepilogo Tecnico: GLARE – Un'interfaccia di Linguaggio Naturale per l'Interrogazione di Spiegazioni Globali

1. Definizione del Problema

I modelli di visione deep, pur essendo efficaci in domini ad alto rischio, rimangono opachi. Sebbene la XAI (Explainable AI) offra spiegazioni locali (ad esempio, mappe di salienza per singoli casi) e spiegazioni globali (ad esempio, regole aggregate o prototipi che riassumono il comportamento del modello su un intero dataset), esiste una lacuna critica di usabilità. Le attuali spiegazioni globali sono spesso artefatti monolitici e statici contenenti migliaia di regole logiche o prototipi. Presentare questo "dump di spiegazioni" agli utenti induce un sovraccarico cognitivo, oscurando gli insight anziché rivelarli.

Gli utenti tipicamente non hanno bisogno di un riepilogo statico; essi partecipano a un processo iterativo e guidato da query per testare ipotesi specifiche (ad esempio, "Il modello si affida alla neve sullo sfondo per classificare i lupi?"). Gli strumenti esistenti costringono gli utenti a filtrare e aggregare manualmente le spiegazioni locali per rispondere a tali domande, creando un attrito che limita l'utilità pratica degli insight globali. È necessaria un'interfaccia che permetta agli utenti di interrogare le spiegazioni globali tramite linguaggio naturale senza esporli a rappresentazioni a basso livello o richiedere competenze di programmazione.

2. Metodologia

Gli autori propongono GLARE (Global Language-based Analysis and Retrieval of Explanations), un sistema interattivo che tratta le spiegazioni globali non come documenti statici, ma come un database interrogabile.

Architettura del Sistema

Il sistema segue una pipeline parse-validate-execute (analisi-validazione-esecuzione):

1. Input: Gli utenti pongono domande in linguaggio naturale riguardanti il comportamento aggregato del modello (ad esempio, "Quale percentuale di immagini di camere da letto contiene sia il letto che la parete?").
2. Parsing Semantico (LLM): Un Large Language Model (LLM) specializzato funge da parser semantico. Esso traduce la query in linguaggio naturale dell'utente in una query SQL strutturata.
   • L'LLM seleziona da una tassonomia predefinita di 24 template di query che coprono compiti come conteggi di frequenza, combinazioni booleane, co-occorrenza e analisi controfattuale.
   • Estrae i parametri (nomi delle classi, nomi degli oggetti, soglie) per istanziare il template.
3. Esecuzione: La SQL generata viene validata per sicurezza e correttezza, per poi essere eseguita contro un database relazionale contenente i dati della spiegazione globale.
   • Il database è costruito aggregando le Spiegazioni Minime Sufficienti Locali (MSX) in una struttura globale in Forma Normale Disgiuntiva (DNF).
   • Sebbene gli esperimenti utilizzino spiegazioni generate da un metodo specifico (Vasu et al. [20]), l'interfaccia è progettata per funzionare con qualsiasi metodo di spiegazione locale basato su concetti che produca forme simboliche.
4. Output: Il sistema restituisce:
   • Un riepilogo in linguaggio naturale aumentato da statistiche rilevanti.
   • Spiegazioni locali di supporto (immagini di evidenza).
   • Visualizzazioni allineate con l'intento della query (ad esempio, mappe di segmentazione che evidenziano gli oggetti rilevanti).

Strategia di Addestramento

Per garantire che l'LLM apprenda la struttura dell'interrogazione delle spiegazioni piuttosto che memorizzare specifici entità del dataset, gli autori impiegano un approccio di fine-tuning specializzato:

• Dati Sintetici: 50.000 coppie di addestramento vengono generate campionando combinazioni casuali di oggetti e classi di scene dal vocabolario ADE20K e applicando variazioni di linguaggio naturale (sinonimi, template di fraseggio).
• SQL-Fence Loss Masking: Durante il fine-tuning (utilizzando LoRA su modelli Gemma 2 e Qwen 2.5), la perdita di addestramento è mascherata per concentrarsi esclusivamente sui token tra i marcatori SQL_START e SQL_END. Questo costringe il modello a imparare l'algebra relazionale del linguaggio di query, consentendo il trasferimento zero-shot a nuovi dataset con vocabolari differenti.

3. Contributi Chiave

Il documento delinea tre contributi primari:

1. Interfaccia di Linguaggio Naturale per Spiegazioni Globali: L'introduzione di GLARE, che trasforma le spiegazioni globali in database interrogabili, permettendo agli utenti di indagare il comportamento del modello tramite linguaggio naturale.
2. Rappresentazione Intermedia Basata su SQL: La definizione di uno schema SQL strutturato per aggregare, filtrare e contrastare le spiegazioni locali, colmando il divario tra l'intento in linguaggio naturale e l'aggregazione logica formale.
3. Interpretazione Robusta delle Query tramite Fine-Tuning Sintetico: La dimostrazione che il fine-tuning su dati sintetici con SQL-fence loss masking produce un'interpretazione delle query robusta. Questo approccio consente il trasferimento zero-shot cross-dataset (ad esempio, da ADE20K a Pascal VOC) senza riaddestramento, poiché il modello apprende schemi di ragionamento generalizzati piuttosto che mappature di entità specifiche del dataset.

4. Risultati Sperimentali

Il sistema è stato valutato su spiegazioni globali derivate dal dataset di parsing della scena ADE20K, con una valutazione cross-dataset su Pascal VOC.

Accuratezza In-Distribution

• Performance: I modelli sottoposti a fine-tuning (specificamente Gemma 2 9B e 27B) hanno raggiunto un'accuratezza di corrispondenza dei risultati >95% su query tenute fuori dal set di addestramento sul dataset di addestramento.
• Integrità Strutturale: Questi modelli hanno ottenuto punteggi quasi perfetti sulla rilevazione dei fence, sul parsing SQL e sui tassi di esecuzione (100% in molti casi).
• Confronto con Baseline: I modelli base (non addestrati) hanno ottenuto un'accuratezza vicina allo zero, confermando che la performance è prodotto della specifica pipeline di fine-tuning piuttosto che di una preesistente conoscenza SQL. Una baseline Regex non apprendente ha raggiunto il 74,4% di accuratezza, significativamente inferiore ai modelli sottoposti a fine-tuning.

Robustezza alle Perturbazioni

Il sistema ha dimostrato una forte resilienza al rumore linguistico:

• Errori di Ortografia: Il modello sottoposto a fine-tuning ha mantenuto un tasso di corrispondenza del 79,6% rispetto al 48,7% della baseline Regex, mostrando un vantaggio di +31 punti percentuali.
• Sostituzione con Sinonimi: Il modello ha mostrato una robustezza del 100% ai sinonimi, superando la baseline Regex di 17 punti percentuali.
• Coerenza: Il parafrasare semanticamente equivalente ha prodotto risultati SQL identici il 94,1% delle volte.
• Sanità: Tutti gli output soddisfacevano i vincoli di dominio (ad esempio, nessun conteggio negativo o percentuali al di fuori dell'intervallo [0, 100]).

Generalizzazione e Trasferimento

• Fraseggio Out-of-Distribution (OOD): Il modello ha gestito bene il fraseggio inedito dei template addestrati (45,1% di corrispondenza esatta), sebbene abbia avuto difficoltà con doppie negazioni complesse o query altamente informali.
• Nuove Costruzioni SQL: Il modello ha mostrato una generalizzazione composizionale, assemblando frammenti SQL familiari in nuove strutture (ad esempio, chained_filter con una corrispondenza del 100%), ma ha fallito su sintassi completamente inedite (ad esempio, window_function con lo 0% di corrispondenza).
• Trasferimento Cross-Dataset: Un modello addestrato esclusivamente sui metadati di ADE20K ha raggiunto un'accuratezza di circa il 90% quando testato su un database Pascal VOC con un vocabolario di oggetti completamente disgiunto. Ciò conferma che il modello ha appreso la struttura relazionale dello schema piuttosto che i nomi specifici delle entità.

Analisi della Scala del Modello

• Soglia di Capacità: È richiesta una capacità minima del modello. Qwen 2.5 0.5B non è riuscito ad apprendere il compito anche dopo il fine-tuning, mentre i modelli da 7B+ si sono comportati in modo robusto.
• Saturazione: All'interno della famiglia Gemma 2, le performance si sono saturate tra i 2B, 9B e 27B di parametri per i compiti in-distribution, suggerendo che la pipeline sintetica è efficace anche per modelli più piccoli, purché sufficientemente grandi.

5. Significato e Rivendicazioni

Il documento sostiene che GLARE offre una via pratica e affidabile verso una XAI centrata sull'uomo. Spostandosi dall'ispezione passiva di artefatti statici a un dialogo attivo guidato da query, il sistema rende le spiegazioni globali accessibili anche ai non esperti.

Gli autori sottolineano che il loro approccio:

• Ancora la Flessibilità nella Correttezza Formale: Utilizzando gli LLM come parser vincolati dalla logica che mappano a template SQL verificabili, il sistema evita le allucinazioni comuni nella generazione diretta di spiegazioni tramite LLM.
• Abilita il Trasferimento Zero-Shot: La strategia di addestramento "SQL-fence" permette al sistema di generalizzare a nuovi domini e vocabolari senza riaddestramento, a patestà che sia disponibile una nuova lista di entità.
• Riduce il Carico Cognitivo: Permette agli utenti di porre domande mirate senza dover comprendere la complessità sottostante di migliaia di regole logiche.

Il documento conclude che, sebbene l'attuale tassonomia dei template sia estendibile ma non esaustiva, la dimostrata capacità di trasferirsi tra dataset e gestire variazioni linguistiche suggerisce che l'interrogazione mediata da LLM sia una soluzione valida per scalare l'analisi delle spiegazioni globali.