Inpainting Insights: Elevating Visual XAI with Photorealistic Perturbations

Immagina di cercare di capire come un robot super intelligente vede il mondo. Chiedi: "Cosa fa sembrare questa immagine un cane?" e lui risponde: "Le orecchie!". Ma come fai a sapere che non sta solo tirando a indovinare a causa di un'ombra strana o di un colore specifico? Questo è il mondo della Explainable AI (XAI) (IA Spiegabile). È il campo dedicato al guardare dentro la "scatola nera" dell'intelligenza artificiale per vedere cosa sta succedendo realmente. Un modo popolare per farlo si chiama perturbazione. Immaginalo come giocare al gioco del "E se...?" con una foto. Copri alcune parti dell'immagine — magari le orecchie o la coda del cane — e chiedi al robot: "Pensa ancora che questo sia un cane?". Se il robot smette improvvisamente di riconoscere il cane quando copri le orecchie, allora sai che le orecchie sono importanti.

Tuttamente, c'è un problema. Se copri le orecchie con un grande, brutto quadrato grigio, non stai davvero testando la comprensione del robot di un cane; stai testando la sua reazione a un enorme ammasso grigio. Il robot potrebbe confondersi per lo strano, innaturale quadrato e darti una risposta sbagliata su ciò che è importante. Questo articolo affronta proprio questo problema. Suggerisce che, invece di usare noiosi e finti quadrati grigi per nascondere parti di un'immagine, dovremmo usare una "gomma magica" che riempie i punti mancanti con dettagli fotorealistici che sembrano appartenere a quel contesto. In questo modo, il robot sarà confuso solo dall' oggetto mancante, non da un artefatto strano, fornendoci una risposta molto più chiara su ciò che sta effettivamente guardando.

---

Il Probleo: Quadrati Brutti e Robot Confusi

Nel mondo della computer vision, i modelli di IA stanno diventando incredibilmente bravi a individuare le cose, ma stanno anche diventando più difficili da comprendere. Per risolvere questo problema, i ricercatori utilizzano strumenti come LIME (Local Interpretable Model-agnostic Explanations). LIME funziona prendendo un'immagine, scomponendola in piccoli pezzi di un puzzle chiamati "superpixel", e poi nascondendo alcuni di quei pezzi per vedere come cambia la previsione dell'IA.

Il modo tradizionale per nascondere un pezzo è dipingerlo con un colore solido, come il grigio o il nero. Gli autori di questo articolo sostengono che questo è un po' come cercare di testare la capacità di uno chef di riconoscere una torta sostituendo la glassa con un blocco di cemento. Il cemento non fa parte della torta e non assomiglia a nulla di naturale. Quando l'IA vede questo "cemento", potrebbe andare in tilt e fare una previsione che non ha nulla a che fare con la torta, portando a una spiegazione confusa.

L'articolo dimostra che questi "quadrati brutti" (occlusione deterministica) spesso falliscono. Ad esempio, in un test con l'immagine di un cerotto, i metodi standard che utilizzano quadrati grigi o altre semplici sostituzioni di colore hanno completamente mancato il cerotto come parte più importante dell'immagine. Erano troppo distratti dagli innaturali blob grigi che avevano creato.

La Soluzione: Il Trucco della "Inpainting Magica"

Per risolvere questo problema, gli autori introducono un nuovo metodo chiamato LILI (Leveraging Inpainting for Local Interpretability). Inveve di dipingere i pezzi nascosti con la vernice grigia, LILI utilizza un modello di IA generativa chiamato LaMa per fare l' "inpainting" dell'immagine.

Pensa all'inpainting come a un artista molto talentuoso che può guardare un buco in una foto e dipingere esattamente ciò che dovrebbe esserci in base ai dintorni. Se nascondi un cerotto, LaMa non mette un quadrato grigio; dipinge una chiazza di pelle che assomiglia esattamente alla pelle intorno al cerotto. Questo crea una "perturbazione fotorealistica". Il modello di IA vede un'immagine che appare naturale, tranne per il fatto che il cerotto è sparito. Questo costringe l'IA a fare affidamento sulla sua reale conoscenza di come appare un cerotto, piuttosto che reagire a un bizzarro quadrato grigio.

Ma c'era un secondo problema. Anche con l'artista magico, i bordi dell'area nascosta a volte lasciavano piccoli indizi invisibili (artefatti) che l'IA poteva ancora vedere. Per risolvere questo, gli autori hanno aggiunto un passaggio di "espansione della maschera". Immagina se, invece di nascondere solo il cerotto, nascondessi anche un piccolo pezzetto di pelle intorno ad esso. Questo assicura che l'artista magico debba riempire l'intera area con nuova pelle di sfondo, cancellando completamente ogni traccia dell'oggetto originale.

Cosa Hanno Scoperto: Il Realismo Vince

Il team ha testato LILI contro il vecchio metodo (LIME con quadrati grigi) e un tentativo precedente che utilizzava un diverso modello di inpainting chiamato DeepFill (LIME-G). Hanno eseguito centinaia di test su immagini del dataset ImageNet, utilizzando un modello di IA standard chiamato InceptionV3 per il riconoscimento.

1. Le Immagini Sembrano Migliori
Gli autori hanno misurato quanto le immagini finte sembrassero "reali" usando un punteggio chiamato Fréchet Inception Distance (FID). Un punteggio più basso significa che le immagini finte sono più simili alle foto reali.

• Il vecchio metodo LIME (quadrati grigi) ha segnato 30.532.
• Il precedente metodo di inpainting (LIME-G con DeepFill) ha segnato 56.524 (il che è sorprendentemente peggiore, probabilmente perché il modello non era altrettanto buono).
• Il nuovo metodo LILI ha segnato 6.727.
  Questo enorme calo del punteggio dimostra che LILI crea immagini che sono molto più vicine alla distribuzione dei dati reali. Sembrano naturali, non come una foto con un blob grigio appiccicato sopra.

2. Le Spiegazioni Sono Più Accurate
Per vedere se le spiegazioni fossero effettivamente migliori, hanno utilizzato una "metrica di salienza". Questa misura quanto bene la spiegazione evidenzia le parti più importanti dell'immagine. Qui, punteggi più bassi sono migliori.

• LILI con un'espansione della maschera di 3 pixel ha ottenuto i punteggi migliori, superando sia il vecchio LIME che il metodo LIME-G.
• Ad esempio, nell'esempio del cerotto, solo LILI ha identificato correttamente il cerotto come la caratteristica più importante. Gli altri metodi si sono lasciati distrarre dallo sfondo o dagli artefatti.

3. Stabilità e Velocità
I ricercatori hanno anche controllato se le spiegazioni fossero coerenti. Se esegui il test dieci volte, ottieni la stessa risposta?

• Il vecchio LIME era il più stabile (punteggio di accordo di 0.889), seguito da vicino da LILI (0.852).
• LIME-G era meno stabile (0.723).
• Gli autori notano che LILI è leggermente meno stabile del vecchio metodo dei quadrati grigi perché l' "artista magico" (LaMa) può talvolta dipingere sfondi leggermente diversi a seconda della maschera esatta. Tuttavia, questo è un piccolo prezzo da pagare per ottenere la risposta corretta.
• Per quanto riguarda la velocità, LILI richiede un po' più di tempo. Il vecchio LIME impiegava circa 4,4 secondi per immagine, mentre LILI impiegava circa 12,5 secondi. Questo perché l' "artista magico" deve fare un lavoro extra per dipingere le parti mancanti, ma è comunque molto più veloce di altri metodi ad alta tecnologia che utilizzano modelli di diffusione.

Conclusione

L'articolo conclude che, sostituendo gli brutti e falsi quadrati grigi con un riempimento dello sfondo generato dall'IA e realistico, possiamo ottenere spiegazioni molto migliori di come l'IA vede il mondo. Il metodo LILI suggerisce che le perturbazioni fotorealistiche si allineano meglio con il modo in cui l'IA è stata addestrata, portando a risultati più affidabili. Sebbene richieda un po' più di potenza di calcolo e necessiti di una calibrazione attenta dell' "espansione della maschera" per evitare di lasciare indizi, il compromesso ne vale la pena. Gli autori suggeriscono che questo approccio ci aiuta a fidarci di più dell'IA, specialmente in situazioni in cui abbiamo bisogno di sapere esattamente perché un computer ha preso una decisione, senza la confusione causata da artefatti innaturali.