🤖 machine learning

TopoMap: A Feature-based Semantic Discriminator of the Topographical Regions in the Test Input Space

Il paper presenta TopoMap, un approccio black-box e model-agnostic che costruisce una mappa topografica dello spazio delle caratteristiche di input tramite riduzione dimensionale e clustering ottimizzati da una rete neurale, permettendo di raggruppare gli input in regioni semanticamente discriminative e migliorando significativamente l'efficacia della selezione di input per l'analisi di mutazione rispetto alla selezione casuale.

Autori originali: Gianmarco De Vita, Nargiz Humbatova, Paolo Tonella

Pubblicato 2026-03-25

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Gianmarco De Vita, Nargiz Humbatova, Paolo Tonella

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un'auto a guida autonoma o un sistema che riconosce le facce, e il tuo compito è capire quando e perché questi sistemi potrebbero sbagliare.

Fino a poco tempo fa, testare questi sistemi era come cercare un ago in un pagliaio lanciando a caso dei pagliacci. Se trovavi un errore, era fortuna. Ma non sapevi perché quell'errore era successo: era perché l'immagine era troppo scura? Perché il numero era scritto in un certo modo? Perché il rumore di fondo era particolare?

Gli autori di questo paper, Gianmarco, Nargiz e Paolo, hanno creato una soluzione chiamata TOPOMAP. Ecco di cosa si tratta, spiegato in modo semplice.

1. Il Problema: Il "Pagliaio" Invisibile

Immagina lo spazio di tutti i possibili input (tutte le immagini, tutti i suoni, tutti i testi) come un enorme territorio geografico pieno di montagne, valli e foreste.

La maggior parte di questo territorio è "sicura": l'auto guida bene, il sistema riconosce la faccia.
Ci sono però delle "trappole" nascoste (le zone dove il sistema sbaglia).
Il problema è che queste trappole non sono sparse a caso: sono raggruppate in zone specifiche basate su caratteristiche comuni (es. "tutte le immagini con la luce bassa e il contrasto alto").

I metodi vecchi cercavano di trovare queste trappole sparpagliandosi a caso o guardando solo un piccolo pezzo del territorio. TOPOMAP fa qualcosa di diverso: disegna una mappa.

2. La Soluzione: La Mappa Topografica (TOPOMAP)

TOPOMAP è come un cartografo intelligente che prende quel territorio caotico e lo trasforma in una mappa topografica chiara e ordinata.

Ecco come funziona, passo dopo passo:

Ridurre la complessità (La Lente Magica): I dati originali (come un'immagine di 1000x1000 pixel) sono troppo complessi per essere visti tutti insieme. TOPOMAP usa una "lente magica" (chiamata embedding) per comprimere l'immagine in una versione più piccola, ma che mantiene le caratteristiche importanti (come la forma, il colore, la direzione). È come prendere un'intera foresta e rappresentarla con pochi simboli chiari su una mappa.
Raggruppare i simili (Il Pastore): Una volta ridotti i dati, l'algoritmo agisce come un pastore. Prende tutti gli input e li raggruppa in "branchi" (cluster) basandosi sulle loro somiglianze. Tutti i numeri scritti in modo "grassetto" vanno in un gruppo, quelli "sottili" in un altro, quelli "storti" in un terzo.
La Mappa Finale: Il risultato è una mappa dove ogni zona (o cluster) rappresenta un tipo specifico di input. Se guardi la mappa, vedi subito: "Ah, qui c'è la zona dei numeri scuri, qui quella dei numeri veloci".

3. Come fa a sapere se la mappa è buona? (Il Giudice Robot)

C'è un problema: ci sono infinite maniere di raggruppare i dati. Quale è quella giusta?
Gli autori hanno un'idea geniale: invece di chiedere a un umano di studiare migliaia di gruppi (cosa che richiederebbe anni), usano un Intelligenza Artificiale (una rete neurale) come "giudice".

Immagina di mostrare due gruppi di immagini all'AI e chiederle: "Riesci a dire la differenza tra questi due gruppi?"
Se l'AI fa fatica a distinguerli, significa che il raggruppamento è confuso e inutile.
Se l'AI distingue i gruppi facilmente, significa che la mappa ha trovato caratteristiche chiare e sensate.
TOPOMAP prova migliaia di combinazioni diverse e sceglie automaticamente quella che l'AI riesce a distinguere meglio. È come se avessimo un arbitro che sceglie il miglior modo di dividere le squadre.

4. Perché è utile? (Caccia agli Errori)

Una volta avuta la mappa, cosa ci facciamo?
Immagina di voler trovare dove l'auto a guida autonoma sbaglia. Invece di guidare a caso per ore, guardi la mappa.

La mappa ti dice: "Ehi, guarda! C'è un piccolo gruppo di zone (i cluster) dove l'auto tende a sbagliare".
Invece di testare 10.000 strade, ne provi solo 900 (il 9%) selezionate proprio da quelle zone "pericolose" della mappa.

Il risultato è sbalorditivo:

Usando TOPOMAP, riescono a trovare gli errori con una probabilità di successo del 100% usando solo il 9% dei dati.
Se scegliessero i dati a caso (come fanno molti oggi), la probabilità di trovare l'errore crollerebbe al 65%.
Inoltre, riescono a trovare errori che i metodi casuali non vedono mai (quelli "non uccidibili" a caso).

5. Confronto con il "Vecchio Metodo" (DeepHyperion)

C'era un altro metodo famoso chiamato DeepHyperion, che faceva una mappa simile, ma richiedeva che un umano esperto definisse manualmente cosa fosse importante (es. "per le auto, conta la distanza dal centro della strada").

DeepHyperion: Come se dovessi disegnare la mappa a mano, chiedendo a un esperto cosa guardare. Funziona bene, ma è lento e specifico per quel compito.
TOPOMAP: È come avere un robot che guarda la mappa e dice: "Guarda, qui ci sono differenze che tu non avevi notato!". È automatico, non serve un esperto umano per decidere cosa guardare, e funziona su immagini, suoni e testi.

In Sintesi

TOPOMAP è come avere una bussola intelligente per esplorare il mondo dei dati.
Invece di camminare alla cieca nel buio cercando di inciampare sugli errori, TOPOMAP ti accende le luci, ti mostra dove sono i "buchi" nel terreno e ti dice esattamente dove mettere i piedi per trovare i problemi più velocemente e con meno fatica.

È un passo enorme verso il rendere l'Intelligenza Artificiale più sicura, perché ci permette di capire dove e perché fallisce, senza bisogno di essere maghi della matematica o esperti di ogni singolo settore.

1. Il Problema

Il testing dei sistemi basati sul Deep Learning (DL) rappresenta una sfida aperta. Sebbene sia relativamente semplice trovare input che causano un malfunzionamento (misbehaviour) in un modello DL, la raggruppazione di tali input basata sulle caratteristiche (feature) che li rendono problematici è un'area largamente inesplorata.
Le approcci esistenti per la generazione di test spesso applicano piccole perturbazioni agli input, concentrandosi su regioni specifiche dello spazio degli input e trascurando altre regioni dove potrebbero emergere diversi tipi di errori. Inoltre, molti metodi richiedono l'accesso ai componenti interni del modello (white-box) o un'ingegneria manuale delle feature, limitando la loro applicabilità e automazione.

2. Metodologia: TOPOMAP

TOPOMAP è un approccio black-box e model-agnostic (indipendente dal modello) progettato per creare una mappa topografica esplicita dello spazio delle feature di input. L'obiettivo è esplorare tutte le regioni che potrebbero potenzialmente innescare un malfunzionamento, raggruppando gli input in base alle loro caratteristiche condivise.

Il processo si articola in quattro fasi principali (illustrate nella Fig. 2 del paper):

Riduzione della Dimensionalità (Embedding):
- Gli input ad alta dimensionalità (es. immagini, testo, audio) vengono trasformati in rappresentazioni vettoriali a dimensionalità ridotta (embedding).
- Vengono testate diverse tecniche di embedding, tra cui PCA, UMAP, t-SNE, SVD, LDA, Isomap e Autoencoder.
- L'obiettivo è preservare le feature chiave che caratterizzano il comportamento del sistema DL, riducendo al contempo la complessità computazionale.
Clustering degli Input:
- Gli embedding risultanti vengono sottoposti a clustering utilizzando algoritmi non supervisionati (K-means, BIRCH, HDBSCAN, Affinity Propagation).
- Questo passaggio assegna a ogni input un "pseudo-label" che ne indica l'appartenenza a una specifica regione (cluster) della mappa topografica.
Selezione Automatica della Configurazione Ottimale:
- Poiché diverse combinazioni di algoritmi di embedding e clustering producono mappe diverse, è necessario selezionare la configurazione migliore.
- Selezione del numero di cluster ( $k$ ): Viene proposto un algoritmo ad-hoc (Algoritmo 1) che incrementa $k$ fino a quando l'accuratezza della classificazione non si stabilizza, evitando di cercare valori eccessivi.
- Valutazione della Qualità: Viene utilizzata una Deep Neural Network (DNN) come sostituto di un valutatore umano. La DNN viene addestrata per classificare gli input basandosi sui pseudo-labels generati dal clustering.
- Metrica di Valutazione: Viene introdotta una nuova metrica, la Weighted Pairwise Accuracy. Si valuta la capacità della DNN di distinguere ogni coppia di cluster. La configurazione ottimale è quella che massimizza la minima accuratezza tra tutte le coppie di cluster (garantendo che anche i cluster più difficili da distinguere siano ben separati).
Generazione della Mappa Topografica:
- La configurazione che massimizza l'accuratezza di discriminazione viene selezionata per generare la mappa finale, che rappresenta le regioni semantiche dello spazio di input.

3. Contributi Chiave

Mappa Topografica Automatica: Creazione di una mappa delle regioni di input basata esclusivamente sulle feature di input, senza richiedere conoscenza interna del modello DL.
Valutazione Automatizzata tramite DNN: Sostituzione della valutazione manuale delle qualità del clustering con un approccio automatizzato che utilizza una DNN per simulare la capacità umana di discriminare gruppi di input.
Indipendenza dal Dominio: L'approccio è stato validato su diversi domini (classificazione di immagini, riconoscimento vocale, testo, regressione per guida autonoma e tracciamento oculare), dimostrando la sua generalità.
Efficienza nel Rilevamento di Errori: Dimostrazione che le regioni identificate da TOPOMAP contengono una densità elevata di input capaci di "uccidere" (kill) i mutanti del modello DL.

4. Risultati Sperimentali

Lo studio è stato condotto su 6 dataset (MNIST, CIFAR-10, Speaker Recognition, Reuters, Udacity, Unity Eyes) utilizzando l'approccio di mutazione DeepCrime per generare modelli difettosi.

RQ1 (Discriminazione): La pipeline basata su DNN seleziona configurazioni di clustering specifiche per ogni dominio. Non esiste una configurazione "migliore" universale; l'approccio adatta dinamicamente embedding e clustering.
RQ2 (Spiegabilità): Uno studio umano ha mostrato una forte correlazione tra la capacità della DNN di discriminare i cluster e la capacità umana di farlo, specialmente su dataset con feature intuitive (es. cifre scritte a mano).
RQ3 (Rilevamento di Errori):
- TOPOMAP è altamente efficace nel localizzare regioni con alta densità di input difettosi.
- Utilizzando in media solo il 9% degli input totali, TOPOMAP ottiene una probabilità di uccisione dei mutanti del 100%.
- Rispetto alla selezione casuale, TOPOMAP supera le prestazioni del 35% per i mutanti uccidibili e del 61% per quelli non uccidibili dalla test suite originale.
RQ4 (Confronto con DeepHyperion): TOPOMAP produce mappe semanticamente diverse e complementari rispetto a DeepHyperion (l'approccio più simile). TOPOMAP supera DeepHyperion nella densità di input difettosi e richiede meno input per uccidere i mutanti, oltre a non richiedere l'ingegneria manuale delle feature.
RQ5 (Propagazione dell'Uccisione): Esistono cluster specifici che contribuiscono ripetutamente all'uccisione di diversi tipi di mutanti, suggerendo che le regioni critiche sono intrinseche allo spazio di input e non legate a un singolo tipo di errore.

5. Significato e Impatto

Il lavoro di TOPOMAP rappresenta un passo fondamentale verso il testing automatizzato e scalabile dei sistemi Deep Learning.

Efficienza: Permette agli sviluppatori di concentrare gli sforzi di testing su regioni specifiche della mappa topografica che hanno la massima probabilità di esporre difetti, riducendo drasticamente il numero di test necessari.
Automazione: Elimina la necessità di definire manualmente le feature discriminative, rendendo il processo applicabile a qualsiasi dominio di input.
Interpretabilità: Le mappe generate non sono solo strumenti statistici, ma offrono una visualizzazione comprensibile delle regioni critiche, aiutando a comprendere dove e perché un modello DL fallisce.

In conclusione, TOPOMAP fornisce un framework robusto per segmentare lo spazio di input in regioni semanticamente significative, migliorando l'efficacia del testing e la fiducia nei sistemi di intelligenza artificiale.