🤖 AI

Adversarially Robust Abductive Fusion of Pre-trained Transformer-based Perception Models

Questo articolo propone un framework di fusione neurosimbolica privo di conoscenza del dominio che sfrutta Label Vector Pools e l'abduzione basata sulla coerenza per combinare in modo robusto rilevatori ViT pre-addestrati, ottenendo prestazioni superiori rispetto ai baseline di maggioranza votante sia sotto spostamenti distribuzionali che sotto attacchi avversari coordinati.

Autori originali: Mario Leiva, Yue Ma, Qinru Qiu, Gerardo Simari, Paulo Shakarian

Pubblicato 2026-08-06

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mario Leiva, Yue Ma, Qinru Qiu, Gerardo Simari, Paulo Shakarian

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il capitano di una nave spaziale che naviga attraverso una galassia tempestosa e aliena. Hai un equipaggio di sei sensori esperti, ognuno addestrato a individuare punti di riferimento specifici come rocce, navi o stazioni spaziali. Ma ecco il problema: i tuoi sensori sono stati tutti addestrati in un sistema solare calmo e soleggiato. Ora, ti trovi a volare attraverso una nebulosa caotica piena di nebbia strana, polvere vorticosa e luci bizzarre. I tuoi sensori sono confusi. Iniziano a gridare rapporti contrastanti: "Quella è una roccia!" "No, è una nave!" "In realtà, è un enorme orso spaziale!"

Questo è il problema del mondo reale che gli scienziati affrontano con l'Intelligenza Artificiale. Abbiamo costruito programmi informatici incredibilmente intelligenti (chiamati "modelli di percezione") che sono in grado di identificare cose nelle foto, come auto o persone. Ma questi programmi sono come i tuoi sensori spaziali: sono esperti di ciò che hanno già visto, ma si confondono facilmente quando il mondo cambia. Se prendi un'auto a guida autonoma addestrata sulle strade soleggiate della California e la porti a guidare in una bufera di neve in Minnesota, potrebbe iniziare a vedere i fiocchi di neve come pedoni o smettere completamente di funzionare.

Per risolvere questo problema, gli ingegneri di solito cercano di far lavorare insieme più modelli di IA, come un comitato. Il modo più comune per prendere una decisione di comitato è il Voto di Maggioranza: se tre modelli su sei dicono "È un'auto", il sistema decide che è un'auto. Sembra equo, giusto? Ma c'è un grande difetto. Se un hacker subdolo (o semplicemente una tempesta davvero cattiva) inganna alcuni dei modelli portandoli a concordare sulla risposta sbagliata, l'intero comitato viene raggirato. È come se tre amici in una chat di gruppo decidessero di prenderti in giro dicendo che il cielo è verde; se tu segui semplicemente la maggioranza, crederai che il cielo sia verde.

Questo articolo introduce un modo più intelligente di gestire quel comitato. Invece di contare solo i voti, il nuovo sistema agisce come un detective che controlla la coerenza logica. Chiede: "Questa storia ha senso?" Se un modello dice "È un'auto" e un altro dice "È una nuvola", il sistema non si limita a contare le teste; esamina le prove per vedere quale storia regge senza contraddizioni. Gli autori dimostrano che questo metodo è molto più difficile da ingannare e funziona meglio quando l ambiente è totalmente nuovo.

Il Nuovo Kit di Attrezzi del Detective: Imparare Senza una Guida di Riferimento

I ricercatori, Mario Leiva e il suo team, volevano risolvere due grandi problemi. Primo, i metodi precedenti avevano bisogno di una "guida di riferimento" basata sulla conoscenza umana per individuare gli errori. Ad esempio, un essere umano potrebbe dire al computer: "I pedoni sono solitamente sul marciapiede, non nel cielo", oppure "Le auto sono più grandi di questo". Ma cosa succede se ti trovi in un ambiente completamente nuovo dove non conosci le regole? Non puoi scrivere una guida di riferimento per un posto che non hai mai visto.

Secondo, volevano impedire che il "Voto di Maggioranza" venisse facilmente hackerato.

La Soluzione: Il "Pool di Vettori di Etichetta"
Per risolvere il primo problema, il team ha inventato un modo affinché l'IA possa imparare la propria guida di riferimento senza alcun aiuto umano. Hanno utilizzato un trucco astuto che coinvolge la "memoria" di ogni modello di IA.

Immagina che ogni modello di IA abbia una biblioteca mentale di ogni oggetto che ha mai visto durante il suo addestramento. Quando vede un "auto", non memorizza solo la parola "auto"; memorizza un'impronta digitale matematica unica (un embedding) di come appariva quell'auto. I ricercatori hanno raccolto tutte queste impronte digitali per ogni tipo di oggetto e le hanno raggruppate in piccoli cluster chiamati Pool di Vettori di Etichetta.

Pensalo come un "anello dell'umore" per gli oggetti. Se un modello vede un nuovo oggetto, controlla: "L'impronta digitale di questo oggetto somiglia all'anello dell'umore 'auto', o somiglia all'anello dell'umore 'albero'?" Se l'oggetto dovrebbe essere un'auto ma la sua impronta digitale è molto diversa — come un'auto che sembra una nuvola — il sistema lo segnala come sospetto. Questo avviene automaticamente, usando solo la matematica interna al modello, senza bisogno di regole umane su marciapiedi o dimensioni.

La Soluzione: Il "Detective della Coerenza"
Una volta che il sistema sa quali previsioni sono sospette, non le scarta semplicemente. Invece, utilizza un metodo chiamato Ragionamento Abduttivo. Questo è un modo elegante per dire "inferenza alla migliore spiegazione".

Immagina di essere un detective che cerca di risolvere un mistero con sei testimoni.

Il Voto di Maggetto chiederebbe solo: "Chi concorda con la maggior parte delle persone?" Se tre testimoni dicono "Il maggiordomo è stato lui", il detective arresta il maggiordomo.
Questo Nuovo Sistema chiede: "Chi sta raccontando una storia che non contraddice le altre?"

Se tre testimoni dicono "Il maggiordomo è stato lui", ma un testimone dice "Il maggiordomo era in cucina in quel momento", e un altro dice "Il maggiordomo è allergico all'arma", il sistema si rende conto che la storia del "maggiordomo è stato lui" presenta delle falle. Potrebbe decidere di fidarsi dei testimoni che sono coerenti tra loro, anche se sono in minoranza. Costruisce un puzzle logico in cui ogni pezzo deve incastrarsi perfettamente. Se un pezzo (una previsione) fa crollare l'intera immagine, viene rifiutato, anche se molte persone hanno votato per esso.

Il Grande Test: Tempeste e Hacker Subdoli

Il team ha testato questa idea su una sfida difficile: immagini aeree di una città sotto 15 diversi tipi di condizioni meteorologiche, dalla pioggia battente alle tempeste di sabbia. Hanno utilizzato sei diversi modelli di IA, ciascuno addestrato su un solo tipo di meteo. Quando li hanno lanciati tutti insieme, il meteo era un caos.

Il Risultato sui Dati Puliti
In primo luogo, hanno testato il sistema in condizioni normali, non hackerate. Hanno scoperto che il loro nuovo "Detective della Coerenza" si è comportato quasi quanto i migliori team di "Voto di Maggioranza". Non ha perso alcuna precisione; era bravo quanto i vecchi metodi nel individuare auto e persone.

Il Test dell'Attacco
Poi, hanno portato in scena i cattivi. Hanno simulato un attacco coordinato. Immagina un hacker che non può rompere i singoli modelli di IA, ma può ingannare un piccolo gruppo di essi portandoli a urlare tutti la stessa risposta sbagliata contemporaneamente.

Il Team del Voto di Maggioranza: Quando l'hacker ha fatto sì che il 90% degli oggetti ricevesse un'etichetta "invertita" (un'etichetta errata forzata dall'attacco), il sistema di Voto di Maggioranza è crollato. La sua precisione è scesa a 0,35 in media su tutti i set di test. È stato completamente ingannato perché gli hacker avevano solo bisogno di controllare pochi modelli per influenzare la maggioranza.
Il Detective della Coerenza: Il nuovo sistema non si è mosso molto. Anche con lo stesso attacco al 90%, ha mantenuto una precisione media di 0,42 su tutti i 15 set di test. Potrebbe non sembrare una differenza enorme, ma nel mondo dell'IA, questo è un miglioramento del 22% rispetto al vecchio metodo.

Il motivo? Gli hacker hanno cercato di forzare una maggioranza, ma il Detective della Coerenza ha guardato la logica. Se gli hacker hanno costretto tre modelli a dire "È una nuvola", ma gli altri tre modelli (e la logica interna del sistema) dicevano "Questo non ha senso", il detective ha ignorato gli hacker. Si è fidato della storia che aveva senso, non del numero di voci.

Perché Questo è Importante

L'articolo dimostra che non è necessario essere un esperto umano per costruire una rete di sicurezza per l'IA. Lasciando che l'IA impari le proprie regole di "impronta digitale" e controllando se le storie che ascolta sono logicamente coerenti, si può costruire un sistema che è:

Portabile: Funziona in ambienti nuovi e strani senza bisogno di un manuale.
Resistente: Non può essere facilmente ingannato da hacker che cercano di truccare il voto.

I ricercatori hanno eseguito questi test su un normale server per computer, e il sistema era abbastanza veloce da essere pratico. Il "Detective della Coerenza" (specificamente il loro metodo "IP+TB") ha impiegato un po' più di tempo per risolvere il puzzle rispetto al semplice contatore di voti, ma era comunque abbastanza veloce da poter essere usato in tempo reale.

In definitiva, questo articolo suggerisce che quando mandiamo l'IA nell'ignoto — che sia una zona di disastro, un pianeta remoto o una città sotto attacco — non dovremmo limitarci ad ascoltare la voce più forte. Dovremmo ascoltare la voce che ha più senso.

Sintesi Tecnica: Fusione Abduttiva Adversarialmente Robusta di Modelli di Percezione Basati su Transformer Pre-addestrati

Problema

L'impiego di modelli di percezione pre-addestrati (specificamente Vision Transformers) in ambienti nuovi — come zone di disastro o regioni remote prive di dati di addestramento rappresentativi — porta a una significativa degradazione dell'accuratezza a causa degli shift distribuzionali. Sebbene l'assemblaggio di più modelli sia una strategia comune, i combinatori semplici come il voto di maggioranza (MV) sono fragili: scambiano il richiamo con la precisione e sono altamente suscettibili a fallimenti coordinati in cui un avversario manipola una minoranza di modelli per invertire il voto collettivo.

Alcuni approcci metacognitivi precedenti tentano di mitigare questo problema apprendendo regole logiche per segnalare gli errori. Tuttavia, tali metodi si affidano a conoscenze di dominio scritte a mano (ad esempio, prior sulla dimensione degli oggetti, maschere di segmentazione) che non sono trasferibili a scenei genuinamente nuovi. Inoltre, i lavori precedenti non hanno affrontato adeguatamente gli scenari in cui i modelli percettivi sono soggetti a perturbazioni avversarie progettate per sconfiggere gli ensemble basati sul voto.

Metodologia

Il framework proposto affronta queste limitazioni inquadrando la fusione di detector imperfetti come un problema di astrazione basato sulla coerenza risolto al tempo di test. Il sistema opera in due fasi distinte:

1. Addestramento Offline: Strato Metacognitivo Privo di Conoscenza di Dominio

Invece di fare affidamento su predicati di dominio creati manualmente, gli autori apprendono un segnale di rilevamento dell'errore utilizzando esclusivamente gli embedding interni di ciascun modello pre-addestrato.

Label Vector Pools (LVP): Per ogni modello $f_i$ e classe $c$ , il sistema raggruppa (clustering) gli embedding di rilevamento dell'addestramento del modello (usando $k$ -means, $k=3$ ) per creare un pool di vettori prototipo $\{ \mu_{i,c}^1, \mu_{i,c}^2, \mu_{i,c}^3 \}$ .
Error Detector: Per un nuovo rilevamento con embedding $e$ , il sistema calcola le distanze euclidee da tutti i prototipi nel pool, formando un vettore di caratteristiche $\phi(e)$ . Un classificatore Random Forest, addestrato per coppia (modello, classe), mappa queste distanze in una probabilità di errore $s_{i,c}(e)$ .
Apprendimento delle Regole: Queste probabilità vengono soggette a thresholding per generare Error Detection Rules (EDR). Una regola viene attivata se la probabilità di errore supera una soglia appresa $\tau$ , la quale è controllata da un iperparametro di severità $\epsilon$ . Questo strato non richiede artefatti esterni della scena (maschere, prior) ed è trasferibile a qualsiasi nuovo modello o scena.

2. Inferenza Online: Astrazione Basata sulla Coerenza

Al tempo di test, $\eta$ modelli percepiscono una scena nuova. Le loro predizioni, combinate con i programmi EDR per modello, formano un programma logico $\Pi$ .

Formulazione Logica: Il sistema cerca un sottoinsieme di predizioni accettate $H$ $H$ che massimizzi la copertura (richiamo) minimizzando al contempo l'incoerenza logica.
- Vincoli di Integrità: L'unica conoscenza di dominio utilizzata è la mutua esclusività delle etichette di classe (un oggetto non può avere due classi diverse).
- Obiettivo: Massimizzare $Pred(H)$ (il numero di assegnazioni accettate) soggetto a $Inc(H) \le \delta$ , dove $Inc(H)$ è il conteggio normalizzato dei vincoli di integgrità violati.
Solver: Il problema viene risolto tramite:
- Programma Intero Esatto (IP): Risolve l'ottimizzazione globalmente.
- Ricerca Euristica (HS): Un algoritmo greedy a tempo polinomiale che seleziona iterativamente la migliore coppia (modello, classe) da accettare basandosi sul guadagno di copertura rispetto al budget di incoerenza.
- Tie-Breaker (TB): Un passaggio opzionale per risolvere etichette ambigue selezionando la predizione con la confidenza più alta.

Contributi Chiave

Metacognizione Priva di Conoscenza di Dominio: Il paper dimostra che le regole di rilevamento dell'errore possono essere apprese interamente dalla geometria degli embedding di addestramento del modello stesso (tramite LVP). Ciò elimina la necessità di indizi scritti a mano, rendendo il sistema portabile in ambienti nuovi dove maschere di segmentazione o prior dimensionali non sono disponibili. L'approccio basato su LVP raggiunge la parità con i baseline di conoscenza di dominio (entro 0.002 F1) senza utilizzare alcuna conoscenza di dominio.
Robustezza a Attacchi Coordinati: Passando dal conteggio dei voti (voto di maggioranza) all'accettazione basata sulla coerenza, il framework è intrinsecamente più robusto agli attacchi di inversione delle etichette coordinati. Mentre il voto di maggioranza fallisce quando una minoranza di modelli viene costretta ad accordarsi su un'etichetta errata, l'approccio abduttivo accetta le predizioni solo se sono coerenti con i vincoli logici e le uscite degli altri modelli.
Fusione Abduttiva Scalabile: Gli autori forniscono sia una formulazione IP esatta sia una ricerca euristica (HS) scalabile a tempo polinomiale per risolvere il problema dell'astrazione, dimostrando che la fusione guidata dalla coerenza è computazionalmente fattibile per scenari di rilevamento del mondo reale.

Risultati Sperimentali

Il framework è stato valutato sul dataset MDS-A (Multiple Distribution Shift – Aerial), composto da 15 set di test con shift meteorologici e sei detector basati su ViT, nonché sul dataset multimodale VisDrone-DroneVehicle (RGB + IR).

Performance su Dati Puliti: Su dati non attaccati, i metodi proposti (IP+TB e HS+TB) sono statisticamente alla pari con il più forte baseline di voto di maggioranza (MV-Plurality), ottenendo punteggi F1 comparabili (entro 0.005 F1) pur superando i baseline a singolo modello.
Robustezza Avversaria: Sotto un attacco di inversione delle etichette coordinato (dove un avversario forza un sottoinsieme di modelli a concordare su un'etichetta errata):
- Il voto di maggioranza degrada significativamente all'aumentare del tasso di inversione ( $p$ ).
- L'approccio abduttivo degrada con grazia. Con un tasso di inversione del 90%, il metodo proposto raggiunge un F1 medio di 0.42, rispetto allo 0.35 di MV-Plurality (un guadagno relativo del 22%).
- Una volta che il tasso di inversione supera lo 0.4, il metodo proposto ottiene il valore F1 più alto su ogni set di test.
Tempo di Esecuzione: La variante di Ricerca Euristica (HS) elabora gli scenari in 1.9–19.7 secondi con un tempo di risoluzione per oggetto di 1.4–3.0 ms, rendendolo adatto a budget di latenza ristretti. L'IP esatto è più lento ma rimane pratico per applicazioni offline o meno critiche per il tempo.

Significato e Rivendicazioni

Il paper sostiene che lo strato metacognitivo di un sistema di percezione multi-modello può essere appreso efficacemente senza conoscenza di dominio, facendo affidamento esclusivamente sulle proprietà geometriche degli embedding di addestramento. Inquadrando l'integrazione dei modelli come un problema di astrazione basata sulla coerenza, gli autori dimostrano che un combinatore che è:

Competitivo sui dati puliti: Pareggiando i metodi di ensemble standard senza fare affidamento sul voto.
Resiliente all'attacco coordinato: Mantenendo le performance sotto attacchi che colpiscono specificamente le assunzioni di indipendenza del voto di maggioranza.

Gli autori sottolineano che questo approccio consente allo stesso meccanismo di astrazione di trasferirsi attraverso i domini senza dover riprogettare le regole di rilevamento dell'errore, poiché le regole sono derivate dalle rappresentazioni interne dei modelli stessi piuttosto che dalla semantica esterna della scena. Sebbene le regole LVP e quelle di conoscenza di dominio (DK) catturino tipi diversi di errori (anomalie degli embedding vs errori geometrici/contestuali), il paper nota che la combinazione di queste non ha prodotto un miglioramento significativo dell'F1 nei loro esperimenti, sebbene rimanga una direzione per il lavoro futuro.