Riepilogo Tecnico: Apprendimento di Rappresentazioni di Insiemi Robusti Distribuzionalmente in Presenza di Corruzione degli Elementi al Momento dell'Inferenza

1. Definizione del Problema

I metodi standard di Apprendimento di Rappresentazioni di Insiemi (SRL) eccellono su dati curati e puliti, ma spesso falliscono nell'affrontare la Corruzione degli Elementi al Momento dell'Inferenza. Questo fenomeno si verifica quando i modelli distribuiti incontrano input in cui singoli elementi all'interno di un insieme sono degradati (ad esempio, valori anomali, componenti mancanti o rumore), mentre il tema generale dell'insieme (l'etichetta) rimane preservato.

Sebbene tali corruzioni siano spesso sparse e localizzate, possono distorcere in modo sproporzionato le rappresentazioni degli insiemi. Ad esempio, i meccanismi di pooling basati sull'attenzione sono vulnerabili ai valori anomali che attraggono pesi sproporzionati, dominando la rappresentazione globale e portando a previsioni inaffidabili. La Minimizzazione del Rischio Empirico (ERM) standard ottimizza le prestazioni solo sulle distribuzioni nominali di addestramento e non riesce a generalizzare quando gli input al momento dell'inferenza si discostano da questo regime.

Gli approcci esistenti alla robustezza, come l'Ottimizzazione Robusta Distribuzionalmente (DRO), affrontano barriere computazionali fondamentali quando applicati a dati strutturati come insiemi:

1. Definizione delle Regioni di Ambiguità: A differenza degli input continui, dove le regioni di ambiguità sono costruite tramite perturbazioni limitate da norme, gli insiemi sono discreti e combinatori, rendendo la definizione di regioni di corruzione plausibili non banale.
2. Intrattabilità Computazionale: Risolvere la massimizzazione interna nella DRO convenzionale per identificare gli insiemi corrotti nel caso peggiore richiede un'ottimizzazione combinatoria discreta con complessità fattoriale, rendendo il processo di addestramento non scalabile.

2. Metodologia: SW-DRSO

Gli autori propongono SW-DRSO (Sliced-Wasserstein Distributionally Robust Set Optimization), un framework scalabile progettato per gestire la corruzione degli elementi al momento dell'inferenza attraverso due innovazioni principali:

A. Modellazione degli Insiemi tramite Geometria Sliced-Wasserstein

Invece di trattare gli insiemi come collezioni discrete, SW-DRSO modella un insieme $S = \{x_i\}_{i=1}^n$ come una misura empirica $\mu_S$. La corruzione è vista come una perturbazione da $\mu_S$ a una misura corrotta $\mu_{S'}$.

• Regione di Ambiguità: Gli autori definiscono la regione di corruzione $\Gamma(S)$ utilizzando la distanza Sliced-Wasserstein (SW). Una sfera SW di raggio $\rho$ attorno all'insieme originale definisce l'insieme delle distribuzioni corrotte plausibili. Questa formulazione evita l'enumerazione discreta e sfrutta le proprietà geometriche della metrica SW, derivata dalle proiezioni 1D del problema del Trasporto Ottimale (OT).
• Codificatore: Per allinearsi a questa geometria, il framework impiega un codificatore di insiemi consapevole di Wasserstein (basato su Naderializadeh et al., 2021). Questo codificatore mappa gli insiemi in embedding calcolando le coordinate di trasporto ottimale tra l'insieme di input e un insieme di riferimento apprendibile attraverso molteplici direzioni di proiezione Monte Carlo.

B. Avversario Baricentrico per Ottimizzazione Trattabile

Ottimizzare direttamente la perdita nel caso peggiore sulla sfera SW rimane intrattabile. Per risolvere questo problema, SW-DRSO introduce una strategia di sintesi dei dati baricentrica:

1. Costruzione del Vicinato Locale: Per un dato insieme $S$, viene costruito un pool locale di vicini $G(S)$ basato sulla distanza degli embedding.
2. Sintesi Baricentrica: Invece di cercare su insiemi corrotti discreti, il metodo sintetizza un embedding perturbato $\bar{v}_S(\Lambda)$ prendendo una combinazione convessa (baricentro) degli embedding dei vicini, pesati da un vettore di probabilità $\Lambda$ su un simpleisso $\Delta_K$.
3. Giustificazione Teorica: Gli autori dimostrano che questo embedding sintetizzato corrisponde al baricentro di Wasserstein (media di Fréchet) degli insiemi vicini sotto la metrica SW. Di conseguenza, la regione baricentrica funge da surrogato trattabile e differenziabile per la massimizzazione interna intrattabile originale.
4. Ottimizzazione: L'obiettivo di addestramento minimizza una somma pesata della perdita ERM nominale e della perdita nel caso peggiore sulla regione baricentrica. La massimizzazione interna (trovare i pesi $\Lambda$ nel caso peggiore) è risolta efficientemente utilizzando l'ascesa del gradiente proiettato sul simpleisso, mentre il ciclo esterno aggiorna il codificatore e il predittore tramite la discesa del gradiente standard.

3. Contributi Chiave

Il documento delinea tre contributi principali:

1. Framework SW-DRSO: La proposta di un framework DRO scalabile specificamente adattato per l'Apprendimento di Rappresentazioni di Insiemi, che consente una robustezza efficace contro la corruzione degli elementi al momento dell'inferenza.
2. Formulazione di Ambiguità Trattabile: La formulazione e l'ottimizzazione di una regione di ambiguità trattabile tramite sintesi baricentrica dei dati. Questo converte la ricerca nel caso peggiore computazionalmente proibitiva su insiemi discreti in un'attività di ottimizzazione efficiente e differenziabile su pesi di miscelazione a bassa dimensionalità.
3. Validazione Empirica: Esperimenti estesi che dimostrano come SW-DRSO superi costantemente le linee di base dello stato dell'arte, migliorando la robustezza contro corruzioni severe senza compromettere l'accuratezza sui dati puliti.

4. Risultati Sperimentali

Gli autori hanno valutato SW-DRSO su quattro diversi compiti downstream che coinvolgono diverse modalità di dati e pattern di corruzione:

• Compito I (Classifica di Insiemi Simili): Valutato su dataset di reti sociali (Friendster, LIVEJ) con insiemi di query rumorosi. SW-DRSO ha ottenuto il miglior Recall@k e NDCG@k complessivi, mostrando il divario di prestazioni più piccolo tra le divisioni su dati puliti e su corruzioni severe.
• Compito II (Classificazione di Nuvole di Punti): Valutato su ModelNet40. SW-DRSO ha raggiunto la massima accuratezza complessiva e ha mantenuto prestazioni superiori sotto corruzioni geometriche lievi e severe rispetto a linee di base come PSWE e FSW.
• Compito III (Espansione di Insiemi di Argomenti): Valutato su dataset LDA. Il metodo ha ottenuto i migliori punteggi AUC su tutti i dataset, mostrando una forte resilienza a parole chiave mancanti o rumorose.
• Compito IV (Riconoscimento Visivo di Insiemi di Patch): Valutato su NWPU-RESISC45. SW-DRSO ha uguagliato o superato le prestazioni delle linee di base sui dati puliti e ha superato significativamente i competitor sotto corruzioni severe a livello di patch (mascheramento e rumore).

Ablazione e Analisi:

• La rimozione del framework SW-DRSO o del codificatore basato su Wasserstein ha portato a cali significativi delle prestazioni, confermando la necessità sia dell'obiettivo robusto che della codifica consapevole della geometria.
• I confronti con altre varianti DRO (WDRO, KL-DRO, MMD-DRO) hanno mostrato che SW-DRSO offre un miglior compromesso tra accuratezza ed efficienza computazionale.
• L'avversario baricentrico si è dimostrato più efficace e veloce rispetto alla ricerca avversaria discreta o al campionamento combinatorio casuale.

5. Significato e Affermazioni

Il documento afferma di colmare un divario critico di affidabilità nell'Apprendimento di Rappresentazioni di Insiemi: la vulnerabilità dei modelli distribuiti a degradazioni sparse degli elementi al momento dell'inferenza, tipicamente assenti dai dati di addestramento.

• Robustezza senza Enumerazione: Rappresentando gli insiemi come misure empiriche e definendo le regioni di corruzione tramite la geometria Sliced-Wasserstein, il metodo raggiunge la robustezza senza la necessità di un'enumerazione discreta delle varianti di insiemi corrotti.
• Ottimizzazione Efficiente: L'introduzione dell'avversario baricentrico trasforma una difficile ricerca interna nel caso peggiore in un'ottimizzazione di parametrizzazione efficiente, rendendo fattibile l'apprendimento robusto distribuzionalmente per dati strutturati come insiemi.
• Impatto Operativo: Il metodo proposto mira a migliorare la robustezza operativa dei modelli basati su insiemi, riducendo i tassi di fallimento quando gli input sono incompleti, rumorosi o perturbati in modo avversario, mantenendo al contempo prestazioni competitive su input puliti.

Gli autori concludono che, sebbene SW-DRSO sia efficace per i compiti basati su insiemi attuali, una direzione futura promettente consiste nell'estendere tale ottimizzazione robusta degli insiemi a contesti basati su Modelli Linguistici di Grande Dimensione (LLM) e agenti, dove la robustezza è sempre più richiesta in presenza di cambiamenti distribuzionali.