Riepilogo Tecnico: LiBaGS (Sintesi del Gap di Confine Leggero)

Enunciato del Problema

I dati sintetici sono frequentemente impiegati per affrontare la scarsità, lo squilibrio, i vincoli di privacy o l'incompletezza locale nell'apprendimento supervisionato. Tuttavia, un problema ricorrente è che non tutti i campioni sintetici sono utili. I campioni possono essere rari ma irrilevanti (lontani dal confine decisionale), incerti ma ridondanti (circondati da dati reali esistenti) o simili al confine ma dannosi (situati fuori dalla varietà dei dati reali).

I metodi esistenti, come il sovracampionamento classico (ad es. SMOTE, ADASYN) e la generazione mirata moderna (ad es. sintesi basata su diffusione guidata dall'incertezza o dal feedback), spesso trattano l'utilità come un punteggio locale, un prompt di generazione o un segnale curricolare. Spesso mancano di un meccanismo esplicito per determinare dove i campioni sintetici dovrebbero essere posizionati rispetto alla copertura dei dati reali e quanti dovrebbero essere mantenuti per evitare rendimenti decrescenti.

Metodologia: LiBaGS

LiBaGS è un framework leggero e indipendente dal generatore per la selezione mirata di dati di addestramento sintetici. Funziona come una regola di allocazione di post-elaborazione che assegna un punteggio, filtra e diversifica un pool finito di campioni sintetici candidati proposti da qualsiasi generatore (ad es. interpolatori, modelli di diffusione, simulatori).

1. Punteggio e Importanza del Gap di Confine

Per ogni candidato $z$, LiBaGS calcola un punteggio di "importanza del gap di confine" $r(z)$ combinando quattro fattori:

• Prossimità al Confine Decisionale: Misurata tramite un peso liscio $a_\tau(z)$ basato sul margine di probabilità delle due classi superiori $\Delta(z)$. I candidati vicini al confine ricevono pesi più elevati.
• Incertezza Predittiva: Misurata dall'entropia predittiva $u(z)$ di un modello di punteggio addestrato su dati reali.
• Validità del Supporto: Un punteggio $b(z) \in [0, 1]$ che garantisce che il candidato si trovi vicino alla varietà dei dati reali, filtrando artefatti irrealistici.
• Densità dei Dati Reali: Una stima $\hat{p}(z)$ della densità locale dei campioni di addestramento reali.

Il punteggio di importanza è definito come:
$$r(z) = a_\tau(z) \cdot u(z) \cdot b(z)$$

2. Regola di Allocazione del Gap di Confine

LiBaGS formula il problema di selezione come la minimizzazione di un obiettivo di rischio locale $J_m(q)$, che approssima l'errore di classificazione vicino al confine decisionale. L'obiettivo bilancia l'importanza di una regione ($r(z)$) contro l'evidenza totale disponibile ($np(z) + mq(z)$).

La minimizzazione di questo obiettivo produce una densità di allocazione ottimale $q^*(z)$:
$$q^*(z) = \frac{1}{m} \left[ \sqrt{\frac{r(z)}{\lambda}} - np(z) \right]_+$$
dove $\lambda$ è una costante di normalizzazione. Intuitivamente, questa regola assegna campioni sintetici a regioni che sono:

1. Importanti per il confine decisionale (alto $r(z)$).
2. Scarsamente coperte dai dati reali (basso $np(z)$).
3. Assegna massa sintetica zero alle regioni già ben coperte dai dati reali.

In pratica, per un pool finito di candidati, questo si traduce in un punteggio di selezione $G_j$ per ogni candidato $j$:
$$G_j = \left[ \sqrt{\frac{r(z_j)}{\lambda}} - n\hat{p}(z_j) \right]_+$$

3. Arresto Adattivo e Diversità

• Arresto Adattivo: Invece di un budget sintetico fisso, LiBaGS impiega una regola di arresto basata sul valore marginale. Calcola il guadagno marginale $\Delta_j(t_j)$ di aggiungere un campione a una regione con copertura esistente. La selezione procede in modo greedy finché il miglior guadagno marginale rimanente non scende sotto una soglia $\eta$, determinata dal punto di appiattimento della curva del guadagno marginale. Questo impara il numero ottimale di campioni sintetici $b_m$ dai dati.
• Etichette Morbide: Vicino a confini ambigui, le etichette rigide provenienti dai generatori possono essere eccessivamente sicure. LiBaGS utilizza un'etichetta morbida $\tilde{y}(z)$ che fonde l'etichetta one-hot del generatore con il vettore di probabilità del modello di punteggio, pesato dalla prossimità al confine $a_\tau(z)$.
• Obiettivo di Diversità: Per evitare la selezione di quasi-duplicati, LiBaGS massimizza un obiettivo submodulare $F(S)$ che premia la copertura di candidati ad alto valore mentre penalizza la ridondanza basata sulla similarità nello spazio delle caratteristiche.

Contributi Chiave

1. Formulazione: Gli autori inquadrano la selezione mirata di dati sintetici come un problema di allocazione del gap di confine, modellando esplicitamente il compromesso tra l'importanza del confine e la copertura dei dati reali.
2. Derivazione: Derivano una regola di allocazione del gap di confine che integra prossimità al confine, incertezza, validità del supporto e densità dei dati reali.
3. Algoritmo: Forniscono un algoritmo pratico caratterizzato da arresto adattivo (apprendimento del conteggio sintetico) e selezione consapevole della diversità.
4. Validazione Empirica: Dimostrano che LiBaGS supera il sovracampionamento classico, l'aumento rigido, la selezione basata sull'incertezza e i criteri di generazione mirata su più dataset.

Risultati Sperimentali

Gli autori hanno valutato LiBaGS su tre attività:

1. Due Lune: Un compito di classificazione non lineare con un gap esplicito nel confine decisionale.
2. Cifre 8x8 (3 vs. 8): Un compito di classificazione binaria che utilizza cifre scritte a mano con confini difficili.
3. CIFAR-10 (Gatto vs. Cane): Un compito di classificazione di immagini che utilizza un ResNet-50 congelato e un pool di candidati Stable Diffusion.

Prestazioni:

• Due Lune: LiBaGS ha raggiunto un'accuratezza di 0.9454, migliorando rispetto alla Minimizzazione del Rischio Empirico (ERM) a 0.8859 e superando tutti i baseline (ad es. Pratica Deliberata a 0.9437, Solo Incertezza a 0.9431).
• Cifre 8x8: LiBaGS ha raggiunto un'accuratezza di 0.9540, superando l'ERM (0.9391) e altri baseline come quello guidato dal feedback (0.9516).
• CIFAR-10: LiBaGS ha raggiunto un'accuratezza di 0.8159, rispetto allo 0.8040 dell'ERM. Sebbene i guadagni siano modesti, sono coerenti tra i diversi semi.

I risultati indicano che LiBaGS è più efficace quando il pool di candidati contiene campioni informativi, sul supporto, situati in regioni di confine sparse.

Significato e Affermazioni

Il paper afferma che i dati sintetici sono più utili quando colmano gap di confine sparsi e sul supporto piuttosto che semplicemente aumentando la dimensione del dataset. LiBaGS affronta il problema dell'"utilità" tramite:

• Targeting: Selezione esplicita di campioni vicini al confine decisionale, incerti e sottorappresentati nei dati reali.
• Filtraggio: Rifiuto di candidati che sono fuori supporto o ridondanti.
• Adattività: Apprendimento della quantità appropriata di dati sintetici da aggiungere, evitando la fragilità dei budget fissi.

Gli autori posizionano LiBaGS come una regola di allocazione leggera che può essere integrata nelle pipeline esistenti di dati sintetici senza riaddestrare i generatori. Riconoscono le limitazioni, notando che il metodo dipende dalla qualità del pool di candidati e dall'accuratezza della stima del supporto, e che non garantisce la qualità dei dati se il generatore sottostante è distorto. Il metodo è presentato come una strategia di selezione per migliorare i segnali di addestramento in regioni sparse, piuttosto che una soluzione autonoma per tutti i problemi di scarsità di dati.