Technische Samenvatting: LiBaGS (Lightweight Boundary Gap Synthesis)

Probleemstelling

Synthetische data wordt vaak ingezet om schaarste, onevenwichtigheid, privacybeperkingen of lokale onvolledigheid in toezichtgeleerd leren aan te pakken. Een terugkerend probleem is echter dat niet alle synthetische samples nuttig zijn. Samples kunnen zeldzaam maar irrelevant zijn (ver van de beslissingsgrens), onzeker maar redundant (omringd door bestaande echte data), of grensachtig maar schadelijk (liggend buiten het manifold van de echte data).

Bestaande methoden, zoals klassieke oversampling (bijv. SMOTE, ADASYN) en moderne gerichte generatie (bijv. op onzekerheid of feedback gebaseerde synthese met diffusiemodellen), behandelen nuttigheid vaak als een lokale score, een generatieprompt of een curriculumsignaal. Zij missen vaak een expliciet mechanisme om te bepalen waar synthetische samples ten opzichte van de dekking van echte data geplaatst moeten worden en hoeveel er bewaard moeten worden om afnemende meeropbrengst te voorkomen.

Methodologie: LiBaGS

LiBaGS is een lichtgewicht, generator-onafhankelijk raamwerk voor gerichte selectie van synthetische trainingsdata. Het fungeert als een post-processing toewijzingsregel die een eindige pool van kandidaat-synthetische samples, voorgesteld door een willekeurige generator (bijv. interpolatoren, diffusiemodellen, simulatoren), scoort, filtert en diversifieert.

1. Scoren en Belang van de Grens-Gap

Voor elke kandidaat $z$ berekent LiBaGS een "belang van de grens-gap"-score $r(z)$ door vier factoren te combineren:

• Nabijheid van de Beslissingsgrens: Gemeten via een gladde weging $a_\tau(z)$ gebaseerd op de marge $\Delta(z)$ van de twee hoogste klassenprobabiliteiten. Kandidaten nabij de grens ontvangen hogere gewichten.
• Voorspellende Onzekerheid: Gemeten door de voorspellende entropie $u(z)$ van een scoremodel dat getraind is op echte data.
• Validiteit van Ondersteuning: Een score $b(z) \in [0, 1]$ die garandeert dat de kandidaat dicht bij het manifold van de echte data ligt, en onrealistische artefacten filtert.
• Dichtheid van Echte Data: Een schatting $\hat{p}(z)$ van de lokale dichtheid van echte trainingsamples.

De belangscore wordt gedefinieerd als:
$$r(z) = a_\tau(z) \cdot u(z) \cdot b(z)$$

2. Toewijzingsregel voor Grens-Gap

LiBaGS formuleert het selectieprobleem als het minimaliseren van een lokale risicodoelstelling $J_m(q)$, die de classificatiefout nabij de beslissingsgrens benadert. De doelstelling weegt het belang van een regio ($r(z)$) af tegen de totale beschikbare evidentie ($np(z) + mq(z)$).

Het minimaliseren van deze doelstelling levert een optimale toewijzingsdichtheid $q^*(z)$ op:
$$q^*(z) = \frac{1}{m} \left[ \sqrt{\frac{r(z)}{\lambda}} - np(z) \right]_+$$
waarbij $\lambda$ een normalisatieconstante is. Intuïtief wijst deze regel synthetische samples toe aan regio's die:

1. Belangrijk zijn voor de beslissingsgrens (hoge $r(z)$).
2. Slecht gedekt zijn door echte data (lage $np(z)$).
3. Geen synthetische massa toewijzen aan regio's die al goed gedekt zijn door echte data.

In de praktijk resulteert dit voor een eindige kandidatenpool in een selectiescore $G_j$ voor elke kandidaat $j$:
$$G_j = \left[ \sqrt{\frac{r(z_j)}{\lambda}} - n\hat{p}(z_j) \right]_+$$

3. Adaptieve Stopconditie en Diversiteit

• Adaptieve Stopconditie: In plaats van een vast synthetisch budget hanteert LiBaGS een stopregel op basis van marginale waarde. Het berekent de marginale winst $\Delta_j(t_j)$ van het toevoegen van een sample aan een regio met bestaande dekking. De selectie gaat gretig door totdat de beste resterende marginale winst onder een drempel $\eta$ zakt, bepaald door het afvlakkingpunt van de curve van de marginale winst. Dit leert het optimale aantal synthetische samples $b_m$ uit de data.
• Zachte Labels: Nabij ambiguïe grenzen kunnen harde labels van generators oververzekerd zijn. LiBaGS gebruikt een zacht label $\tilde{y}(z)$ dat het one-hot label van de generator combineert met de probabiliteitsvector van het scoremodel, gewogen naar de nabijheid van de grens $a_\tau(z)$.
• Diversiteitsdoelstelling: Om het selecteren van bijna-duplicates te voorkomen, maximaliseert LiBaGS een submodulaire doelstelling $F(S)$ die dekking van waardevolle kandidaten belooft, maar redundantie op basis van gelijkenis in de kenmerkruimte bestraft.

Belangrijkste Bijdragen

1. Formulering: De auteurs positioneren gerichte selectie van synthetische data als een toewijzingsprobleem voor grens-gaps, waarbij expliciet het trade-off tussen grensbelang en dekking door echte data wordt gemodelleerd.
2. Afleiding: Zij leiden een toewijzingsregel voor grens-gaps af die nabijheid van de grens, onzekerheid, validiteit van ondersteuning en dichtheid van echte data integreert.
3. Algoritme: Zij bieden een praktisch algoritme met adaptieve stopconditie (leren van het synthetische aantal) en diversiteitsbewuste selectie.
4. Empirische Validatie: Zij tonen aan dat LiBaGS beter presteert dan klassieke oversampling, harde augmentatie, selectie op basis van onzekerheid en criteria voor gerichte generatie over meerdere datasets.

Experimentele Resultaten

De auteurs evalueerden LiBaGS op drie taken:

1. Two Moons: Een niet-lineaire classificatietak met een expliciete gap in de beslissingsgrens.
2. 8x8 Digits (3 vs. 8): Een binaire classificatietak met handgeschreven cijfers en moeilijke grenzen.
3. CIFAR-10 (Kat vs. Hond): Een beeldclassificatietak met een bevroren ResNet-50 en een pool van kandidaten van Stable Diffusion.

Prestaties:

• Two Moons: LiBaGS behaalde 0,9454 nauwkeurigheid, een verbetering ten opzichte van Empirical Risk Minimization (ERM) bij 0,8859 en beter dan alle baselines (bijv. Deliberate Practice bij 0,9437, alleen Onzekerheid bij 0,9431).
• 8x8 Digits: LiBaGS behaalde 0,9540 nauwkeurigheid, beter dan ERM (0,9391) en andere baselines zoals Feedback-geleid (0,9516).
• CIFAR-10: LiBaGS behaalde 0,8159 nauwkeurigheid, vergeleken met 0,8040 voor ERM. Hoewel de winsten bescheiden zijn, zijn ze consistent over verschillende zaden.

De resultaten geven aan dat LiBaGS het meest effectief is wanneer de kandidatenpool informatieve, op-ondersteuning liggende samples bevat die zich bevinden in schaarse grensregio's.

Betekenis en Claims

Het artikel claimt dat synthetische data het meest nuttig is wanneer het schaarse, op-ondersteuning liggende grensgaps opvult, in plaats van alleen de datasetgrootte te vergroten. LiBaGS adresseert het probleem van "nuttigheid" door:

• Targeting: Het expliciet selecteren van samples die nabij de beslissingsgrens liggen, onzeker zijn en ondervertegenwoordigd zijn in echte data.
• Filtering: Het afwijzen van kandidaten die buiten ondersteuning liggen of redundant zijn.
• Adaptiviteit: Het leren van het juiste aantal toe te voegen synthetische data, waardoor de broosheid van vaste budgetten wordt vermeden.

De auteurs positioneren LiBaGS als een lichtgewicht toewijzingsregel die kan worden geïntegreerd in bestaande pijplijnen voor synthetische data zonder generators opnieuw te trainen. Zij erkennen beperkingen, waarbij zij noteren dat de methode afhankelijk is van de kwaliteit van de kandidatenpool en de nauwkeurigheid van de schatting van ondersteuning, en dat het geen garantie biedt voor datakwaliteit als de onderliggende generator bevooroordeeld is. De methode wordt gepresenteerd als een selectiestrategie om trainingsignalen in schaarse regio's te verbeteren, in plaats van een op zichzelf staande oplossing voor alle problemen van dataschaarste.