Learning from Synthetic Data via Provenance-Based Input Gradient Guidance

Probleemstelling

Het gebruik van synthetische data (gegenereerd via data-augmentatie, mix-methoden zoals CutMix, of generatieve modellen) is een populaire strategie om de diversiteit van trainingsdata te vergroten en de kosten van datacollectie te verlagen. Dit zou de robuustheid van diepe neurale netwerken (DNN's) moeten verbeteren.

Echter, de bestaande methoden hebben een fundamenteel tekort:

1. Indirecte verbetering: Ze verbeteren de robuustheid alleen indirect door de verdeling van trainingsvoorbeelden te diversifiëren.
2. Spurious Correlaties: Het model leert niet expliciet welke regio's in de input (bijv. pixels) daadwerkelijk bijdragen aan de classificatie van het doelobject. Hierdoor neigt het model om "spurious correlations" (schijnbare correlaties) te leren, zoals achtergronden, objectco-occurrences, of artefacten die door de synthese zijn geïntroduceerd.
3. Gebrek aan expliciete supervisie: Hoewel het synthetisatieproces in principe weet welke pixels van welk object komen (provenance), wordt deze informatie niet gebruikt als supervisie. Het model moet dit zelf afleiden, wat vaak leidt tot het leren van synthetische bias in plaats van echte kenmerken van het doelobject.

Methodologie

Het paper stelt een nieuw leerframework voor dat provenance-informatie (herkomstinformatie) verkregen tijdens het synthetisatieproces gebruikt als een aanvullend supervisiessignaal. Het doel is om het model te dwingen zich te focussen op de doelregio's en gradients over niet-doelregio's te onderdrukken.

Het framework bestaat uit drie hoofdbestanden:

1. Synthese en Provenance Extractie:

   • Een synthese-functie $S(\cdot)$ creëert synthetische data $\tilde{x}$ en labels $\tilde{y}$.
   • Tegelijkertijd wordt een provenance-masker $I$ gegenereerd. Dit masker geeft voor elke pixel (of skelet-punt) aan of deze afkomstig is van het doelobject (doelregio) of van een andere bron (niet-doelregio/achtergrond).
   • Dit wordt toegepast op drie scenario's:
     • Image Mixing (bijv. CutMix): Het masker $M$ definieert direct welke pixels van beeld A of B komen.
     • Skeleton Sequence Mixing: Een spatiotemporale masker definieert welke skelet-punten van welke persoon komen.
     • Image Editing (Generatieve Modellen): Een verschilbeeld tussen het originele en het bewerkte beeld wordt gebruikt om een masker te genereren dat aangeeft welke regio's zijn bewerkt (niet-doel) en welke behouden zijn (doel).

2. Input Gradient Guidance (De Kern):

   • In plaats van alleen de output te optimaliseren, regulariseert de methode de input gradients ($\nabla_{\tilde{x}} f_y(\tilde{x})$).
   • De methode forceert dat de gradienten voor een bepaalde klasse alleen significant zijn in de regio's waar het object vandaan komt (volgens het masker $I$).
   • Er wordt een Provenance Loss ($L_{PG}$) gedefinieerd die de gradients in niet-doelregio's onderdrukt.
     • Voor soft labels (mixing): De loss straft gradients af in regio's die niet bijdragen aan de specifieke klasse.
     • Voor hard labels (editing): De loss straft gradients af in de bewerkte (niet-doel) regio's.

3. Totale Loss Functie:
   De totale loss tijdens training is een combinatie van de standaard classificatie loss en de provenance loss:
   $$L_{total} = L_{cls} + \alpha L_{PG}$$
   Waarbij $\alpha$ de sterkte van de regularisatie bepaalt.

Belangrijkste Bijdragen

1. Provenance-Guided Learning: Het introduceren van een framework dat synthetische herkomstinformatie gebruikt als een expliciet supervisiessignaal om het model te sturen naar doelgerichte representaties, in plaats van te vertrouwen op indirecte regularisatie.
2. Input Gradient Guidance: Een nieuwe techniek die input-gradients decomposeert op basis van doel- en niet-doelregio's om spurious correlations direct te onderdrukken.
3. Generaliteit: De methode is modality-agnostisch en onafhankelijk van de specifieke synthese-methode. Het werkt voor beeldmixing, skeletmixing en generatieve beeldbewerking zonder extra annotatiekosten.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat de methode werkt over meerdere taken en modaliteiten.

Resultaten

De methode is getest op drie verschillende taken en datasets:

1. Weakly Supervised Object Localization (CUB-dataset):

   • De methode werd geïntegreerd met CutMix, ResizeMix en PuzzleMix.
   • Resultaat: Een significante verbetering in localisatie-accuraatheid (bijv. van 62.3% naar 65.1% met VGG16/CutMix).
   • Visualisatie: Grad-CAM visualisaties tonen aan dat het model zonder de methode vaak focust op de achtergrond of synthetische artefacten, terwijl de voorgestelde methode de focus correct richt op het vogelobject.

2. Weakly Supervised Spatio-Temporal Action Localization (UCF101-24):

   • Toegepast op skelet-sequentie mixing (BatchMix).
   • Resultaat: De Average Precision (AP) steeg van 38.0% (alleen BatchMix) naar 39.7% met de toegevoegde provenance loss. Dit toont aan dat het model beter leert focussen op de relevante actie-regio's in de tijd-ruimte.

3. Image Classification (CUB, iWildCam, Waterbirds):

   • Geïntegreerd met een generatief model (ALIA) dat achtergronden bewerkte.
   • Resultaat: Op de Waterbirds-dataset (bekend om sterke achtergrond-correlaties) was de verbetering dramatisch: een stijging van 71.4% (ALIA alleen) naar 82.3% (met de voorgestelde methode). Dit bewijst de effectiviteit bij het onderdrukken van achtergrond-bias.

Efficiëntie:

• De methode vereist wel meer geheugen en rekentijd per epoch door de tweede-orde differentiatie (voor gradients), maar dit kan worden opgevangen door de batch-size te verlagen zonder verlies aan nauwkeurigheid.
• De hyperparameter-tuning-efficiëntie blijft vergelijkbaar met baselines.

Betekenis en Conclusie

Deze paper biedt een fundamentele oplossing voor een van de grootste valkuilen bij het gebruik van synthetische data: het risico dat modellen leren op artefacten en achtergronden in plaats van op de objecten zelf.

Door provenance-informatie (die inherent aanwezig is in synthetische data) te gebruiken om input gradients te sturen, dwingt de methode het model om causale relaties te leren tussen het doelobject en de output. Dit resulteert in modellen die robuuster zijn tegen domeinverschuivingen en spurious correlations, en die directer leren welke visuele kenmerken relevant zijn voor discriminatie. De methode is breed toepasbaar en vereist geen extra menselijke annotatie, wat het een krachtige tool maakt voor toekomstige ontwikkelingen in robuust deep learning.