1S-DAug: One-Shot Data Augmentation for Robust Few-Shot Generalization

Probleemstelling

Few-shot learning (FSL) is een cruciale uitdaging voor herkenningsystemen die in de echte wereld worden ingezet, zoals in de medische beeldvorming voor zeldzame ziekten of bij autonoom rijden. Het doel is om modellen te trainen die kunnen generaliseren naar nieuwe klassen met slechts een paar gelabelde voorbeelden (shots).

De kernproblemen zijn:

1. Data-schaarste: Bestaande deep learning-modellen presteren goed bij overvloedige supervisie, maar hun prestaties dalen drastisch bij zeldzame klassen (long-tail probleem).
2. Onvoldoende testtijd-augmentatie: Traditionele testtijd-augmentaties (zoals geometrische transformaties: draaien, schalen, croppen) voegen vaak weinig nieuwe informatie toe en kunnen de beeldkwaliteit verstoren. In FSL, waar elk voorbeeld een grote invloed heeft, zijn dergelijke degradaties schadelijk.
3. Beperkingen van generatieve methoden: Bestaande generatieve augmentatiemethoden (zoals GANs) vereisen vaak training op de basisclasses of zijn instabiel. Methoden die diffusion-modellen gebruiken, vereisen vaak fine-tuning met tekstprompts of extra voorbeelden van de doelklasse, wat niet haalbaar is in de strikte FSL-testtijd-scenario's (waarbij er geen labels of extra data beschikbaar zijn voor de nieuwe klassen).

Methodologie: 1S-DAug

De auteurs introduceren 1S-DAug (One-Shot Data Augmentation), een trainingsvrije, model-onafhankelijke plugin die testtijd-augmentatie uitvoert op basis van één enkel voorbeeldbeeld. Het doel is om diverse, maar trouwe (faithful) varianten van een beeld te synthetiseren om de generalisatie te verbeteren.

Het proces bestaat uit drie fasen:

1. Shape Tweak (Geometrische aanpassing):

   • Er worden traditionele geometrische transformaties toegepast (rotatie, anisotrope rek, translatie, perspectief-jitter, horizontale spiegeling).
   • Dit vergroot de dekking van mogelijke houdingen en lay-outs zonder de klassidentiteit te veranderen.

2. Gecontroleerde Ruisinjectie:

   • Een gecontroleerde hoeveelheid ruis wordt toegevoegd aan het geometrisch aangepaste beeld.
   • De ruisniveau ($\eta$) bepaalt de omvang van de wijziging tijdens het diffusion-proces. Een hoger niveau verbergt geometrische vervormingen beter en zorgt voor meer diversiteit, maar moet zorgvuldig worden afgesteld om de trouw aan de oorspronkelijke klasse te behouden.

3. Afbeelding-geconditioneerde Diffusion Denoising:

   • Het paper maakt gebruik van een pre-getraind diffusion-model (Stable Diffusion v1.5).
   • In plaats van het model te fine-tunen, wordt een attention-based conditioning mechanisme gebruikt. De originele afbeelding fungeert als "conditioning signal" ($c_t$) die via cross-attention in het U-Net wordt geïnjecteerd.
   • Dit zorgt ervoor dat het denoising-proces de inhoudsdefinierende kenmerken (de klasse) behoudt, terwijl de uiterlijke kenmerken en houding gevarieerd worden.
   • Het resultaat is een set van synthetische varianten die zowel divers als semantisch trouw zijn.

Feature Aggregatie:
De gegenereerde varianten worden gecodeerd door de FSL-encoder. De features van de originele afbeelding en de gegenereerde varianten worden vervolgens geaggregeerd (gewogen gemiddelde) om een robuustere representatie te vormen voor de classificatie. Dit gebeurt zowel voor de support-set (de voorbeelden) als de query-set (de te classificeren afbeeldingen).

Kernbijdragen

1. 1S-DAug Operator: Een nieuwe methode die vanuit één enkel ongelabeld beeld diverse, maar trouwe varianten genereert voor inferentie op onbekende klassen. Dit vult een gat in de literatuur, aangezien augmentatie op basis van één enkel beeld eerder onderbelicht was.
2. Trainingsvrije Plugin: De methode vereist geen aanpassing van de modelparameters van de bestaande FSL-modellen. Het werkt als een plug-in voor "off-the-shelf" modellen, wat het zeer schaalbaar maakt voor grote, gefixeerde modellen.
3. Theoretische Analyse: De auteurs bieden een theoretisch kader dat laat zien dat 1S-DAug de generalisatiegrens verbetert door:
   • De empirische risico's te verlagen via ensemble-effecten (diversiteit).
   • De Rademacher-complexiteit te verlagen door de effectieve "data radius" te verkleinen (door het middelen van features).
4. Uitgebreide Evaluatie: De methode is getest op vier verschillende datasets (miniImageNet, tieredImageNet, CUB, Animals) met diverse backbones (ConvNet, Res12, ViT, Swin).

Resultaten

De experimenten tonen consistente en significante verbeteringen aan:

• Prestaties: 1S-DAug verbetert de nauwkeurigheid op alle geteste benchmarks zonder de onderliggende modellen te herscholen.
  • Op de miniImageNet 5-way-1-shot benchmark wordt een verbetering van tot 20% (proportioneel) bereikt ten opzichte van de baselines.
  • Specifiek voor het FEAT-model op Res12: een stijging van 63,31% naar 69,25% (+5,94 procentpunten).
  • Op de CUB-dataset (fine-grained birds) wordt een verbetering van +10,45% behaald voor het FEAT-model.
• Vergelijking met SOTA: De methode presteert beter dan bestaande sterke baselines (zoals DeepEMD, Meta-Baseline) en overtreft eerdere testtijd-augmentatiemethoden die op GANs gebaseerd zijn (die vaak faalden bij complexe objecten).
• Ablatie Studies:
  • Het verwijderen van de afbeelding-conditioning leidt tot een sterke daling in prestaties (van ~67% naar ~54%), wat aantoont dat het behoud van de klassidentiteit cruciaal is.
  • Een te lage ruis levert weinig diversiteit op; een te hoge ruis zonder conditionering verstoort de inhoud. De optimale balans (ruisniveau 0,70) levert de beste resultaten.
  • Het combineren van augmentatie op zowel de support-set als de query-set levert de grootste winst op.

Betekenis en Impact

1S-DAug biedt een praktische oplossing voor het probleem van data-schaarste in real-world scenario's.

• Toepasbaarheid: Omdat het geen fine-tuning vereist en model-onafhankelijk is, is het ideaal voor omgevingen waar grote modellen vaststaan (bijv. via API's) of waar rekenkracht beperkt is voor training.
• Robuustheid: Het verbetert de betrouwbaarheid van AI-systemen in kritieke domeinen (zoals medische diagnostiek en autonoom rijden) waar generalisatie naar zeldzame gevallen essentieel is.
• Efficiëntie: Hoewel generatie tijd kost (ongeveer 0,4 - 1,4 seconden per afbeelding afhankelijk van de ruis), is dit acceptabel voor inferentie en vermijdt het de kosten van het verzamelen van extra data of het opnieuw trainen van modellen.

Kortom, 1S-DAug demonstreert dat het slim combineren van geometrische variatie, gecontroleerde ruis en geconditioneerde diffusion-modellen een krachtige manier is om few-shot generalisatie te verbeteren zonder de complexiteit van modeltraining te vergroten.