Technische Samenvatting: Geautomatiseerde Evolutie van Krachtige Taakspecifieke Augmentaties met Generatieve Modellen

Probleemstelling

Data-augmentatie is een fundamentele techniek voor het verminderen van overfitting in computer vision, die traditioneel steunt op geometrische transformaties (bijv. cropping, rotatie) of geleerde beleidsregels zoals AutoAugment. Hoewel recente generatieve modellen (diffusiemodellen, NeRFs) het potentieel bieden om zeer diverse en realistische data te synthetiseren, introduceren zij een significante "syn-to-real" kloof. Slecht afgestemde synthetische augmentaties kunnen de prestaties van een model verslechteren in plaats van verbeteren, met name in scenario's van fijnmazige classificatie en few-shot learning waar subtiele semantische onderscheidende kenmerken cruciaal zijn. Bovendien hebben bestaande methoden vaak moeite met het balanceren van datavariabiliteit met getrouwheid (fidelity), en is het evalueren van complexe generatieve augmentaties computationeel duur, wat gradiëntgebaseerde optimalisatie inefficiënt maakt.

Methodologie: EvoAug

De auteurs stellen EvoAug voor, een geautomatiseerde pipeline die evolutionaire algoritmen gebruikt om optimale, taakspecifieke augmentatiestrategieën te ontdekken door moderne generatieve operatoren te combineren met traditionele technieken.

1. Augmentatie-operatoren

De pipeline maakt gebruik van een hybride set van augmentatie-operatoren:

• Generatieve Operatoren:
  • ControlNet Diffusion: Vier operatoren (Canny, Segment, Depth, Color) die diffusiemodellen conditioneren op structurele of uiterlijk gebaseerde informatie geëxtraheerd uit de originele afbeelding (bijv. randkaarten, segmentatiemaskers, dieptekaarten, kleurenpaletten) in plaats van uitsluitend te vertrouwen op tekstprompts.
  • NeRF (Zero123): Een zero-shot NeRF-model dat wordt gebruikt om 3D-rotaties (±15 graden) uit te voeren op enkelvoudige afbeeldingen.
• Klassieke Operatoren: Een standaardset inclusief willekeurige cropping, translatie, schaling, rotatie, color jitter en flipping.
• NoOp: Een null-operator die de afbeelding dupliceert, waardoor het evolutionaire proces augmentatie kan uitsluiten indien nodig.

2. Evolutionaire Zoekstrategie

In plaats van gradiëntgebaseerde optimalisatie, wat moeilijk te benaderen is voor complexe generatieve modules, gebruikt EvoAug een evolutionaire strategie:

• Augmentatiebomen: Beleidsregels worden gerepresenteerd als binaire bomen waarbij knopen augmentatie-operatoren zijn en randen de overgangskansen vertegenwoordigen.
• Genetische Operaties: De populatie van bomen evolueert via mutatie (het wisselen van operatoren bij een knoop of het herverdelen van overgangskansen) en crossover (het samenvoegen van takken uit ouderbomen).
• Efficiëntie: Deze populatiegebaseerde aanpak is gekozen vanwege de monster-efficiëntie (sample efficiency), die aanzienlijk minder computationele inspanning vereist dan reinforcement learning (RL) terwijl het willekeurige generatieve modules kan afhandelen.

3. Fitnessfuncties voor Lage Data-scenario's

Een kernuitdaging die wordt aangepakt, is het evalueren van augmentatiebeleid wanneer gelabelde data schaars is. De paper stelt verschillende fitnessfuncties voor op basis van de beschikbaarheid van data:

• Low-Data (K-Fold): Gebruikt K-fold cross-validatie. Om de instabiliteit van accuratesse-metrieken in kleine sets te vermijden, wordt de fitnessfunctie gedefinieerd als de negatieve validatieverlies (negative validation loss).
• One-Shot (Clustering): Bij afwezigheid van een validatieset stelt de auteur een ongesuperviseerde clusteringmethode voor. Augmentaties worden geëvalueerd op hun vermogen om onderscheidende, cohesieve clusters te vormen die overeenkomen met de klassenlabels.
  • Metriek: Een gemodificeerde Silhouette-coëfficiënt wordt gebruikt, die een strafterm bevat op basis van de gemiddelde clusterstraal (average cluster radius). Dit voorkomt dat het algoritme triviale augmentaties bevoordeelt die minimale variatie produceren (hoge cohesie maar lage diversiteit).
  • Alternatieve Strategieën: De paper verkent ook "Double Augmentation" (het eerst toepassen van klassieke augmentaties om de one-shot set uit te breiden) en het gebruik van trainingsverlies als een proxy, hoewel clustering wordt benadrukt als de meest robuuste ongesuperviseerde strategie.

Belangrijkste Bijdragen

1. Hybride Geautomatiseerde Pipeline: De eerste geautomatiseerde augmentatiestrategie die gecontroleerde diffusie en NeRF-operatoren integreert met traditionele augmentatietechnieken binnen een verenigd evolutionair kader.
2. Succes in Fijnmazige Few-Shot Scenario's: Demonstreert sterke prestaties in fijnmazige few-shot learning, een domein waar voorgaand werk vaak faalt in het behouden van de noodzakelijke kleine semantische details om klassen te onderscheiden.
3. Ongesuperviseerde One-Shot Strategieën: Introduceert nieuwe ongesuperviseerde evaluatiemetrieken (specifiek de clusteringgebaseerde fitnessfunctie) die augmentatie-leren mogelijk maken in one-shot settings waar geen supervisie beschikbaar is voor evaluatie.
4. Zero-Shot Adaptatie: Bouwt de gehele pipeline met uitsluitend open-source, vooraf getrainde diffusiemodellen zonder dat domeinspecifieke fine-tuning vereist is.

Experimentele Resultaten

De methode werd geëvalueerd op zes datasets (Caltech256, Oxford IIIT-Pets, Oxford 102 Flowers, Stanford Cars, Stanford Dogs, Food101) over 5-way k-shot classificatietaken (k=1, 2, 5) met behulp van ResNet50, MobileNet en ViT-Small architecturen.

• Few-Shot Prestaties (2-shot en 5-shot): EvoAug presteerde consequent beter dan de Naive Baseline. Hoewel de resultaten gemengd waren ten opzichte van AutoAugment en RandAugment op sommige datasets (bijv. Flowers102), behaalde EvoAug aanzienlijke winst op fijnmazige datasets zoals Stanford Dogs en Oxford-IIIT Pets. Bijvoorbeeld, op Stanford Dogs (5-shot, ResNet50) behaalde EvoAug een accuratesse van 85,15% vergeleken met 82,23% voor AutoAugment.
• One-Shot Prestaties: In de extreme one-shot setting presteerde EvoAug (met de clustering fitnessfunctie) consequent beter dan de Naive Baseline en overtrof het vaak RandAugment en AutoAugment. Bijvoorbeeld, op Oxford-IIIT Pets (1-shot, ResNet50) bereikte EvoAug 86,16% accuratesse versus 82,71% voor AutoAugment.
• Ablatie-studies: Experimenten waarbij de zoekruimte werd beperkt tot alleen klassieke of NoOp operatoren resulteerden in lagere prestaties, wat bevestigt dat generatieve operatoren een kritieke component zijn van het succes van de pipeline.
• Volledige Dataset & Dense Predictie: Voorlopige experimenten op volledige datasets en objectdetectie (PASCAL VOC) suggereren dat geconditioneerde generatie ook deze taken ten goede komt, hoewel de primaire focus blijft liggen op few-shot scenario's.

Betekenis en Claims

De paper claimt dat EvoAug nieuwe mogelijkheden ontsluit voor robuuste modeltraining, met name in omgevingen met weinig data. Door generatieve modellen niet te gebruiken voor het creëren van data vanuit het niets, maar voor geconditioneerde augmentatie, behoudt de methode de semantische priors en de onderliggende structuur van de originele distributie terwijl er betekenisvolle variaties worden geïntroduceerd.

De auteurs benadrukken dat hun aanpak effectief de syn-to-real kloof overbrugt door synthetische data te beperken tot het lijken op echte data door middel van conditionering. De ontdekking van augmentatiebeleid dat aansluit bij domeinkennis (bijv. het behouden van kleur in bloemenclassificatie) zonder expliciete menselijke sturing, onderstreept het potentieel van geleerde generatieve augmentaties. Hoewel de computationele overhead van het evalueren van complexe generatieve modellen wordt erkend, stellen de auteurs dat de aanzienlijke winst in classificatie-accuratesse de aanpak valideert als een cruciale stap naar het verbeteren van de robuustheid van visiesystemen in scenario's met beperkte hoeveelheden data.