Technische Samenvatting: Few-Shot Synthetische Data-Generatie met Diffusiemodellen voor Downstream Visuele Taken

Probleemstelling

Class imbalance blijft een kritieke barrière in computer vision, met name binnen safety-critical en industriële domeinen waar positieve voorbeelden van zeldzame gebeurtenissen (bijvoorbeeld medische pathologieën of productiefouten) schaars, duur om te verzamelen en inherent ondervertegenwoordigd zijn. Traditionele data-augmentatiestrategieën, beperkt tot geometrische en fotometrische transformaties, slagen er niet in de fundamentele visuele variaties in te brengen die nodig zijn om de modelrecall voor deze zeldzame klassen te verbeteren. Hoewel generatieve modellen zoals diffusiemodellen een weg bieden om realistische, diverse data te synthetiseren, is hun toepassing historisch beperkt door de behoefte aan grote datasets en aanzienlijke rekenkracht, waardoor ze onpraktisch zijn voor few-shot scenario's.

Methodologie

De auteurs stellen een lichtgewicht synthetische data-augmentatiepijplijn voor die is ontworpen om te opereren met slechts 20–50 echte afbeeldingen van een zeldzame klasse. De aanpak bestaat uit drie hoofdfasen:

1. LoRA Fine-Tuning: Een vooraf getraind text-to-image diffusiemodel (FLUX.2-dev) wordt aangepast met behulp van Low-Rank Adaptation (LoRA). De aanpassing richt zich op de DiT-transformatorruggengraat, terwijl de tekstencoders bevroren blijven. Het proces maakt gebruik van DreamBooth-stijl training met een vast bijschriftformaat ("a photo of ") op een kleine subset van echte positieve afbeeldingen (ongeveer 50). De training wordt uitgevoerd met rank $r=64$, $\alpha=8$ en 8-bit AdamW-optimalisatie, waarbij NF4-quantisatie wordt gebruikt om binnen een enkele A100 GPU te passen.
2. Synthetische Data-Generatie: De gefinetunte adapter genereert ongeveer 1.000 synthetische afbeeldingen van de doelzeldzame klasse met een resolutie van 512×512. Diversiteit wordt uitsluitend bereikt door stochastische sampling met variërende willekeurige zaden, zonder prompt-augmentatie of meerdere bijschriftsjablonen.
3. Downstream Evaluatie: Een ResNet-18-classificator, vooraf getraind op ImageNet en uitgerust met een binary head, wordt getraind op datasets die zijn verrijkt met variërende verhoudingen van synthetische tot echte data (0,5× tot 20×). Het gewicht van de positieve klasse wordt automatisch aangepast om rekening te houden met de imbalance. Cruciaal wordt alle evaluatie uitgevoerd op vastgehouden testsets die uitsluitend bestaan uit echte afbeeldingen, om ervoor te zorgen dat de metrieken echte generalisatie weerspiegelen.

Belangrijkste Bijdragen

Het artikel presenteert de volgende bijdragen:

• Lichtgewicht Pijplijn: Een synthetisch data-augmentatiekader gebaseerd op LoRA-aangepaste diffusiemodellen dat effectief functioneert met uiterst beperkte data (20–50 echte afbeeldingen).
• Systematische Schaalanalyse: Een uitgebreid onderzoek naar de impact van de grootte van de synthetische dataset door de verhouding synthetisch tot echt te variëren van 0,5× tot 20×.
• Cross-Domein Validatie: Demonstratie van consistente prestatieverbeteringen bij detectie van zeldzame klassen in twee structureel verschillende domeinen: classificatie van longpathologieën op medische thoraxröntgenfoto's (NIH ChestX-ray14) en detectie van oppervlaktekieren in de industrie (Magnetic Tile Defect dataset).
• Bewijs van Schaalbaarheid: Resultaten die aangeven dat synthetische augmentatie op basis van diffusie een schaalbare strategie vormt voor het leren van zeldzame gebeurtenissen in visuele domeinen met data-schaarste.

Experimentele Resultaten

De studie evalueert de aanpak op twee datasets met ernstige class imbalance:

• Magnetic Tile Defect Dataset: Het baseline-model, getraind op alleen echte data, behaalde een F1-score van 0,051. Synthetische augmentatie verbeterde de prestaties aanzienlijk, met een piek van 0,296 bij een synthetische verhouding van 4× (een bijna zesvoudige verbetering). De recall steeg aanzienlijk bij hogere verhoudingen, tot 0,658 bij 20×.
• NIH Chest X-ray Dataset: De alleen-echt baseline behaalde een F1-score van 0,193. Synthetische augmentatie verbeterde dit tot een piek van 0,686 bij een verhouding van 4×.

Belangrijkste Observaties:

• Afnemende Meerwaarde: De prestaties verbeteren met matige synthetische augmentatie, maar vertonen afnemende meerwaarde of lichte degradatie naarmate de synthetische verhouding toeneemt boven optimale punten (bijvoorbeeld 10× of 20×), wat suggereert dat excessieve synthetische data de trainingsverdeling kan verstoren.
• Augmentatie versus Vervanging: Training uitsluitend op synthetische data (synth-only) leverde lagere algehele prestaties op dan gemengde real+synth training, wat bevestigt dat synthetische data het meest effectief is als augmentatiemiddel en niet als volledige vervanging voor echte data.
• Diversiteitsanalyse: Analyse met behulp van LPIPS- en PSNR-verdelingen gaf aan dat de gegenereerde samples de laag-niveau structurele eigenschappen van echte data behouden (soortgelijke PSNR) terwijl ze semantische variatie introduceren (LPIPS-verschuiving), wat aantoont dat het model mode collapse vermijdt.

Betekenis en Claims

Het artikel beweert dat LoRA-aangepaste diffusiemodellen een eenvoudige, schaalbare mechanisme bieden voor het augmenteren van zeldzame klassen, waardoor effectief leren mogelijk wordt in scenario's met data-schaarste over heterogene visuele domeinen heen. De auteurs stellen dat deze aanpak de specifieke uitdaging van het verzamelen van positieve voorbeelden in safety-critical velden aanpakt door gebruik te maken van parameter-efficiënte tuning om bruikbare synthetische data te genereren uit uiterst kleine datasets. De resultaten suggereren dat deze methode een praktische oplossing biedt voor het verbeteren van de recall en F1-scores van zeldzame klassen, zonder dat grote gelabelde datasets of uitgebreide rekenkracht voor het trainen van generatieve modellen nodig zijn.