A Survey on Generative Modeling with Limited Data, Few Shots, and Zero Shot

Deze survey biedt een uitgebreid overzicht en een gestructureerde taxonomie van generatieve modellering onder data-beperkingen, waarbij meer dan 230 artikelen worden geanalyseerd om uitdagingen te identificeren en toekomstige richtingen voor onderzoek en praktijk te schetsen.

De kern

De Kunst van het Koken met een lege Koelkast: Een Simpele Uitleg van het Onderzoek

Stel je voor dat je een meesterchef bent. Normaal gesproken heb je een enorme voorraadkast vol met duizenden ingrediënten (data) om een perfecte maaltijd (een nieuw plaatje) te koken. Maar wat als je in een situatie zit waar je niet die enorme voorraadkast hebt? Wat als je maar één ei, een snufje zout en een halve tomaat hebt? Of misschien zelfs helemaal niets, en je moet alleen maar op basis van een beschrijving koken?

Dit is precies het probleem waar dit wetenschappelijke artikel over gaat. Het heet "Generatieve Modellering met Beperkte Data". In het kort: hoe leer je een computer om prachtige nieuwe plaatjes te maken, als je hem maar heel weinig voorbeelden kunt laten zien?

Hier is hoe de auteurs dit probleem oplossen, vertaald naar alledaagse taal:

1. Het Probleem: De "Lege Koelkast"

Normaal gesproken leren computers (zoals die die Midjourney of DALL-E maken) door miljoenen plaatjes te bekijken. Ze eten als een zwijn om de smaak van de wereld te leren. Maar in de echte wereld is dat niet altijd mogelijk.

• Medici hebben misschien maar een paar foto's van een zeldzame ziekte.
• Ruimtevaart heeft misschien maar een handvol foto's van een nieuwe planeet.
• Kunstenaars willen misschien een nieuwe stijl creëren met slechts één inspiratieplaatje.

Als je een computer probeert te leren met zo'n kleine voorraad, gaat hij vaak in de war. Hij gaat de paar plaatjes die hij heeft uit zijn hoofd leren (overfitting) in plaats van de smaak te begrijpen. Het resultaat? Hij maakt alleen maar kopieën van die ene foto, of hij maakt wazige, rare dingen.

2. De Oplossing: De "Culinaire Meester" (Transfer Learning)

De slimste manier om dit op te lossen, is niet om te beginnen met een lege hersenpan, maar om een bestaande meesterchef te gebruiken die al duizenden gerechten kan koken.

Stel je voor dat je een chef hebt die perfect kan koken met hond (een pre-getraind model). Je wilt nu dat hij katten leert koken, maar je hebt maar 5 foto's van katten.

• De oude manier: De chef gooit zijn kennis van honden weg en probeert alles opnieuw te leren met die 5 foto's. Dat gaat mis.
• De nieuwe manier (Transfer Learning): De chef gebruikt zijn kennis van honden als basis. Hij weet al hoe een poot eruitziet, hoe vacht eruitziet, hoe een oog eruitziet. Hij past die kennis alleen een beetje aan voor de katten. Hij "fine-tunes" zijn vaardigheden.

Het artikel maakt een enorme lijst van manieren om deze aanpassing slim te doen:

• De "Vaste Hand" (Regularization): Je houdt de chef vast aan zijn oude kennis, zodat hij niet vergeet hoe hij een poot tekent, terwijl hij leert dat kattenstaarten anders zijn.
• De "Taalgeleerde" (Natural Language): Je geeft de chef geen foto's, maar een tekst: "Maak een kat die eruitziet als een schilderij van Van Gogh." De computer gebruikt dan zijn kennis van taal en beelden om de opdracht te begrijpen zonder extra foto's.
• De "Augmentatie" (Data Augmentation): Je neemt die ene foto van de kat, draait hem, spiegelt hem, en maakt er 100 variaties van. Het is alsof je één ei gebruikt om een hele omelet te maken door het te draaien en te keren.

3. De Uitdagingen: Waarom is dit zo moeilijk?

De auteurs wijzen op drie grote struikelblokken, die ze met leuke metaforen uitleggen:

• De "Verre Verwanten" (Distant Domains): Als je een chef vraagt om van honden (gezicht) naar bloemen te gaan, is dat heel lastig. Een hond heeft een neus, een bloem niet. Als de computer probeert de kennis van de hond over te brengen, kan hij per ongeluk een bloem met een neus maken. Dat ziet er raar uit! Dit noemen ze "incompatible knowledge transfer" (onverenigbare kennisoverdracht).
• De "Kwaliteit van de Ingrediënten" (Sample Selection): Als je 10 foto's van katten kiest om te leren, maakt het uit welke 10 je kiest. Kies je alleen zwarte katten? Dan leert de computer dat alle katten zwart zijn. De keuze van de foto's is cruciaal.
• De "Smaaktest" (Evaluation): Hoe weet je of de computer het goed doet als je maar één echte foto hebt om mee te vergelijken? De normale meetlatjes (zoals FID-score) werken niet goed als je zo weinig data hebt. Het is alsof je een kok wilt beoordelen op basis van één hapje.

4. De Toekomst: Waar gaan we heen?

Het artikel concludeert met een aantal spannende richtingen voor de toekomst:

• Gebruik de "Super-Chefs": In plaats van kleine modellen, gebruiken we de gigantische modellen van vandaag (zoals Stable Diffusion) als basis. Die hebben al alles gezien.
• Nieuwe Smaakcombinaties: Kunnen we een computer leren om dingen te maken die nog nooit bestaan hebben, zoals "een robot die in de ruimte zit te surfen", zonder dat we daar foto's van hebben?
• Slimmer Kiezen: In plaats van meer data te verzamelen, moeten we beter kijken welke data we al hebben.

Samenvatting

Dit artikel is als een kookboek voor de toekomst. Het vertelt ons hoe we een kunstenaar (de AI) kunnen trainen om meesterwerken te maken, zelfs als we hem maar een paar potloden en één vel papier geven. Het is een gids voor hoe we de "kool" (de beperkte data) kunnen laten "groeien" tot een hele tuin, door slimme trucs te gebruiken in plaats van brute kracht.

Het is een belofte dat we in de toekomst, zelfs in gebieden waar data schaars is (zoals de geneeskunde of de ruimtevaart), toch prachtige en nuttige nieuwe beelden kunnen creëren.

Technische samenvatting

Titel: A Survey on Generative Modeling with Limited Data, Few Shots, and Zero Shot

Publicatie: Transactions on Machine Learning Research (12/2025)
Auteurs: Milad Abdollahzadeh et al. (SUTD, Betterdata AI, SAP, Stanford)

---

1. Probleemstelling

Generatieve modellering (zoals GANs, VAEs en Diffusiemodellen) heeft de afgelopen jaren enorme vooruitgang geboekt, maar deze modellen zijn doorgaans afhankelijk van enorme, diverse datasets (bijv. miljoenen afbeeldingen). In veel real-world toepassingen, zoals medische beeldvorming, satellietbeelden en artistieke domeinen, is het verzamelen van grote datasets echter duur, moeilijk of onmogelijk vanwege privacy- of schaarsheidsproblemen.

Het artikel richt zich op Generative Modeling under Data Constraint (GM-DC). Dit omvat drie specifieke scenario's:

• Limited Data (LD): 50 tot 5.000 trainingsvoorbeelden.
• Few-Shot (FS): 1 tot 50 trainingsvoorbeelden.
• Zero-Shot (ZS): Geen enkele trainingsvoorbeelden uit het doeldomein; het model moet genereren op basis van externe kennis (bijv. tekstprompts).

De kernuitdagingen bij GM-DC zijn:

• Overfitting: Modellen onthouden de trainingsdata in plaats van de onderliggende verdeling te leren.
• Mode Collapse: De generator produceert slechts een beperkt aantal variaties.
• Frequentie-bias: Modellen neigen naar het genereren van lage frequenties (gladde beelden) en missen hoge frequenties (details zoals textuur en randen).
• Incompatibele kennisoverdracht: Bij het aanpassen van een model van een bron-domein naar een ver verwijderd doeldomein (bijv. gezichten naar bloemen), worden ongewenste kenmerken van het bron-domein overgenomen (bijv. een hoed op een bloem).

---

2. Methodologie en Taxonomie

De auteurs hebben een uitgebreide literatuurstudie uitgevoerd van meer dan 230 papers en een gestructureerde taxonomie ontwikkeld om het veld te ordenen.

A. Taxonomie van Taken (Tasks)

De auteurs definiëren acht verschillende GM-DC taken, variërend van onvoorwaardelijke tot voorwaardelijke generatie en cross-domein adaptatie:

1. uGM-1: Onvoorwaardelijke generatie vanuit beperkte data (trainen van scratch).
2. uGM-2: Onvoorwaardelijke generatie met een voorgeïmplementeerde generator en cross-domein adaptatie (bijv. FFHQ naar Sketches).
3. uGM-3: Onvoorwaardelijke generatie met een voorgeïmplementeerde generator en tekst-prompt (Zero-shot adaptatie).
4. cGM-1: Voorwaardelijke generatie (per klasse) met beperkte data.
5. cGM-2: Voorwaardelijke generatie met een voorgeïmplementeerde generator voor "gezette" klassen en adaptatie naar "ongezette" klassen.
6. cGM-3: Voorwaardelijke generatie met cross-domein adaptatie.
7. IGM (Internal Patch Distribution): Genereren van variaties van één enkele afbeelding door interne patch-verdelingen te leren (bijv. SinGAN).
8. SGM (Subject-Driven Modeling): Genereren van diverse afbeeldingen van een specifiek onderwerp (bijv. een specifieke rugzak) in verschillende contexten, vaak gestuurd door tekst (bijv. DreamBooth).

B. Taxonomie van Benaderingen (Approaches)

De methoden worden ingedeeld in zeven hoofdcategorieën:

1. Transfer Learning: Het overdragen van kennis van een bron-generator naar een doeldomein. Subcategorieën zijn:
   • Regularizer-based Fine-tuning: Beperken van parameterwijzigingen om bronkennis te behouden (bijv. EWC, FreezeD).
   • Latent Space: Manipulatie van de latente ruimte van de bron-generator.
   • Modulation: Toevoegen van trainbare modulatieweegs bovenop bevroren gewichten (bijv. LoRA, AdaFM).
   • Natural Language-guided: Gebruik van visueel-taalmodellen (zoals CLIP) voor zero-shot adaptatie (bijv. NADA, DreamBooth).
   • Adaptation-Aware: Dynamisch identificeren van welke kennis overdraagbaar is en welke niet (bijv. RICK).
   • Prompt Tuning: Leren van visuele prompts zonder de backbone te finetunen.
2. Data Augmentation: Het vergroten van de dataset via transformaties (beeld- of feature-niveau) om overfitting te voorkomen (bijv. DiffAug, ADA).
3. Netwerkarchitecturen: Het ontwerpen van specifieke structuren (bijv. lichtere netwerken, ensemble van voorgeïmplementeerde visiemodellen) om overfitting te minimaliseren.
4. Multi-Task Objectives: Het introduceren van extra taken (zoals contrastive learning, masking, of kennisdistillatie) om generalisatie te verbeteren.
5. Exploiting Frequency Components: Het expliciet modelleren van hoge frequenties om details te verbeteren en frequentie-bias te verminderen.
6. Meta-Learning: Het leren van "meta-kennis" uit gezien klassen om snelle adaptatie naar ongezette klassen mogelijk te maken.
7. Modeling Internal Patch Distribution: Het leren van de interne structuur van één afbeelding om nieuwe composities te genereren.

---

3. Belangrijkste Resultaten en Analyse

De auteurs hebben een empirische vergelijking uitgevoerd van representatieve methoden voor verschillende taken:

• uGM-1 (Limited Data): Methoden zoals DANI (Data Augmentation met adaptieve noise) presteren het beste, met aanzienlijk lagere FID-scores dan eerdere methoden zoals ADA of LeCam.
• uGM-2 (Cross-Domain Adaptation): RICK (Reinforced Kernel Pruning) en AdAM tonen de beste resultaten. Ze vermijden negatieve overdracht door onbelangrijke kernels te verwijderen of te moduleren, wat leidt tot betere kwaliteit en diversiteit dan statische fine-tuning.
• uGM-3 (Zero-Shot): AIR (Adaptive Iterative Refinement) presteert het best door het probleem van misalignement tussen tekst- en beeld-embeddings in CLIP-ruimte aan te pakken, wat resulteert in betere semantische uitlijning dan NADA.
• cGM-2 & cGM-3 (Conditional): F2DGAN en het VPT-framework (Visual Prompt Tuning) tonen superioriteit in het genereren van diverse en kwalitatief hoogwaardige beelden voor ongezette klassen of domeinen.
• SGM (Subject-Driven): Er is een duidelijke evolutie zichtbaar van zware fine-tuning methoden (DreamBooth) naar efficiëntere, tuning-free methoden (zoals MoMA, BLIP-Diffusion) die vergelijkbare kwaliteit bieden met minder rekenkracht.

Trends:

• Transfer Learning is de dominante aanpak (77% van de werken in 2024).
• Er is een verschuiving van reguliere fine-tuning naar Natural Language-guided methoden en Modulation (LoRA-achtige technieken).
• Diffusiemodellen (DMs) winnen snel terrein ten opzichte van GANs, hoewel GANs nog steeds het meest onderzocht zijn (68%).

---

4. Bijdragen

De belangrijkste bijdragen van dit survey zijn:

1. Uitgebreide Overzicht: De eerste survey die alle generatieve modellen, taken en benaderingen binnen GM-DC bestrijkt (233 papers), in tegenstelling tot eerdere surveys die zich beperkten tot GANs.
2. Nieuwe Taxonomieën: Een gestructureerde indeling van taken (8 types) en methodologische benaderingen (7 categorieën).
3. Visuele Landkaarten: Een interactieve Sankey-diagram die de relaties tussen taken, benaderingen en specifieke methoden visualiseert.
4. Kritische Analyse: Diepgaande inzichten in de beperkingen van huidige methoden, zoals de uitdagingen bij het aanpassen van ver verwijderde domeinen (bijv. gezichten naar bloemen) en de afhankelijkheid van sample-selectie.
5. Toekomstrichtingen: Een roadmap voor onderzoek, met nadruk op het benutten van foundation models, holistische evaluatie en data-centric strategieën.

---

5. Betekenis en Toekomstperspectief

Deze survey biedt een cruciale routekaart voor onderzoekers en praktici die generatieve AI willen toepassen in domeinen met beperkte data. De betekenis ligt in het systematisch in kaart brengen van de staat van de kunst en het identificeren van de volgende frontiers:

• Foundation Models: Het benutten van grote, voorgeïmplementeerde modellen (zoals Stable Diffusion 3.5) als basis voor GM-DC, in plaats van alleen op StyleGAN2 te vertrouwen.
• Verwijderde Domeinen: Het oplossen van het probleem van kennisoverdracht tussen semantisch zeer verschillende domeinen (bijv. menselijke gezichten naar architectuur).
• Data-Centric Benaderingen: Meer aandacht voor de kwaliteit en selectie van de beperkte trainingsdata zelf, aangezien de prestaties sterk afhankelijk zijn van welke samples worden gekozen.
• Holistische Evaluatie: Het ontwikkelen van betere evaluatiemethoden die niet alleen vertrouwen op statistieken (zoals FID) die onbetrouwbaar zijn bij zeer kleine datasets, maar ook subjectieve en taak-specifieke evaluaties integreren.

Kortom, dit werk positioneert GM-DC als een volwassen en kritiek onderzoeksgebied dat essentieel is voor de praktische toepassing van generatieve AI in de echte wereld.