Fine-T2I: An Open, Large-Scale, and Diverse Dataset for High-Quality T2I Fine-Tuning

Technische Samenvatting: Fine-T2I

1. Het Probleem: De "Data Gap" in Open Source AI

Hoewel tekst-naar-afbeelding (T2I) modellen (zoals die van OpenAI of Google) enorme sprongen maken, kampt de open-source community met een hardnekkige achterstand. Dit komt niet door een gebrek aan architecturale innovatie, maar door een gebrek aan hoogwaardige fine-tuning data.

De huidige publiek beschikbare datasets voor fine-tuning hebben drie grote tekortkomingen:

• Lage resolutie: Veel beelden zijn kleiner dan 1K, terwijl moderne modellen hoge resoluties vereisen.
• Slechte alignment: De tekstuele beschrijvingen komen vaak niet nauwkeurig overeen met de visuele inhoud.
• Beperkte diversiteit: Ze missen variatie in stijlen, taken (zoals tekstrendering of tellen) en aspectratio's.
• Licentiebeperkingen: Professionele, esthetisch hoogwaardige beelden zijn vaak duur of juridisch niet vrij te distribueren.

2. Methodologie: De Constructie van Fine-T2I

De auteurs introduceren Fine-T2I, een dataset van circa 6 miljoen tekst-afbeeldingparen (ongeveer 2 TB aan data). De dataset is opgebouwd uit twee complementaire bronnen:

A. Synthetische Dataset (De meerderheid):

1. Prompt Generatie: Gebruik van LLaMA3 om diverse, gecontroleerde prompts te schrijven op basis van een taxonomie (bijv. Natuur, Mensen, Design, Tekstrendering).
2. Semantische Deduplicatie: Om redundantie te voorkomen, werden prompts geëncodeerd met een sentence encoder en verwijderd als de cosinus-gelijkenis boven de 0,8 kwam.
3. Prompt Enhancement: Een fine-tuned model herschrijft korte prompts naar gedetailleerde, beschrijvende instructies. Dit leert het model om zowel korte als complexe inputs te begrijpen.
4. Beeldgeneratie: Beelden werden gegenereerd met state-of-the-art modellen (Z-Image en FLUX2) in verschillende resoluties en aspectratio's (vier subsets: Enhanced+Square, Enhanced+Random, Original+Square, Original+Random).
5. Rigorouze Filtering: Dit is de kern van hun methode. Ze gebruikten een VLM (Vision Language Model) met redeneervermogen (zoals Qwen-VL) om beelden te auditeren op:
   • Semantische alignment: Klopt het aantal objecten? Is de kleur correct?
   • Technische kwaliteit: Zijn er anatomische fouten (bijv. extra vingers) of artefacten?
   • Esthetiek: Gebruik van een Aesthetic Predictor V2.5.

B. Curated Real-Image Set:
Een kleinere, extreem hoogwaardige set van ~168k beelden verzameld van platforms zoals Pexels en Unsplash. Deze beelden zijn gecureerd door professionele fotografen en voorzien van nieuwe, hoogwaardige captions gegenereerd door een fine-tuned Qwen2.5-VL model.

3. Belangrijkste Bijdragen (Key Contributions)

• Schaal en Kwaliteit: Een dataset die de schaal van pre-training datasets benadert, maar de precisie van fine-tuning data behoudt.
• Multi-aspect Diversiteit: Dekking van 10 taakcombinaties, 32 prompt-categorieën, 11 visuele stijlen en 5 prompt-templates.
• Geavanceerde Pipeline: Een bewezen workflow voor het gebruik van VLMs als "strenge auditors" om synthetische data te zuiveren.
• Open Access: De volledige dataset en de constructie-pipeline worden openbaar gemaakt om de kloof tussen commerciële en open-source modellen te dichten.

4. Resultaten

De auteurs hebben de dataset getest op twee verschillende architecturen: SD-XL (diffusie) en LlamaGen (autoregressief).

• Verbeterde Kwaliteit: Fine-tuning op Fine-T2I leidde tot significante winst in zowel visuele esthetiek als instructie-naleving (instruction adherence).
• Menselijke Evaluatie: In blindtests wonnen modellen die met Fine-T2I waren getraind met een overweldigende meerderheid (bijv. 80,7% winrate voor visuele kwaliteit bij LlamaGen).
• Consistentie: De verbetering is zichtbaar over verschillende model-families heen, wat bewijst dat de data fundamenteel superieur is, ongeacht de architectuur.
• Benchmark prestaties: Ook op automatische benchmarks zoals GenEval werden verbeteringen gerapporteerd, hoewel de auteurs benadrukken dat menselijke voorkeur de betere maatstaf is.

5. Betekenis (Significance)

Fine-T2I markeert een verschuiving in de AI-gemeenschap van "meer data is beter" naar "betere, hoogwaardige data is cruciaal". Door een dataset te leveren die de kwaliteit van enterprise-grade modellen (zoals GPT-Image of Midjourney) benadert, stelt dit de open-source community in staat om modellen te trainen die niet alleen visueel aantrekkelijk zijn, maar ook complexe, tekstuele instructies nauwkeurig kunnen uitvoeren. Dit democratiseert de toegang tot state-of-the-art beeldgeneratie.