OpenGPT-4o-Image: A Comprehensive Dataset for Advanced Image Generation and Editing

In de wereld van kunstmatige intelligentie groeit de ambitie om systemen te bouwen die meer kunnen dan alleen herkennen wat ze zien. Jarenlang zijn computers uitstekend geworden in het beschrijven van een foto of het beantwoorden van een vraag over een afbeelding. Nu streven onderzoekers ernaar om een nieuw soort intelligentie te creëren die niet alleen een plaatje kan begrijpen, maar er ook een vanaf nul kan creëren of het kan aanpassen op basis van een eenvoudige zin. Deze vaardigheid, bekend als beeldgeneratie en -bewerking, rust op enorme collecties voorbeelden. Net zoals een kind leert tekenen door talloze plaatjes te bestuderen en feedback te ontvangen, leren deze computermodellen door enorme hoeveelheden data te verwerken die tekstuele beschrijvingen koppelen aan de afbeeldingen die ze vertegenwoordigen. De kwaliteit van dit leermateriaal is alles; als de voorbeelden simpel of repetitief zijn, blijft het model beperkt. Om de complexe, rommelige en gevarieerde aard van echte wereldverzoeken werkelijk te beheersen, hebben deze systemen een curriculum nodig dat even rijk en gestructureerd is als de wereld die ze proberen na te bootsen.

Een team van onderzoekers is ingestapt om dat curriculum te voorzien van een nieuwe, grootschalige collectie data genaamd OpenGPT-4o-Image. Ze erkenden dat hoewel bestaande datasets basistaken dekten, zoals het veranderen van de kleur van een object of het kopiëren van een schilderstijl, ze vaak tekortschoten wanneer ze geconfronteerd werden met moeilijkere uitdagingen. Het echte leven zit vol met verzoeken die meerdere stappen tegelijk vereisen, zoals het vragen om een specifieke wetenschappelijke diagram of het eisen dat een personage wordt verplaatst terwijl de achtergrond verandert en er nieuwe tekst wordt toegevoegd. Om dit op te lossen, construeerde het team een dataset met 80.000 hoogwaardige paren van instructies en afbeeldingen. Ze hebben deze voorbeelden niet zomaar willekeurig verzameld; in plaats daarvan bouwden ze een systematisch kader dat de uitgestrekte wereld van beeldcreatie onderverdeelt in 11 belangrijke gebieden en 51 specifieke subtaken. Deze structuur zorgt ervoor dat de computer niet alleen leert tekenen, maar ook leert redeneren over ruimte, complexe logische ketens volgt en gespecialiseerde onderwerpen zoals chemische illustraties of bewerkingsopdrachten met meerdere stappen kan afhandelen.

De onderzoekers organiseerden hun werk in twee hoofdcategorieën: het creëren van afbeeldingen uit het niets en het veranderen van bestaande beelden. Voor de creatieve kant richtten ze zich op vijf kernvaardigheden. Ten eerste leerden ze het model om diverse artistieke stijlen na te bootsen, variërend van oude inktwas-schilderijen tot moderne cyberpunk-esthetiek. Ten tweede daagden ze het uit met complexe instructies die vereisen dat meerdere ideeën tegelijk in gedachten worden gehouden, zoals het plaatsen van een specifiek aantal objecten in een scène met precieze ruimtelijke relaties. Derde pakten ze de moeilijke taak aan om tekst direct in een afbeelding te schrijven, waarbij ze ervoor zorgden dat de woorden correct gespeld zijn en natuurlijk in de scène zijn geplaatst. Vierde testten ze het vermogen van het model om geometrie en logica te begrijpen, door het te vragen objecten te tellen of te bepalen welk item groter is dan een ander. Ten slotte breidden ze het bereik van het model uit naar gespecialiseerde velden, door afbeeldingen te genereren voor wetenschap en techniek, zoals diagrammen van planetaire magnetosferen of mechanische tandwielen, gebieden waar visuele helderheid cruciaal is voor educatie en onderzoek.

Aan de kant van de bewerking ontwierp het team een vergelijkbare hiërarchie om de vele manieren te dekken waarop mensen een afbeelding willen veranderen. Ze namen taken op waarbij een gebruiker een specifiek object wil toevoegen, verwijderen of vervangen, terwijl de rest van de scène intact blijft. Ze creëerden ook scenario's waarin het model de tekst in een afbeelding moet bewerken, door een bord of een label te veranderen zonder de omliggende afbeelding te vervormen. Misschien wel het meest opvallend is dat ze complexe bewerkingsopdrachten introduceerden die vereisen dat het model meerdere instructies tegelijkertijd opvolgt, zoals het veranderen van de achtergrond, het toevoegen van een nieuw personage en het aanpassen van de verlichting, allemaal in één keer. Ze namen zelfs interacties met meerdere rondes op, waarbij een gebruiker een eerste instructie geeft, het resultaat ziet, en vervolgens een vervolgopdracht geeft om de afbeelding verder te verfijnen, wat een natuurlijke conversatie tussen een mens en een kunstenaar nabootst.

Om deze enorme bibliotheek op te bouwen, ontwikkelden de onderzoekers een geautomatiseerde pijplijn die fungeert als een onvermoeibare assistent. Ze gebruikten een krachtig taalmodel om de tekstuele instructies te genereren en gebruikten vervolgens een hoogwaardige beeldgenerator om de bijbehorende afbeeldingen te maken. Dit proces werd zorgvuldig gecontroleerd om ervoor te zorgen dat de data divers was en de moeilijkheidsgraden gebalanceerd waren, bewegend van eenvoudige verzoeken naar zeer complexe uitdagingen. Het resultaat is een dataset die alles dekt, van een drukke straatscène in de stijl van een beroemde schilder tot een technische tekening van een wormwielset. Door deze gestructureerde data in toonaangevende computermodellen te voeden, testten de onderzoekers of de modellen ervan konden leren. De resultaten waren duidelijk: modellen die getraind zijn op deze nieuwe dataset presteerden aanzienlijk beter dan voorheen. In tests die maten hoe goed een model instructies kon volgen om een afbeelding te bewerken, verbeterde de prestatie met wel 18 procent. Voor taken die het creëren van afbeeldingen vanuit tekst betreffen, was de verbetering rond de 13 procent.

Deze winsten suggereren dat de manier waarop data is georganiseerd net zo belangrijk is als de hoeveelheid data zelf. De studie toont aan dat wanneer modellen worden blootgesteld aan een grote verscheidenheid aan gestructureerde uitdagingen, ze beter in staat zijn om de genuanceerde en veeleisende verzoeken aan te gaan die in het echte leven voorkomen. Ze worden beter in het begrijpen dat een "reusachtige pluizige vogel" er anders uit moet zien dan een "kleine vogel", of dat een "wetenschappelijke diagram" een andere mate van precisie vereist dan een "fantasy-illustratie". Hoewel de onderzoekers opmerken dat hun werk steunt op de capaciteiten van de tools die ze hebben gebruikt om de data te genereren, wijst het bewijs op een duidelijke weg vooruit. Door de complexe taak van beeldcreatie systematisch op te splitsen in beheersbare, goed gedefinieerde delen, hebben ze een fundament gelegend dat kunstmatige intelligentie in staat stelt om verder te gaan dan eenvoudige imitatie en toe te bewegen naar een robuustere, betrouwbaardere en veelzijdiger vorm van visueel begrip.