In het moderne tijdperk van kunstmatige intelligentie heeft een stille revolutie plaatsgevonden in de manier waarop wetenschappers de krachtigste computerprogramma's bouwen. Jarenlang hebben onderzoekers vertrouwd op een reeks regels die bekend staan als schaalwetten om te beslissen hoe ze hun rekenkracht besteden. Deze regels fungeren als een budgetgids, die ingenieurs vertellen of ze een iets groter brein voor hun software moeten bouwen of het een veel grotere bibliotheek aan informatie moeten voeren. In de wereld van tekstgebaseerde AI zijn deze regels opmerkelijk duidelijk geweest: om de beste resultaten te krijgen, moet je je computerbudget ongeveer gelijkmatig verdelen tussen de grootte van het model en de hoeveelheid data die het leest. Deze balans heeft ervoor gezorgd dat machines taal met een verbazingwekkende efficiëntie hebben geleerd, wat heeft geleid tot de geavanceerde hulpmiddelen die we vandaag de dag zien. Echter, wanneer het gaat om het leren van computers om afbeeldingen te creëren, zijn de regels een mysterie gebleven. Visuele data is veel complexer en ruiziger dan tekst, en eerdere pogingen om deze regels voor beeldgeneratoren in kaart te brengen, werden beperkt door een gebrek aan experimenten op grote schaal. Zonder een duidelijke gids hebben ontwikkelaars gegokt hoe ze de modelgrootte en de datavolume moesten balanceren, waarbij ze vaak enorme hoeveelheden energie en tijd verspillen.

Een team van onderzoekers van Luma AI is nu ingestapt om dit puzzelstuk op te lossen met een massief, systematisch experiment. Ze bouwden een gecontroleerde familie van beeldgenererende modellen, variërend van zeer klein tot behoorlijk groot, en trainden deze met een verbluffende hoeveelheid rekenkracht—veel meer dan welke eerdere studie over dit onderwerp ook maar had gedaan. Door deze modellen door drie verschillende ordes van grootte in computationele kosten te duwen, waren ze in staat om precies te observeren hoe de prestaties veranderen naarmate de modellen groeien. Hun werk onthult dat de regels voor het creëren van afbeeldingen fundamenteel verschillen van de regels voor het verwerken van taal. Terwijl tekstmodellen hun piek van efficiëntie bereiken nadat ze ongeveer twintig woorden per eenheid van hun omvang hebben gelezen, hebben beeldmodellen een veel zwaardere dieet nodig. De onderzoekers ontdekten dat om het punt van optimale efficiëntie te bereiken, een tekst-naar-beeldmodel ongeveer tweehonderd beeldtokens moet zien voor elke enkele parameter in zijn structuur. Dit betekent dat voor beeldgeneratie data tien keer belangrijker is dan voor taalmodellen. Het oude advies om de modelgrootte en de data gelijkmatig te balanceren, is hier niet van toepassing; in plaats daarvan is de meest effectieve strategie om prioriteit te geven aan het voeren van meer plaatjes aan het model, zelfs als dat betekent dat er een kleiner brein wordt gebruikt.

De studie onthulde ook een verrassend vangnet voor ontwikkelaars. In de wereld van taalmodellen, als men een systeem te lang traint op te veel data, kan de prestatie eronder lijden en is de extra inspanning verspilde moeite. Maar voor beeldgeneratoren ontdekten de onderzoekers dat de modellen ongelooflijk vergevingsgezind zijn. Als een beoefenaar besluit een model langer te trainen dan strikt noodzakelijk is, neemt de kwaliteit van de afbeeldingen niet significant af. Sterker nog, het verlies in prestaties is zo klein dat het bijna verwaarloosbaar is. Deze bevinding biedt een praktische regel voor de sector: het is veel veiliger om een kleiner model te trainen op een enorme hoeveelheid data, dan het risico te nemen een enorm model te trainen op te weinig data. De extra trainingstijd werkt als een buffer, waardoor hoge kwaliteit van afbeeldingen wordt gewaarborgd zonder de straf van verspilde middelen die andere soorten AI teistert.

Buiten de uiteindelijke beeldkwaliteit om, keken het team ook naar hoe deze modellen leren de wereld binnen hun digitale breinen te begrijpen. Ze testten of de modellen goed waren in het herkennen van objecten en patronen, een vaardigheid die bekend staat als representatieleer (representation learning). Ze vonden dat het punt van optimale efficiëntie voor het begrijpen van afbeeldingen plaatsvindt bij een veel lager datavolume dan het punt voor het genereren ervan. Een model kan heel goed worden in het herkennen van een kat of een landschap, lang voordat het perfect wordt in het schilderen ervan. Dit suggereert dat de interne kennis van het model en het vermogen om kunst te creëren met verschillende snelheden groeien. Bovendien observeerden de onderzoekers dat naarmate de resolutie van de afbeeldingen toeneemt, de behoefte aan data nog groter wordt. Het trainen van een model om hoogdefinitie foto's te maken, vereist aanzienlijk meer visuele informatie per eenheid modelgrootte dan het trainen om lage-resolutie schetsen te maken.

Misschien wel de meest diepgaande ontdekking was dat deze beeldgenererende modellen een universeel patroon volgen in hun leercurves. Wanneer de onderzoekers de data aanpasten om rekening te houden met de grootte van het model en de hoeveelheid gebruikte rekenkracht, stortte de voortgang van de training van elk enkel model samen tot één enkele, vloeiende lijn. Dit fenomeen, bekend als schaal-instorting (scaling collapse), betekent dat het gedrag van een klein model nauwkeurig het gedrag van een gigantisch model kan voorspellen. Het suggereert dat de onderliggende mechanismen van leren consistent zijn over alle formaten heen, wat een krachtig instrument biedt voor ingenieurs om te voorspellen hoe een toekomstig, massief model zal presteren zonder dat ze het eerst hoeven te bouwen en te trainen.

De onderzoekers onderzochten ook hoe verschillende maatstaven voor succes, zoals hoe goed de afbeelding overeenkomt met een tekstbeschrijving of hoe realistisch deze eruitziet, schalen met rekenkracht. Ze vonden dat deze verschillende doelen niet allemaal op hetzelfde moment pieken. Sommige metrieken, zoals hoe goed de afbeelding een prompt volgt, geven de voorkeur aan een andere balans tussen data en grootte dan andere, zoals hoe nauw de afbeelding aansluit bij de distributie van echte foto's. Dit geeft aan dat er geen enkele "perfecte" instelling is voor een beeldgenerator; de beste configuratie hangt er volledig vanaf wat de gebruiker wil dat het model doet. Daarnaast ontdekten ze dat de instellingen die worden gebruikt om het generatieproces te sturen, die controleren hoe strikt het model instructies opvolgt, aangepast moeten worden naarmate het model groter wordt. Een sterker generatief vermogen vereist feitelijk minder sturing om goede resultaten te produceren.

Uiteindelijk biedt dit werk een duidelijke, op data gebaseerde kaart voor de toekomst van beeldgeneratie. Het beweegt het veld weg van gokwerk en richting een precieze verstandhouding van hoe middelen toe te wijzen. De centrale kernboodschap is dat voor beeldcreatie, data de koning is. De meest efficiënte weg voorwaarts is niet het bouwen van het grootste mogelijke model, maar ervoor zorgen dat welk model dan ook wordt gebouwd, gevoed wordt met een enorme hoeveelheid visuele informatie. Door deze nieuwe regels te volgen, kunnen ontwikkelaars betere, efficiëntere systemen bouwen die prachtige afbeeldingen creëren zonder de immense energie te verspillen die nodig is voor de training. De studie bevestigt dat hoewel het pad naar perfecte beeldgeneratie anders is dan het pad naar perfecte taal, het net zo voorspelbaar en net zo openstaat voor ontdekking.