Beyond Language Modeling: An Exploration of Multimodal Pretraining
Dit artikel presenteert een grondige analyse van native multimodale pretraining via het Transfusion-framework, waarbij geconcludeerd wordt dat een gecombineerde aanpak met een Representatie Autoencoder en een MoE-architectuur de schaalingsasymmetrie tussen taal en visie effectief oplost en leidt tot geavanceerde wereldmodellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je tot nu toe alleen maar een film hebt gezien van de wereld, maar je hebt de film nooit zelf mogen maken of erin lopen. Dat is wat de huidige "taalmodellen" (zoals ChatGPT) doen: ze zijn meesters in het beschrijven van schaduwen aan de muur (zoals in Plato's grot), maar ze hebben de echte, fysieke wereld nooit echt gezien. Ze weten hoe een appel eruitziet omdat ze miljoenen teksten over appels hebben gelezen, maar ze begrijpen niet echt hoe zwaar een appel is of hoe hij valt.
Deze nieuwe studie van onderzoekers van Meta en NYU wil die muur doorbreken. Ze bouwen een model dat niet alleen tekst begrijpt, maar ook kijkt, ziet en voelt hoe de wereld werkt. Hier is hoe ze dat doen, vertaald in een eenvoudig verhaal:
1. De "Taal" van de Wereld (De Visualisatie)
Vroeger dachten onderzoekers dat je twee verschillende "brillen" nodig had: één om te begrijpen (wat zie ik?) en één om te tekenen (hoe maak ik een plaatje?). Dat was als een kunstenaar die eerst een foto moet maken en die daarna moet overschrijven met verf.
Deze onderzoekers ontdekten dat je één bril kunt gebruiken die perfect werkt voor beide taken. Ze noemen dit een "Representation Autoencoder" (RAE).
- De Analogie: Stel je voor dat je een taal spreekt die zowel tekst als beelden kan bevatten. In plaats van te zeggen "dit is een hond" en dan een foto te plakken, leert het model de "essentie" van de hond. Of het nu een vraag moet beantwoorden of een nieuwe hond moet tekenen, het gebruikt dezelfde interne kennis. Dit maakt het systeem veel slimmer en efficiënter.
2. Het Dieet van het Model (De Data)
Je kunt een model niet alleen voeden met teksten uit boeken. Dat is als proberen een chef-kok te trainen die alleen recepten heeft gelezen, maar nooit heeft gekookt.
- De Analogie: Ze voerden het model een enorm gevarieerd dieet:
- Tekst: Boeken en artikelen.
- Video: Duizenden uren aan filmpjes (zonder tekst, gewoon beweging).
- Foto's met beschrijvingen: Om te leren hoe woorden en beelden samenkomen.
- Acties: filmpjes waarin een robot beweegt en erbij staat geschreven wat hij deed.
Het verrassende resultaat? Het model werd niet dommer in het lezen van teksten door al die video's. Sterker nog, de video's hielpen het model om tekst beter te begrijpen. Het is alsof je een taal leert door niet alleen boeken te lezen, maar ook door naar films te kijken en met mensen te praten. Alles werkt samen.
3. De "Wereldsimulator" (World Modeling)
Dit is misschien wel het coolste deel. Omdat het model zoveel video's en bewegingen heeft gezien, begint het te begrijpen hoe de wereld werkt, zelfs zonder dat ze het expliciet hebben geleerd.
- De Analogie: Stel je voor dat je een video ziet van een bal die rolt. Als je de video stopt, kan dit model voorspellen waar de bal zal zijn als je hem nog twee seconden laat rollen.
- Ze testten dit met een robot die door een doolhof moest. Het model kon de robot besturen door gewoon tekst te typen, zoals "ga naar de boom" of "loop harder". Het model wist instinctief hoe de robot zich moest bewegen, omdat het de fysica van de wereld had "geleerd" van de video's. Het had geen speciale robot-training nodig; het kwam gewoon voort uit het kijken naar de wereld.
4. De Slimme Chef-koks (MoE - Mixture of Experts)
Een groot probleem bij het combineren van tekst en beeld is dat ze heel verschillend zijn. Tekst heeft veel "hersencapaciteit" nodig om grammatica te onthouden, terwijl beeld veel "data" nodig heeft om details te zien. Als je ze in één grote, saaie hersenpan stopt, krijg je ruzie.
De oplossing? Mixture of Experts (MoE).
- De Analogie: Stel je voor dat je een supergroot restaurant runt. In plaats van dat elke kok alles moet kunnen (koken, bakken, grillen, dessert maken), heb je een team van gespecialiseerde chefs.
- Als er een tekst-invoer komt, springt de "tekst-chef" in actie.
- Als er een beeld-invoer komt, springt de "beeld-chef" in.
- Soms werken ze samen.
- Het systeem is zo slim dat het zelf leert welke chef er nodig is. Hierdoor kan het model enorm groot worden zonder dat het traag wordt. Het lost het probleem op dat beeld veel meer data nodig heeft dan tekst, door de capaciteit slim te verdelen.
5. De Grootte van de Wereld (Schalingswetten)
De onderzoekers ontdekten iets interessants over hoe je zo'n model moet laten groeien.
- Tekst groeit het beste als je de "hersenen" (de grootte van het model) vergroot.
- Beeld groeit het beste als je meer data (meer video's en foto's) toevoegt.
- De Oplossing: De "MoE"-architectuur (de slimme chefs) is de perfecte oplossing. Het laat het model groeien in grootte (voor de tekst) én in data-ontvangst (voor de beelden) zonder dat het in de war raakt.
Conclusie: Wat betekent dit voor de toekomst?
Deze studie laat zien dat we niet hoeven te kiezen tussen een model dat goed is in tekst of een model dat goed is in beeld. Door alles samen te trainen vanaf nul, krijgen we een model dat de wereld echt begrijpt.
Het is alsof we eindelijk uit de grot stappen en niet alleen de schaduwen op de muur beschrijven, maar de echte objecten, hun gewicht, hun beweging en hun oorzaak-gevolgrelaties zien. Dit is de eerste stap naar kunstmatige intelligentie die niet alleen praat, maar echt denkt en handelt in onze fysieke wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.