VideoWorld 2: Learning Transferable Knowledge from Real-world Videos
VideoWorld 2 introduceert een nieuw model dat overdraagbare kennis direct uit ruwe, echte video's leert door visuele verschijning te scheiden van actiedynamiek, wat leidt tot aanzienlijke verbeteringen in zowel complexe handmatige taken als robotmanipulatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een kind bent dat voor het eerst een YouTube-video ziet van iemand die een ingewikkelde papieren vliegtuigje vouwt. Je kijkt niet naar de kleur van de tafel of de belichting in de kamer; je let alleen op de bewegingen van de handen en hoe het papier buigt. Na een paar keer kijken, pak je je eigen vel papier en doe je het precies na.
Dit is precies wat de onderzoekers van VideoWorld 2 hebben geprobeerd te doen met kunstmatige intelligentie (AI).
Het probleem: De AI die "te veel" ziet
Tot nu toe hadden AI-modellen een probleem. Als ze video's probeerden te leren van handvaardigheid (zoals het vouwen van een bootje), raakten ze volledig in de war door de details. Ze probeerden de kleur van het behang, de schaduwen op de tafel en de textuur van het hout te "onthouden".
Stel je voor dat je probeert te leren hoe je een fiets moet besturen, maar je bent zo gefocust op de kleur van de bloemen langs de weg en de vorm van de wolken, dat je vergeet hoe je moet trappen. Dat is wat er met de huidige AI gebeurt: ze zien de "versiering" (de achtergrond), maar missen de "actie" (de beweging). Hierdoor lukt het ze niet om de vaardigheid te gebruiken in een andere kamer of met een ander soort papier.
De oplossing: De "Regisseur" en de "Decorontwerper"
De makers van VideoWorld 2 hebben een slimme truc bedacht door de AI in twee aparte rollen te splitsen. Denk aan een filmset:
- De Regisseur (De dLDM): Deze houdt zich alleen bezig met de actie. De regisseur kijkt alleen naar de essentie: "Hand gaat omhoog, papier vouwt dubbel, duim drukt aan." Hij negeert de kleuren en de omgeving volledig. Hij schrijft alleen het "script" van de bewegingen op in een soort geheime code.
- De Decorontwerper (De VDM): Dit is een supergeavanceerde computer die heel goed is in het maken van mooie plaatjes. Hij krijgt het script van de regisseur en zegt: "Oké, de regisseur zegt dat er een hand beweegt; ik zal dat tekenen met een prachtige, realistische look, passend bij de kamer die we hebben gekozen."
Door deze twee taken te scheiden, leert de AI de essentie van de beweging (het script) zonder afgeleid te worden door de omgeving.
Waarom is dit een doorbraak?
Dankzij deze splitsing kan de AI iets wat we "overdraagbare kennis" noemen.
- In de praktijk: Als de AI heeft geleerd hoe je een papieren vliegtuigje vouwt op een houten tafel, kan hij dat nu ook met een blauw vel papier op een marmeren aanrecht. De "regisseur" in de AI herkent de beweging, en de "decorontwerper" zorgt dat het er op het nieuwe aanrecht ook echt goed uitziet.
- Voor robots: De onderzoekers hebben dit ook getest met robots. Ze lieten de AI video's kijken van robots die dingen verplaatsen. De AI leerde de "logica" van het bewegen zo goed, dat hij die kennis kon gebruiken om een heel andere robot in een andere omgeving aan te sturen.
Kortom...
VideoWorld 2 is als een leerling die niet alleen kijkt naar wat er te zien is, maar begrijpt hoe de wereld werkt. Het leert de "dans van de beweging" in plaats van alleen een foto van de danser te maken. Dit brengt ons een stap dichter bij robots en AI die net zo slim en aanpasbaar zijn als mensen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.