Stel je een wereld voor waarin je computer niet alleen een plaatje "ziet" of een zin "leest", maar begrijpt dat een foto, een zin, een kaart van hoe diep dingen zijn en een schets van randen allemaal verschillende talen zijn die dezelfde werkelijkheid beschrijven. Een lange tijd was kunstmatige intelligentie als een specialist die slechts één dialect spreekt; een model kan geweldig zijn in het schrijven van verhalen, maar verschrikkelijk in tekenen, of fantastisch in het herkennen van objecten, maar totaal niet weten hoe ver ze weg zijn. Wetenschappers hebben geprobeerd een "universele vertaler" te bouwen voor deze verschillende soorten gegevens — wat ze "modaliteiten" noemen — zodat één brein moeiteloos tussen deze talen kan schakelen. De grote uitdaging is geweest om uit te vogelen hoe je één brein leert om al deze talen vloeiend te spreken zonder voor elk afzonderlijk paar talen een aparte vertaler nodig te hebben.

Maak kennis met MODUS, een nieuw soort AI-model dat fungeert als een meester-polyglot. In plaats van een enorme, logge machine met verschillende onderdelen voor verschillende taken te bouwen, hebben de onderzoekers een "decoder-only" brein gebouwd. Denk hierbij aan een verhalenverteller die naar een verhaal luistert en het vervolgens vervolgt, ongeacht in welke taal het verhaal wordt verteld. Of je het nu voert een foto, een tekstuele beschrijving, een dieptekaart (die laat zien hoe ver objecten weg zijn) of een schets van randen, MODUS behandelt ze allemaal als een enkele, continue stroom van tokens (zoals woorden in een zin). Het heeft geen speciale hulpmiddelen nodig voor diepte of speciale hulpmiddelen voor tekst; het voorspelt gewoon wat de volgende stap in de reeks is. Dit betekent dat het een foto kan nemen en een dieptekaart kan genereren, of een dieptekaart kan nemen en een foto kan genereren, of ze zelfs kan ketenen: foto → randen → diepte → nieuwe foto, alles in één keer. Het paper laat zien dat deze aanpak verrassend goed werkt, waardoor het model complexe taken kan uitvoeren zoals het controleren van zijn eigen werk (zelfverificatie) en het creëren van consistente afbeeldingen via meerdere stappen, allemaal met behulp van een enkele, verenigde architectuur.

Het Polyglot Brein: Hoe MODUS Werkt

Stel je voor dat je een vriend hebt die geweldig is in het vertellen van verhalen. Als je hem een foto van een kat geeft, kan hij die beschrijven. Als je hem een beschrijving van een kat geeft, kan hij hem tekenen. Stel je nu voor dat diezelfde vriend je ook kan vertellen hoe ver de kat weg is, of een schets van zijn omtrek kan tekenen, of zelfs kan uitleggen wat de kat voelt, zonder dat hij van persoonlijkheid verandert of een ander brein nodig heeft voor elke taak. Dat is in essentie wat MODUS doet.

In het verleden werden AI-modellen vaak gebouwd als een Zwitsers zakmes met veel afzonderlijke gereedschappen: één lemmet voor tekst, één voor afbeeldingen, één voor diepte. Als je van een dieptekaart naar een afbeelding wilde gaan, had je misschien een keten van verschillende modellen nodig, waarbij elk de estafettestok doorgeeft aan de volgende. Dit paper betoogt dat dit inefficiënt en log is. In plaats daarvan gebruikt MODUS een decoder-only benadering. In eenvoudige termen is een "decoder" een type AI dat leert door de volgende stap in een reeks te voorspellen. Denk aan een spelletje "telefoontje" waarbij de AI probeert het volgende woord, de volgende pixel of de volgende dieptewaarde te raden op basis van alles wat eraan voorafging.

De magie van MODUS is dat het alles als een reeks behandelt.

• Tekst is een reeks woorden.
• Afbeeldingen worden opgedeeld in kleine stukjes (patches) en omgezet in een reeks getallen.
• Dieptekaarten en oppervlaktenormalen (die laten zien in welke richting een oppervlak wijst) worden ook omgezet in reeksen.

Omdat alles simpelweg een reeks tokens is, heeft MODUS geen verschillende "koppen" (gespecialiseerde onderdelen) nodig voor verschillende taken. Het kijkt gewoon naar de invoerreeks en voorspelt de uitvoerreeks. Als je het een foto geeft en om een dieptekaart vraagt, behandelt het de foto als het "begin" van het verhaal en de dieptekaart als de "voortzetting". Als je het een dieptekaart geeft en om een foto vraagt, draait het het scenario om.

De "Any-to-Any" Superkracht

Het paper noemt dit Any-to-Any modeling. Dit is het vermogen om elke combinatie van inputs te nemen en elke combinatie van outputs te genereren.

• Input: Een foto van een kamer. Output: Een tekstuele beschrijving van de kamer.
• Input: Een tekstuele beschrijving van een kamer. Output: Een foto van de kamer.
• Input: Een foto van een kamer. Output: Een dieptekaart (die laat zien hoe ver de meubels weg zijn).
• Input: Een dieptekaart. Output: Een foto.

De meeste eerdere modellen konden alleen specifieke paren uitvoeren, zoals "Tekst naar Afbeelding" of "Afbeelding naar Tekst". MODUS breekt die muren af. Het kan zelfs dingen doen die vreemd lijken voor andere modellen, zoals een "Canny edge" (een schets van contouren) direct om te zetten in een dieptekaart, of een foto en een tekstuele prompt combineren om een oppervlaktenormaal-kaart te genereren.

Het Geheime Ingrediënt: Uniforme Steekproefneming en Gefaseerde Training

Je vraagt je misschien af: "Als het alleen maar het voorspellen van de volgende token is, waarom is dat dan moeilijk?" De onderzoekers kwamen een paar lastige punten tegen.

Ten eerste was er een probleem met modaliteitsverwarring. Wanneer het model leerde om afbeeldingen of dieptekaarten te genereren, raakte het soms in de war. Het werd bijvoorbeeld gevraagd om een dieptekaart te genereren, maar produceerde per ongeluk een randenkaart. Het paper ontdekte dat dit gebeurde vanwege de manier waarop ze de "tijdstappen" tijdens de training selecteerden. Stel je voor dat je een model traint om een plaatje te tekenen door te beginnen met een wazige bende en het langzaam duidelijker te maken. Als je te veel tijd doorbrengt in het midden van het proces (waar het nog steeds wazig is) en niet genoeg tijd aan het begin (waar het model beslist wat het gaat tekenen), raakt het model in de war over wat het eigenlijk moet tekenen.

Om dit op te lossen, gebruikten ze uniforme tijdstap-sampling. In plaats van zich te concentreren op de middelste stappen, zorgden ze ervoor dat het model de allereerste stappen (het bepalen van de modaliteit) en de allerlaatste stappen (het verfijnen van de details) evenveel oefende. Dit hielp het model om te leren zeggen: "Oké, ik ben een dieptekaart aan het tekenen," voordat het zich zorgen ging maken over de details.

Ten tweede gebruikten ze een gefaseerde training aanpak. Ze gooiden niet alles tegelijk tegen het model aan.

1. Fase 1: Ze leerden het de basis van 1D-dingen zoals tekst en bounding boxes (grounding).
2. Fase 2: Ze voegden 2D ruimtelijke zaken toe zoals diepte, oppervlaktenormalen en randen.
3. Fase 3: Ze leerden het om meerdere inputs tegelijk te verwerken (multi-condition) en om dingen aan elkaar te koppelen.

Deze stapsgewijze aanpak hielp het model om te leren zonder overweldigd te raken, waardoor het de sterke kennis kon overnemen die het al had door training op tekst en afbeeldingen, en die kennis vervolgens kon uitbreiden naar nieuwe soorten gegevens.

Kettinggeneratie en Zelfverificatie

Een van de coolste functies van MODUS is Kettinggeneratie (Chained Generation). Omdat het model alles als een enkele reeks behandelt, kan het zijn eigen output gebruiken als de input voor de volgende stap.

• Stel je wilt een 3D-scène genereren vanuit een tekstuele beschrijving.
• In plaats van direct van "Tekst" naar "3D-scène" te springen, kan MODUS gaan: Tekst → Randenschets → Dieptekaart → Finale Afbeelding.
• De randenschets helpt het model de lay-out te begrijpen, de dieptekaart helpt het de geometrie te begrijpen, en de finale afbeelding wordt gebouwd op dat solide fundament.

Het paper laat zien dat deze keten het eindresultaat veel consistenter maakt. Als je alleen van Tekst naar Afbeelding zou proberen te gaan, zou het model de lay-out misschien fout doen. Maar door via een tussenstap (zoals een randenschets) te gaan, "vergrendelt" het model de structuur voordat het kleuren en details toevoegt.

Nog een slimme truc is Cross-Modale Zelfverificatie. Omdat MODUS elke modaliteit kan genereren, kan het zijn eigen werk controleren.

• Als MODUS een afbeelding genereert op basis van een tekstprompt, kan het onmiddellijk een "grounding" kaart genereren (die laat zien waar objecten zijn) of een vraag over de afbeelding beantwoorden (VQA).
• Als de gegenereerde afbeelding niet overeenkomt met de tekstuele beschrijving wanneer dit op deze manier wordt gecontroleerd, kan het model de afbeelding verwerpen en het opnieuw proberen.
• Het paper vond dat het gebruik van deze zelfcontrolerende methode de kwaliteit van de gegenereerde afbeeldingen verbeterde, waardoor ze nauwkeuriger werden aan de prompt zonder dat er externe tools nodig waren om ze te beoordelen.

De Resultaten: Een Enkel Model om Alles te Besturen

De onderzoekers testten MODUS op een enorme dataset genaamd MODUS-DATASET, die 29 miljoen samples bevat waarbij afbeeldingen gekoppeld zijn aan al deze verschillende annotaties (diepte, randen, tekst, etc.). Ze trainden het model op deze data en ontdekten dat het over de hele linie zeer goed presteert.

• Het kan Visual Grounding uitvoeren (objecten in een afbeelding vinden op basis van tekst) net zo goed als gespecialiseerde modellen.
• Het kan Diepte en Oppervlaktenormalen schatten met een hoge nauwkeurigheid.
• Het kan afbeeldingen genereren vanuit tekst die concurrerend zijn met andere topmodellen.
• Cruciaal is dat het dit alles doet met één enkel model. Je hoeft niet een ander model te downloaden voor diepte, een ander voor randen en een ander voor tekst.

Het paper merkt expliciet op dat hoewel eerdere modellen vaak moeite hadden om de prestaties van gespecialiseerde "single-task" experts te evenaren, MODUS erin slaagt om concurrerend te zijn met hen, terwijl het de flexibiliteit biedt om alles tegelijk te doen. Het suggereert dat de "decoder-only" benadering een krachtige fundering is voor de toekomst van multimodale AI, in staat om diverse soorten gegevens te verwerken zonder complexe, aangepaste architecturen nodig te hebben voor elke nieuwe taak.

Kortom, MODUS is een stap naar een meer verenigde AI — een die de wereld niet ziet als aparte categorieën van gegevens, maar als één enkel, onderling verbonden verhaal dat op elke gewenste manier verteld, opnieuw verteld en vertaald kan worden.