Stellen Sie sich eine Welt vor, in der Ihr Computer ein Bild nicht nur „sieht“ oder einen Satz nicht nur „liest“, sondern versteht, dass ein Bild, ein Satz, eine Karte über die Tiefe von Dingen und eine Skizze von Kanten alles nur verschiedene Sprachen sind, die dieselbe Realität beschreiben. Lange Zeit war künstliche Intelligenz wie ein Spezialist, der nur einen Dialekt spricht; ein Modell könnte großartig darin sein, Geschichten zu schreiben, aber schrecklich darin, zu zeichnen, oder hervorragend darin, Objekte zu erkennen, aber völlig ahnungslos darüber, wie weit sie entfernt sind. Wissenschaftler haben versucht, einen „Universalübersetzer“ für diese verschiedenen Arten von Daten zu bauen – was man „Modalitäten“ nennt –, damit ein einziges Gehirn nahtlos zwischen ihnen wechseln kann. Die große Herausforderung bestand darin, herauszufinden, wie man einem einzigen Gehirn beibringt, all diese Sprachen fließend zu sprechen, ohne für jedes einzelne Paar von Sprachen einen separaten Übersetzer zu benötigen.

Hier kommt MODUS ins Spiel, eine neue Art von KI-Modell, das wie ein meisterhafter Polyglott agiert. Anstatt eine massive, klobige Maschine mit verschiedenen Teilen für verschiedene Aufgaben zu bauen, haben die Forscher ein „Decoder-only“-Gehirn erschaffen. Stellen Sie sich das wie einen Geschichtenerzähler vor, der einer Geschichte zuhört und sie dann fortsetzt, egal in welcher Sprache die Geschichte erzählt wird. Egal, ob Sie ihm ein Foto, eine Textbeschreibung, eine Tiefenkarte (die zeigt, wie weit Objekte entfernt sind) oder eine Skizze von Kanten füttern, MODUS behandelt sie alle als einen einzigen, kontinuierlichen Strom von Tokens (wie Wörter in einem Satz). Es braucht keine speziellen Werkzeuge für die Tiefe oder spezielle Werkzeuge für Text; es sagt einfach voraus, was als Nächstes in der Sequenz kommt. Das bedeutet, es kann ein Foto nehmen und eine Tiefenkarte generieren, oder eine Tiefenkarte nehmen und ein Foto generieren, oder sie sogar miteinander verknüpfen: Foto → Kanten → Tiefe → neues Foto, alles in einem Rutsch. Die Arbeit zeigt, dass dieser Ansatz überraschend gut funktioniert und es dem Modell ermöglicht, komplexe Aufgaben wie die Selbstverifizierung (Self-Verification) durchzuführen und konsistente Bilder über mehrere Schritte hinweg zu erstellen, und das alles mit einer einzigen, einheitlichen Architektur.

Das Polyglot-Gehirn: Wie MODUS funktioniert

Stellen Sie sich vor, Sie haben einen Freund, der ein großartiger Geschichtenerzähler ist. Wenn Sie ihm ein Bild einer Katze geben, kann er sie beschreiben. Wenn Sie ihm eine Beschreibung einer Katze geben, kann er sie zeichnen. Stellen Sie sich nun vor, derselbe Freund kann Ihnen auch sagen, wie weit die Katze entfernt ist, oder eine Skizze ihres Umrisses zeichnen oder sogar erklären, was die Katze fühlt, und das alles, ohne seine Persönlichkeit zu ändern oder ein anderes Gehirn für jede Aufgabe zu benötigen. Das ist im Wesentlichen das, was MODUS tut.

In der Vergangenheit wurden KI-Modelle oft wie ein Schweizer Taschenmesser mit vielen separaten Werkzeugen gebaut: ein Messer für Text, eines für Bilder, eines für die Tiefe. Wenn man von einer Tiefenkarte zu einem Bild gelangen wollte, musste man möglicherweise eine Kette von verschiedenen Modellen verwenden, von denen jedes den Staffelstab an das nächste weiterreicht. Diese Arbeit argumentiert, dass dies ineffizient und klobig ist. Stattdessen verwendet MODUS einen Decoder-only-Ansatz. Vereinfacht gesagt ist ein „Decoder“ eine Art von KI, die lernt, indem sie das nächste Stück einer Sequenz vorhersagt. Denken Sie an ein Spiel wie „Stille Post“, bei dem die KI versucht, das nächste Wort, den nächsten Pixel oder den nächsten Tiefenwert basierend auf allem zu erraten, was zuvor kam.

Die Magie von MODUS liegt darin, dass es alles als eine Sequenz behandelt.

• Text ist eine Sequenz von Wörtern.
• Bilder werden in winzige Patches zerlegt und in eine Sequenz von Zahlen umgewandelt.
• Tiefenkarten und Oberflächennormalen (die zeigen, in welche Richtung eine Oberfläche weist) werden ebenfalls in Sequenzen umgewandelt.

Da alles nur eine Sequenz von Tokens ist, benötigt MODUS keine unterschiedlichen „Köpfe“ (spezialisierte Teile) für verschiedene Aufgaben. Es betrachtet einfach die Eingabesequenz und sagt die Ausgabesequenz voraus. Wenn Sie ihm ein Foto geben und nach einer Tiefenkarte fragen, behandelt es das Foto als den „Anfang“ der Geschichte und die Tiefenkarte als die „Fortsetzung“. Wenn Sie ihm eine Tiefenkarte geben und nach einem Foto fragen, kehrt es das Szenario um.

Die „Any-to-Any“-Superkraft

Die Arbeit bezeichnet dies als Any-to-Any-Modellierung. Dies ist die Fähigkeit, jede Kombination von Eingaben zu nehmen und jede Kombination von Ausgaben zu generieren.

• Input: Ein Foto eines Raumes. Output: Eine Textbeschreibung des Raumes.
• Input: Eine Textbeschreibung eines Raumes. Output: Ein Foto des Raumes.
• Input: Ein Foto eines Raumes. Output: Eine Tiefenkarte (die zeigt, wie weit die Möbel entfernt sind).
• Input: Eine Tiefenkarte. Output: Ein Foto.

Die meisten bisherigen Modelle konnten nur spezifische Paare leisten, wie „Text zu Bild“ oder „Bild zu Text“. MODUS reißt diese Mauern nieder. Es kann sogar Dinge tun, die für andere Modelle seltsam erscheinen, wie zum Beispiel eine „Canny-Kante“ (eine Skizze von Umrissen) direkt in eine Tiefenkarte umzuwandeln oder ein Foto und einen Text-Prompt zu kombinieren, um eine Oberflächennormalen-Karte zu generieren.

Das Geheimrezept: Uniform Sampling und gestuftes Training

Sie fragen sich vielleicht: „Wenn es nur darum geht, den nächsten Token vorherzusagen, warum ist das so schwer?“ Die Forscher stießen auf einige knifflige Punkte.

Erstens gab es ein Problem mit der Modalitätsverwirrung (Modality Confusion). Wenn das Modell lernte, Bilder oder Tiefenkarten zu generieren, kam es manchmal durcheinander. Es wurde vielleicht gebeten, eine Tiefenkarte zu generieren, produzierte aber versehentlich eine Kantenkarte. Die Arbeit entdeckte, dass dies geschah, weil die Art und Weise, wie sie die „Zeitschritte“ während des Trainings sampelten, problematisch war. Stellen Sie sich vor, Sie trainieren ein Modell darauf, ein Bild zu zeichnen, indem Sie mit einem verschwommenen Durcheinander beginnen und es langsam klarer machen. Wenn Sie zu viel Zeit in der Mitte des Prozesses verbringen (wo es noch verschwommen ist) und nicht genug Zeit am ganz frühen Anfang (wo das Modell entscheidet, was es zeichnet), wird das Modell verwirrt darüber, was es eigentlich zeichnen soll.

Um dies zu beheben, verwendeten die Teammitglieder ein Uniform Timestep Sampling. Anstatt sich auf die mittleren Schritte zu konzentrieren, stellten sie sicher, dass das Modell die allerersten Schritte (Entscheidung der Modalität) und die allerletzten Schritte (Verfeinerung der Details) gleichermaßen übt. Dies half dem Modell zu lernen zu sagen: „Okay, ich zeichne eine Tiefenkarte“, bevor es sich um die Details sorgt.

Zweitens verwendeten sie einen gestuften Trainingsansatz (Staged Training). Sie warfen dem Modell nicht alles auf einmal zu.

1. Stufe 1: Sie lehrten es die Grundlagen von 1D-Dingen wie Text und Bounding Boxes (Grounding).
2. Stufe 2: Sie fügten 2D-räumliche Dinge wie Tiefe, Oberflächennormalen und Kanten hinzu.
3. Stufe 3: Sie brachten ihm bei, mehrere Eingaben gleichzeitig zu handhaben (Multi-Condition) und diese miteinander zu verknüpfen.

Dieser schrittweise Ansatz half dem Modell, zu lernen, ohne überfordert zu werden, wodurch es das starke Wissen, das es bereits durch das Training mit Text und Bildern erworben hatte, übernehmen und dieses Wissen auf neue Arten von Daten ausweiten konnte.

Verkettete Generierung und Selbstverifizierung

Eine der coolsten Funktionen von MODUS ist die Verkettete Generierung (Chained Generation). Da das Modell alles als eine einzige Sequenz behandelt, kann es seinen eigenen Output als Input für den nächsten Schritt verwenden.

• Stellen Sie sich vor, Sie möchten eine 3D-Szene aus einer Textbeschreibung generieren.
• Anstatt zu versuchen, direkt von „Text“ zu „3D-Szene“ zu springen, kann MODUS gehen: Text → Kanten-Skizze → Tiefenkarte → Finales Bild.
• Die Kanten-Skizze hilft dem Modell, das Layout zu verstehen, die Tiefenkarte hilft ihm, die Geometrie zu verstehen, und das finale Bild wird auf diesem soliden Fundament aufgebaut.

Die Arbeit zeigt, dass diese Verkettung das Endergebnis wesentlich konsistenter macht. Wenn man nur versucht, direkt von Text zu Bild zu gehen, könnte das Modell das Layout falsch darstellen. Aber indem man über einen Zwischenschritt (wie eine Kanten-Skizze) geht, „verriegelt“ das Modell die Struktur, bevor es Farben und Details hinzufügt.

Ein weiterer raffinierter Trick ist die kreuzmodale Selbstverifizierung (Cross-Modal Self-Verification). Da MODUS jede Modalität generieren kann, kann es seine eigene Arbeit überprüfen.

• Wenn MODUS ein Bild aus einem Text-Prompt generiert, kann es sofort eine „Grounding“-Karte (die zeigt, wo sich Objekte befinden) generieren oder eine Frage über das Bild beantworten (VQA).
• Wenn das generierte Bild bei dieser Überprüfung nicht zur Textbeschreibung passt, kann das Modell es verwerfen und es erneut versuchen.
• Die Arbeit fand heraus, dass die Verwendung dieser Selbstkontrollmethode die Qualität der generierten Bilder verbesserte, was sie genauer auf den Prompt abstimmte, ohne dass externe Werkzeuge zur Bewertung nötig waren.

Das Ergebnis: Ein einziges Modell, um alle zu regieren

Die Forscher testeten MODUS auf einem massiven Datensatz namens MODUS-DATASET, der 29 Millionen Stichproben enthält, bei denen Bilder mit all diesen verschiedenen Annotationen (Tiefe, Kanten, Text usw.) gepaart sind. Sie trainierten das Modell auf diesen Daten und fanden heraus, dass es in allen Bereichen sehr gut abschneidet.

• Es kann Visual Grounding (Objekte in einem Bild basierend auf Text finden) genauso gut wie spezialisierte Modelle.
• Es kann Tiefe und Oberflächennormalen mit hoher Genauigkeit schätzen.
• Es kann Bilder aus Text generieren, die mit anderen Top-Modellen konkurrieren können.
• Entscheidend ist, dass es all dies mit einem einzigen Modell erledigt. Sie müssen kein anderes Modell für Tiefe, ein anderes für Kanten und ein weiteres für Text herunterladen.

Die Arbeit stellt explizit fest, dass, während frühere Modelle oft Schwierigkeiten hatten, mit spezialisierten „Single-Task“-Experten mitzuhalten, MODUS es schafft, mit diesen konkurrenzfähig zu sein, während es gleichzeitig die Flexibilität bietet, alles gleichzeitig zu tun. Dies deutet darauf darauf hin, dass der „Decoder-only“-Ansatz eine leistungsstarke Grundlage für die Zukunft der multimodalen KI ist, die in der Lage ist, vielfältige Datentypen ohne komplexe, maßgeschneiderte Architekturen für jede neue Aufgabe zu handhaben.

Kurz gesagt ist MODUS ein Schritt hin zu einer vereinheitlichten KI – einer, die die Welt nicht als separate Datenkategorien sieht, sondern als eine einzige, miteinander verbundene Geschichte, die in jeder Sprache, die sie wählen kann, erzählt, neu erzählt und übersetzt werden kann.