Images in Sentences: Scaling Interleaved Instructions for Unified Visual Generation
Die Arbeit stellt INSET vor, ein einheitliches visuelles Generierungsmodell, das Bilder als native Vokabel-Token innerhalb textueller Anweisungen integriert und eine skalierbare Datengrundlage von 15 Millionen verflochtener Stichproben nutzt, um bestehende Methoden in Bezug auf die Konsistenz bei mehreren Bildern und das Befolgen komplexer Anweisungen deutlich zu übertreffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Künstler einen sehr spezifischen, komplexen Auftrag zu erteilen.
Der alte Weg (Das „Kartenindex"-Problem)
Derzeit funktionieren die meisten KI-Bildgeneratoren wie ein Bibliothekar, der nur Zahlen versteht. Wenn Sie ein Bild mit einem bestimmten Hund aus einem Foto, einem bestimmten Hut aus einem anderen und einem bestimmten Hintergrund aus einem dritten wünschen, müssen Sie sagen: „Zeichnen Sie ein Bild unter Verwendung des Hundes aus Bild #1, des Hutes aus Bild #2 und des Hintergrunds aus Bild #3."
Die KI muss sich merken, welche Zahl welchem Bild entspricht, während sie malt. Je mehr Bilder Sie hinzufügen, desto verwirrter wird die KI. Sie vergisst, welcher Hut zu welchem Hund gehört, oder ignoriert die zusätzlichen Bilder ganz. Es ist, als würde man versuchen, fünf Bälle zu jonglieren, während man eine Augenbinde trägt; früher oder später lässt man sie fallen.
Der neue Weg: „Bilder in Sätzen" (Inset)
Die Studie stellt ein neues Modell namens Inset (Images in Sentences) vor. Anstatt Bilder als separate Dateien mit Nummern zu behandeln, behandelt Inset Bilder wie Wörter in einem Satz.
Stellen Sie sich vor, Sie schreiben eine Geschichte, aber anstatt das Wort „Hund" zu schreiben, fügen Sie ein winziges, perfektes Bild dieses spezifischen Hundes direkt in den Satz ein.
- Alter Weg: „Setzen Sie den Hund aus Bild 1 auf den Stuhl."
- Inset-Weg: „Setzen Sie [Bild des Hundes] auf den Stuhl."
Da das Bild direkt neben dem Wort „Stuhl" im Satz steht, muss die KI keine Zahl erraten oder sich merken. Die Bedeutung ist direkt dort, ganz vorne und im Mittelpunkt. Dies ermöglicht es der KI, komplexe Anweisungen mit vielen verschiedenen Bildern zu verarbeiten, ohne verwirrt zu werden.
Wie sie die KI trainierten (Die „Datenfabrik")
Um die KI dazu zu bringen, dies zu tun, konnten die Forscher nicht einfach genügend Beispiele im Internet finden, da diese selten sind. Stattdessen bauten sie eine skalierbare Daten-Engine (eine Roboterfabrik für Daten).
- Für Fotos: Sie nahmen Millionen von Fotos und nutzten andere intelligente KIs, um sie zu zerlegen. Sie identifizierten jedes Objekt (wie eine „rote Vase" oder eine „blaue Katze"), schrieben einen Satz darüber und fügten dann das tatsächliche Bild dieses Objekts direkt in den Satz an die Stelle ein, wo die Beschreibung stand.
- Für Videos: Sie analysierten Videos, um der KI beizubringen, wie sich Dinge verändern. Wenn ein Video zeigt, wie eine Katze springt, erstellten sie Anweisungen, die besagen: „Nehmen Sie die Katze vom Anfang [Bild einer sitzenden Katze] und lassen Sie sie springen [Bild einer springenden Katze]." Dies lehrt die KI, Bewegung und Transformation zu verstehen, nicht nur statisches Kopieren.
Sie erstellten 15 Millionen dieser „Bild-Sätze", um das Modell zu trainieren.
Die Ergebnisse
Sie testeten dieses neue Modell auf einer schwierigen Herausforderung namens InterleaveBench, bei der viele verschiedene Bilder in eine komplexe Anfrage gemischt werden.
- Die Punktzahl: Wenn darum gebeten wurde, 2 Bilder zu verwenden, schnitt Inset gut ab. Aber als darum gebeten wurde, 5 Bilder zu verwenden, brachen die alten Modelle zusammen, während Inset immer besser wurde. Es war deutlich genauer darin, die Objekte so aussehen zu lassen wie die Originale und den Textanweisungen zu folgen.
- Der Bonus: Da die KI gelernt hat, Bilder als Teil der Anweisung zu behandeln, kann sie auch bearbeiten. Sie können ihr ein Bild eines bestimmten Hemdes zeigen und sagen: „Tragen Sie dieses Hemd auf die Person auf dem Foto", und sie wird das genaue Design dieses Hemdes kopieren, anstatt nur zu erraten, wie ein „Hemd" aussieht.
Zusammenfassung
Die Studie behauptet, dass wir durch das Stoppen der Verwendung von „Zahlen" durch die KI zum Referenzieren von Bildern und stattdessen das „Lesen" von Bildern als wären sie Wörter, viel leistungsfähigere Werkzeuge zur Generierung und Bearbeitung komplexer Bilder schaffen können. Sie bewiesen dies, indem sie eine riesige Bibliothek von Übungsbeispielen aufbauten und zeigten, dass ihr neues Modell alle aktuellen Open-Source-Wettbewerber schlägt, insbesondere wenn die Aufgaben kompliziert werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.