💻 computer science

FullFlow: Upgrading Text-to-Image Flow Matching Models for Bidirectional Vision--Language Generation

FullFlow ist eine parameter-effiziente Methode, die vortrainierte rectified-flow Text-zu-Bild-Modelle durch das Training ausschließlich leichtgewichtiger Adapter in bidirektionale Vision-Language-Generatoren umwandelt und dabei sowohl bei der Bild- als auch bei der Textgenerierung State-of-the-Art-Leistung erzielt, während sie im Vergleich zu bestehenden Ansätzen die Rechenkosten erheblich senkt.

Ursprüngliche Autoren: Eric Tillmann Bill, Enis Simsar, Alessio Tonioni, Thomas Hofmann

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Eric Tillmann Bill, Enis Simsar, Alessio Tonioni, Thomas Hofmann

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Meisterkoch, der für eine ganz bestimmte Sache unglaublich berühmt ist: aus einem schriftlichen Rezept (Text) ein köstliches, perfektes Gericht (ein Bild) zu zaubern. Dieser Koch hat Jahre damit verbracht, genau zu lernen, wie Wörter wie „scharf", „goldbraun" und „knusprig" in Geschmacksrichtungen und Texturen übersetzt werden.

Allerdings hat dieser Koch eine Einschränkung: Er arbeitet nur in eine Richtung. Wenn Sie ihm ein Bild eines Gerichts geben, kann er Ihnen das Rezept nicht nennen. Er steckt in der Spur „Text-zu-Bild" fest.

FullFlow ist eine neue, clevere Trainingsmethode, die diesemselben Koch beibringt, in beide Richtungen zu arbeiten, ohne ihn zu feuern oder ihn von vorne beginnen zu lassen. Sie verwandelt den Koch in einen echten „Feinschmecker und Erschaffer", der ein Gericht betrachten und das Rezept beschreiben oder ein Rezept betrachten und das Gericht zubereiten kann – und dabei gleichzeitig seine ursprünglichen Kochkünste intact behält.

Hier ist, wie sie es geschafft haben, aufgeteilt in einfache Konzepte:

1. Das „Zwei-Spur"-System

Normalerweise versucht eine KI, wenn sie sowohl Text als auch Bilder bewältigen soll, sie in dieselbe „Sprache" zu zwingen. Es ist, als würde man einem Koch beibringen wollen, gleichzeitig „Bildisch" und „Wörtlich" zu sprechen, was ihn oft verwirrt und seine ursprünglichen Kochkünste ruiniert.

FullFlow verfolgt einen anderen Ansatz. Es hält die beiden Spuren getrennt, aber verbunden:

Die Bildspur: Der Koch nutzt weiterhin seinen ursprünglichen, hochwertigen „kontinuierlichen" Fluss für Bilder. Hier ändert sich nichts; die Fähigkeit des Kochs, zu kochen, bleibt perfekt.
Die Textspur: Für Text fügen sie ein neues, leichtgewichtiges „Einfüge"-Werkzeug hinzu. Anstatt Wörter aus dem Nichts zu erraten, lernt das Modell, fehlende Wörter in einem Satz einzufügen, wie bei einem Spiel „Mad Libs", bei dem man mit einer leeren Seite beginnt und nach und nach Wörter einfügt, bis ein ganzer Satz erscheint.

2. Die „Ampel"-Analogie

Stellen Sie sich vor, die KI fährt mit einem Auto durch eine Stadt, in der die Zeit eine Ampel ist.

Alter Weg: Das Auto musste an jeder Ampel halten, um zwischen „Bild-Modus" und „Text-Modus" zu wechseln.
FullFlow-Weg: Das Auto hat nun zwei separate Ampeln: eine für das Bild ( $t$ $t$ ) und eine für den Text ( $\tau$ $τ$ ).
- Wenn Sie Text in Bild verwandeln wollen, halten Sie die Textampel auf Grün (fertig) und lassen die Bildampel von Rot auf Grün wechseln.
- Wenn Sie Bild in Text verwandeln wollen, halten Sie die Bildampel auf Grün und lassen die Textampel wechseln.
- Wenn Sie beide gleichzeitig erstellen wollen, lassen Sie beide Ampeln gleichzeitig wechseln.

Dies gibt der KI die volle Freiheit, ihren Weg zu wählen, ohne stecken zu bleiben.

3. Das „Winzige Upgrade" (LoRA)

Das größte Problem beim Beibringen neuer Tricks an eine riesige KI besteht darin, dass dies normalerweise einen massiven, teuren Umbau erfordert. Es ist, als würde man die gesamte Küche neu bauen, um dem Koch das Brotbacken beizubringen.

FullFlow ist ein „budgetfreundliches" Upgrade. Anstatt die Küche neu zu bauen, fügten sie nur ein paar kleine, abnehmbare Werkzeuge (sogenannte LoRA-Adapter) und ein neues Notizbuch für den Koch hinzu.

Sie trainierten nur etwa 5 % des Gehirns des Modells.
Der Rest des Wissens des Kochs (der „vortrainierte Bildprior") wurde eingefroren und unberührt gelassen.
Ergebnis: Der Koch lernte, Bilder zu beschreiben und Fragen zu beantworten, ohne zu vergessen, wie man kocht.

4. Der „Lehrer"-Trick

Als man dem Koch beibrachte, Bilder zu beschreiben, bestand die Gefahr, dass er begann, das Kochen zu vergessen (die Bildqualität würde unscharf werden).

Um dies zu beheben, nutzten die Forscher einen „Lehrer"-Trick. Stellen Sie sich vor, der Koch übt eine neue Fähigkeit, während ein Meisterkoch (die ursprüngliche, eingefrorene Version seiner selbst) zuschaut. Dem Schülerkoch wird gesagt: „Stellen Sie sicher, dass Ihr Bild genau so aussieht wie das Bild des Meisterkochs, selbst während Sie die Beschreibung schreiben."
Dies stellt sicher, dass die neuen Fähigkeiten die alten nicht ruinieren.

Was kann es leisten?

Dank dieses Upgrades kann das Modell nun:

Text $\to$ Bild: „Zeichne einen Drachen in einer Tasse." (Die ursprüngliche Fähigkeit).
Bild $\to$ Text: Zeigen Sie ein Bild einer Katze, und es schreibt: „Eine schwarze Katze, die auf einem Teppich sitzt."
Gemeinsame Generierung: Erstellen Sie ein Bild und eine Beschreibung zur exakt gleichen Zeit, perfekt aufeinander abgestimmt.
Visuelles Q&A: Zeigen Sie ein Bild eines Kindes mit einem Hut und fragen Sie: „Welche Farbe hat der Hut?" Das Modell füllt nur die Antwort ein („Schwarz"), ohne den ganzen Satz neu zu schreiben.

Das Fazit

Die Arbeit zeigt, dass man kein riesiges neues KI-Modell von Grund auf neu trainieren muss, um es zu verstehen, sowohl Bilder als auch Wörter zu verstehen. Man kann einen leistungsstarken Bilderschaffer nehmen, ihm ein paar kleine, intelligente Werkzeuge geben, und er wird sofort zu einem Gesprächspartner in beide Richtungen.

In ihren Tests war diese Methode 8-mal schneller und verwendete weniger als die Hälfte des Computerspeichers im Vergleich zu früheren Methoden, während sie deutlich bessere Ergebnisse lieferte. Sie bewies, dass das „Bild-Gehirn" bereits mehr über Sprache und Bedeutung weiß, als wir dachten; es brauchte nur den richtigen Schlüssel, um es zu entsperren.

Technische Zusammenfassung: FullFlow

Problemstellung

Moderne Text-zu-Bild (T2I)-Diffusions- und rektifizierte-Flow-Modelle verfügen über reiche visuelle Priors und starke generative Fähigkeiten, arbeiten jedoch strikt unidirektional: Text rein, Bild raus. Zwar existieren vereinheitlichte Vision-Language-Modelle (VLMs), doch werden diese typischerweise konstruiert, indem ein vortrainiertes Sprachmodell mit einem visuellen Encoder konditioniert wird oder durch teures gemeinsames Vor-Training von Grund auf neu trainiert wird. Diese Ansätze verwerfen oft die starken Bild-Priors, die bereits in T2I-Backbones kodiert sind, oder erfordern ein substantielles Nachtrainieren, das rechnerisch prohibitiv ist. Die zentrale Frage, die diese Arbeit adressiert, lautet, ob ein vortrainiertes T2I-Flow-Modell ohne vollständiges multimodales Vor-Training oder ohne Opferung des ursprünglichen Bild-Priors zu einem bidirektionalen Vision-Language-Generator aufgerüstet werden kann.

Methodik

Die Autoren schlagen FullFlow vor, ein parameter-effizientes Rezept, das ein vortrainiertes rektifiziertes-Flow-T2I-Modell (speziell Stable Diffusion 3 und FLUX.1-dev) in einen bidirektionalen Generator verwandelt. Die Kerninnovation besteht darin, die beiden Modalitäten asymmetrisch, aber kompatibel innerhalb eines einzigen gemeinsamen Backbones zu behandeln.

1. Native-Raum multimodale Erweiterung

Bild-Modalität: Bilder bleiben in ihrem nativen kontinuierlichen rektifizierten-Flow-Latenzraum. Das Modell bewahrt den vortrainierten kontinuierlichen Bildprozess.
Text-Modalität: Text wird über einen diskreten Einfügeprozess behandelt, der auf Edit Flows basiert. Im Gegensatz zu maskenbasiertem diskretem Diffusionsverfahren (das Out-of-Vocabulary-Tokens einführt, die mit eingefrorenen Encodern inkompatibel sind), verwendet FullFlow einen deletionsbasierten Vorwärtsprozess. Dies stellt sicher, dass auf jedem Rauschniveau der korrupte Textzustand eine gültige Token-Teilsequenz ist, die für auxiliary Encoder (z. B. CLIP) decodiert und neu tokenisiert werden kann.
Architektur: Ein einziger gemeinsamer Backbone (MM-DiT) verarbeitet beide Modalitäten. Das Modell wird auf zwei entkoppelte Zeitschritte konditioniert: $t$ $t$ für Bildzeit und $\tau$ $τ$ für Textzeit.
- Eingefrorene Komponenten: Die Backbone-Gewichte und alle auxiliary Text-Encoder (T5, CLIP) bleiben eingefroren.
- Trainierbare Komponenten: Nur LoRA-Adapter (angewendet auf lineare Transformer-Schichten), leichte Text-Köpfe (für Einfügeanzahlen und Token-Identitäten) und neue Zeitschritt-Konditionierungspfade werden trainiert. Dies entspricht dem Training von nur ca. 5 % der Parameter für SD3 und ca. 2,5 % für FLUX.1.

2. Dual-Zeitschritt-Trainingsziel

Das Trainingsziel umfasst die gemeinsame Vorhersage der Bildgeschwindigkeit und fehlender Text-Einfügungen basierend auf dem Paar der Zeitschritte $(t, \tau)$ .

Korruptionsplan: Die Autoren vergleichen einen „alternating-clean"-Plan (Training nur auf Endpunkt-konditionierten Aufgaben) mit einem „mixed-corruption"-Plan, bei dem $(t, \tau) \sim \text{Unif}([0, 1]^2)$ gilt. Sie stellen fest, dass ein hybrider Ansatz – Vor-Training mit gemischter Korruption zum Erlernen der cross-modalen Korrespondenz, gefolgt von Verfeinerung mit alternating-clean – die besten Ergebnisse liefert.
Stabilisierung:
- Adaptives Gradienten-Balancing: Um die Skalendiskrepanz zwischen dem MSE-basierten Bildverlust und dem cross-entropy/zählbasierten Textverlust zu adressieren, passen die Autoren das Textverlustgewicht $\lambda_{txt}$ dynamisch unter Verwendung eines exponentiellen gleitenden Durchschnitts (EMA) des Gradientenverhältnisses an.
- Teacher Matching: Um eine Verschlechterung des vortrainierten Bild-Priors während des Fine-Tunings auf neuen Datenverteilungen zu verhindern, wird die Bildgeschwindigkeitsregression durch ein „same-noise teacher matching"-Ziel ersetzt. Der Teacher ist derselbe Backbone mit deaktivierten LoRA-Schichten, was keinen zusätzlichen Speicher erfordert.

3. Inferenzmodi

Die Entkopplung von $t$ und $\tau$ verwandelt die Inferenz in die Trajektorienauswahl in einem 2D-generativen Raum:

Text $\to$ Bild: Fixiere $\tau=1$ (klarer Text), entwickle $t$ von 0 bis 1.
Bild $\to$ Text: Fixiere $t=1$ (klares Bild), entwickle $\tau$ von 0 bis 1.
Gemeinsames Sampling: Entwickle sowohl $t$ als auch $\tau$ gleichzeitig.
Teil-Text-Generierung (VQA): Fixiere die Bild- und Frage-Token und beschränke den Einfügeprozess auf den Antwortbereich. Dies ermöglicht Visuelle Fragenbeantwortung ohne separaten Decoder.

Hauptbeiträge

C1: Umwandlung eines vortrainierten T2I rektifizierten-Flow-Modells in einen bidirektionalen Generator durch Training nur von LoRA-Adaptern und leichten Text-Köpfen unter erfolgreicher Bewahrung des vortrainierten Bild-Priors.
C2: Einführung eines Dual-Zeitschritt-Frameworks, bei dem Bilder im kontinuierlichen Flow verbleiben und Text einen diskreten Einfügeprozess verwendet, was konditionierte, gemeinsame und Teil-Text-Generierung als Trajektorien in einem vereinheitlichten $(t, \tau)$ -Raum ermöglicht.
C3: Nachweis überlegener Leistung gegenüber einem passenden Dual Diffusion-LoRA-Baseline auf SD3 und FLUX.1-dev sowohl in der Text-zu-Bild-Bewahrung als auch in der Bild-zu-Text-Qualität, bei gleichzeitiger Unterstützung nachgelagerter VQA-Aufgaben mit minimalen Rechenressourcen.

Experimentelle Ergebnisse

Die Autoren bewerten FullFlow auf SD3 und FLUX.1-dev unter Verwendung einer passenden Parameteranzahl und LoRA-Rang gegenüber einer neu implementierten Dual Diffusion-Baseline.

Effizienz: FullFlow trainiert auf zwei RTX A5000-GPUs in unter 24 Stunden, reduziert den Spitzen-VRAM von ~84 GB (Dual Diffusion) auf ~38 GB und erhöht den Durchsatz um das ~8-fache.
Text-zu-Bild (SD3): Bei angepasster Wanduhrzeit verbessert FullFlow den FID von 62,7 auf 31,6 (und 29,3 bei angepassten Schritten) sowie den CMMD von 0,870 auf 0,121 und demonstriert damit eine starke Bewahrung des Bild-Priors.
Bild-zu-Text (SD3): FullFlow erzielt bei angepasster Wanduhrzeit einen CIDEr-Score von 99,4 (vs. 2,0 für die Baseline) und 13,4 bei angepassten Schritten.
Nachgelagerte Aufgaben: Auf VQA-Benchmarks (VQAv2, VizWiz, OKVQA) erreicht FullFlow (mit nur 130M trainierbaren Parametern) eine wettbewerbsfähige Genauigkeit und übertrifft die Dual Diffusion-Baseline auf VizWiz bemerkenswert (50,7 vs. 29,9).
Transferierbarkeit: Das Rezept überträgt sich erfolgreich auf FLUX.1-dev und erzielt nach 36 Stunden Training einen CIDEr von 73,6.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass FullFlow demonstriert, dass starke bidirektionale Vision-Language-Fähigkeiten aus vortrainierten T2I-Flow-Modellen ohne Notwendigkeit eines vollständigen multimodalen Vor-Trainings freigeschaltet werden können. Die Ergebnisse deuten darauf hin, dass vortrainierte T2I-Priors eine reichhaltigere visuell-semantische Struktur kodieren als allgemein angenommen, die in der Lage ist, inverse Aufgaben (Bild-zu-Text) und gemeinsame Generierung durch leichte Anpassung zu unterstützen.

Die Autoren positionieren diese Arbeit als „rechnerisch machbaren Proof of Concept" und nicht als Anspruch auf Spitzenleistung im End-to-End-Betrieb. Sie betonen, dass ihre Methode bidirektionale rektifizierte-Flow-Modelle der breiteren Forschungscommunity zugänglich macht, indem sie nur handelsübliche GPUs und einen kleinen Bruchteil der Parameter erfordert, die typischerweise für vereinheitlichte Modelle benötigt werden. Sie erkennen Einschränkungen an, darunter den aktuellen Fokus auf eine Auflösung von 256 $\times$ 256 und das Fehlen einer Skalierung auf größere Datensätze oder Instruction Tuning für komplexe Dialoge, und vermerken diese als zukünftige Richtungen.