Technische Samenvatting: FullFlow

Probleemstelling

Moderne text-to-image (T2I) diffusie- en gecorrigeerde-flow-modellen beschikken over rijke visuele priors en sterke generatieve capaciteiten, maar werken strikt unidirectioneel: tekst in, afbeelding uit. Hoewel er geünificeerde vision-language modellen (VLMs) bestaan, worden deze doorgaans geconstrueerd door een vooraf getraind taalmodel te conditioneren met een visuele encoder of door dure gezamenlijke pretraining vanaf nul uit te voeren. Deze benaderingen verwerpen vaak de sterke beeldpriors die al in T2I-backbones zijn gecodeerd, of vereisen aanzienlijke hertraining die computationeel onbetaalbaar is. De centrale vraag die dit werk adresseert, is of een vooraf getraind T2I-flow-model kan worden opgewaardeerd tot een bidirectionele vision-language generator zonder volledige multimodale pretraining of ten koste van de originele beeldprior.

Methodologie

De auteurs stellen FullFlow voor, een parameter-efficiënt recept dat een vooraf getraind gecorrigeerde-flow T2I-model (specifiek Stable Diffusion 3 en FLUX.1-dev) opwaardeert tot een bidirectionele generator. De kerninnovatie ligt in het asymmetrisch maar compatibel behandelen van de twee modaliteiten binnen een enkele gedeelde backbone.

1. Native-Space Multimodale Extensie

• Beeldmodaliteit: Afbeeldingen blijven in hun native continue gecorrigeerde-flow latentruimte. Het model behoudt het vooraf getrainde continue beeldproces.
• Tekstmodaliteit: Tekst wordt verwerkt via een discrete insertieproces gebaseerd op Edit Flows. In tegenstelling tot op maskers gebaseerde discrete diffusie (wat tokens buiten het vocabulaire introduceert die incompatibel zijn met bevroren encoders), maakt FullFlow gebruik van een op verwijdering gebaseerd voorwaarts proces. Dit zorgt ervoor dat op elk ruisniveau de beschadigde teksttoestand een geldige token-subsequentie is die kan worden gedecodeerd en opnieuw kan worden getokeniseerd voor auxiliaire encoders (bijv. CLIP).
• Architectuur: Een enkele gedeelde backbone (MM-DiT) verwerkt beide modaliteiten. Het model wordt geconditioneerd op twee ontkoppelde tijdstappen: $t$ voor beeldtijd en $\tau$ voor teksttijd.
  • Bevroren Componenten: De backbone-weights en alle auxiliaire tekstencoders (T5, CLIP) blijven bevroren.
  • Trainbare Componenten: Alleen LoRA-adapters (toegepast op transformer-lineaire lagen), lichtgewicht tekstkoppen (voor insertieaantallen en token-identiteiten) en nieuwe tijdstap-conditioneringspaden worden getraind. Dit komt neer op het trainen van slechts ongeveer 5% van de parameters voor SD3 en ongeveer 2,5% voor FLUX.1.

2. Dual-Tijdstap Trainingsdoel

Het trainingsdoel omvat het gezamenlijk voorspellen van de beeldsnelheid en ontbrekende tekstinserties op basis van het paar tijdstappen $(t, \tau)$.

• Corruptieschema: De auteurs vergelijken een "alternerend-schoon" schema (trainen alleen op endpoint-geconditioneerde taken) met een "gemengd-corruptie" schema waarbij $(t, \tau) \sim \text{Unif}([0, 1]^2)$. Zij constateren dat een hybride aanpak – pretraining met gemengde corruptie om cross-modale correspondentie te leren, gevolgd door verfijning met alternerend-schoon – de beste resultaten oplevert.
• Stabilisatie:
  • Adaptieve Gradientbalancering: Om de schaalverschil tussen de op MSE gebaseerde beeldverlies en het op cross-entropy/aantal gebaseerde tekstverlies aan te pakken, passen de auteurs dynamisch de tekstverliesgewicht $\lambda_{txt}$ aan met behulp van een exponentiële voortschrijdend gemiddelde (EMA) van de gradientratio.
  • Leraar-Matching: Om degradatie van de vooraf getrainde beeldprior tijdens fine-tuning op nieuwe gegevensverdelingen te voorkomen, wordt de beeldsnelheidsregressie vervangen door een "dezelfde-ruis leraar-matching" doelstelling. De leraar is dezelfde backbone met LoRA-lagen uitgeschakeld, wat geen extra geheugen vereist.

3. Inferentiemodi

Het ontkoppelen van $t$ en $\tau$ transformeert inferentie naar trajectselectie in een 2D generatieve ruimte:

• Tekst $\to$ Beeld: Fixeer $\tau=1$ (schone tekst), evolueer $t$ van 0 tot 1.
• Beeld $\to$ Tekst: Fixeer $t=1$ (schone afbeelding), evolueer $\tau$ van 0 tot 1.
• Gezamenlijke Sampling: Evolueer zowel $t$ als $\tau$ gelijktijdig.
• Partiële-tekstgeneratie (VQA): Fixeer de afbeelding en vraagtokens, en beperk het insertieproces tot het antwoordsegment. Dit maakt Visuele Vraagbeantwoording mogelijk zonder een aparte decoder.

Belangrijkste Bijdragen

1. C1: Het converteren van een vooraf getraind T2I gecorrigeerde-flow-model tot een bidirectionele generator door alleen LoRA-adapters en lichtgewicht tekstkoppen te trainen, waarbij de vooraf getrainde beeldprior succesvol wordt behouden.
2. C2: Het introduceren van een dual-tijdstap kader waarbij afbeeldingen in continue flow blijven en tekst een discrete insertieproces gebruikt, wat conditionele, gezamenlijke en partiële-tekstgeneratie mogelijk maakt als trajecten in een geünificeerde $(t, \tau)$-ruimte.
3. C3: Het demonstreren van superieure prestaties ten opzichte van een gematchte Dual Diffusion-LoRA-baseline op SD3 en FLUX.1-dev, zowel in text-to-image-behoud als image-to-text-kwaliteit, terwijl downstream VQA wordt ondersteund met minimale computationele middelen.

Experimentele Resultaten

De auteurs evalueren FullFlow op SD3 en FLUX.1-dev met een gematcht parameteraantal en LoRA-rang tegenover een opnieuw geïmplementeerde Dual Diffusion-baseline.

• Efficiëntie: FullFlow traint op twee RTX A5000 GPU's in minder dan 24 uur, waardoor de piek-VRAM van ~84 GB (Dual Diffusion) wordt gereduceerd tot ~38 GB en de doorvoer met ~8$\times$ wordt verhoogd.
• Text-to-Image (SD3): Bij gematchte wandkloktijd verbetert FullFlow de FID van 62,7 naar 31,6 (en 29,3 bij gematchte stappen) en de CMMD van 0,870 naar 0,121, wat sterke behoud van de beeldprior aantoont.
• Image-to-Text (SD3): FullFlow behaalt een CIDEr-score van 99,4 (tegenover 2,0 voor de baseline) bij gematchte wandkloktijd, en 13,4 bij gematchte stappen.
• Downstream Taken: Op VQA-benchmarks (VQAv2, VizWiz, OKVQA) behaalt FullFlow (met slechts 130M trainbare parameters) concurrerende nauwkeurigheid, waarbij het opvallend de Dual Diffusion-baseline verslaat op VizWiz (50,7 versus 29,9).
• Transferabiliteit: Het recept wordt succesvol overgebracht naar FLUX.1-dev, waarbij na 36 uur training een CIDEr van 73,6 wordt bereikt.

Betekenis en Claims

Het artikel claimt dat FullFlow aantoont dat sterke bidirectionele vision-language capaciteiten kunnen worden ontgrendeld uit vooraf getrainde T2I-flow-modellen zonder de noodzaak van volledige multimodale pretraining. De resultaten suggereren dat vooraf getrainde T2I-priors een rijkere visueel-semantische structuur coderen dan algemeen wordt aangenomen, en in staat zijn om inverse taken (image-to-text) en gezamenlijke generatie te ondersteunen via lichtgewicht adaptatie.

De auteurs positioneren dit werk als een "computationeel haalbaar bewijs van concept" in plaats van een claim van piek end-to-end prestaties. Zij benadrukken dat hun methode bidirectionele gecorrigeerde-flow-modellen toegankelijk maakt voor de bredere onderzoeksgemeenschap door alleen commodity GPU's en een klein deel van de parameters te vereisen die doorgaans nodig zijn voor geünificeerde modellen. Zij erkennen beperkingen, waaronder de huidige focus op een resolutie van 256$\times$256 en het ontbreken van schaling naar grotere datasets of instructietuning voor complexe dialogen, en noteren deze als toekomstige richtingen.