Technische Samenvatting: LISA (Likelihood Score Alignment)

Probleemstelling

Het artikel behandelt de uitdaging van visueel-conditionele controleerbare generatie, waarbij modellen visuele modaliteiten (bijv. pose, segmentatie, dieptekaarten) moeten integreren om beeld- en videogeneratie te sturen. De gangbare aanpak is het dual-branch paradigma, waarbij een vooraf getraind diffusie- of flow-matching model wordt bevroren als een "hoofdnetwerk" en een apart "zijnetwerk" wordt getraind om visuele condities te coderen. Deze zijkenmerken worden vervolgens gefuseerd met het hoofdnetwerk.

Ondanks het succes beargumenteren de auteurs dat de rol van het zijnetwerk en de efficiëntie van de training nog onvoldoende zijn onderzocht. Bestaande methoden vertrouwen vaak op externe semantische encoders voor regularisatie (bijv. representatie-alignement), wat de prestaties beperkt tot de gekozen encoder en de complexiteit verhoogt. Het kernprobleem dat wordt geïdentificeerd, is dat het zijnetwerk impliciet leert om een "likelihood score" te leveren (het verschil tussen de conditionele en onconditionele scores), maar dat het tijdens de training een gebrek heeft aan expliciete supervisie voor deze specifieke rol.

Methodologie: LISA

De auteurs stellen LISA (Likelihood Score Alignment) voor, een regularisatiemethode die geworteld is in score-gebaseerde generatieve modellering.

1. Theoretische Decompositie

Het artikel herinterpreteert het dual-branch paradigma via de regel van Bayes. De conditionele score $\nabla_{x_t} \log p_t(x_t|c)$ kan worden gedecomponeerd in:

1. Onconditionele Score: $\nabla_{x_t} \log p_t(x_t)$, geleverd door het bevroren hoofdnetwerk.
2. Likelihood Score: $\nabla_{x_t} \log p_t(c|x_t)$, die het gat vertegenwoordigt tussen de conditionele en onconditionele scores.

In de standaard dual-branch opstelling leert het zijnetwerk dit gat impliciet te overbruggen. LISA maakt deze rol expliciet.

2. Constructie van de Benaderde Likelihood Score

Om het zijnetwerk te superviseren, construeert LISA een doelstelling voor een "benaderde likelihood score" ($\hat{\ell}_t$) zonder externe encoders te vereisen:

• Onconditionele Doelstelling: Verkregen door het bevroren hoofdnetwerk te draaien zonder injectie van condities: $s_\theta(x_t, t) \approx \nabla_{x_t} \log p_t(x_t)$.
• Conditionele Doelstelling: De standaard denoising target $\nabla_{x_t} \log p_t(x_t|x_0)$ dient als een hanteerbare proxy voor de conditionele score.
• Likelihood Doelstelling: De benaderde likelihood score wordt berekend als het verschil:
  $$\hat{\ell}_t(c|x_t) = \nabla_{x_t} \log p_t(x_t|x_0) - s_\theta(x_t, t)$$

3. Alignement Mechanisme

• Feature Extractie: Een specifieke intermediaire feature layer $r^k_\phi(x_t, c, t)$ wordt "gehakt" (hooked) uit het zijnetwerk.
• Lichtgewicht Decoder: Deze feature wordt gevoed aan een kleine, trainbare decoder $D_\psi$ (ongeveer 0,1% van de grootte van het zijnetwerk) die de feature projecteert naar de latente score-ruimte.
• Regularisatie Verlies: De output van de decoder wordt uitgelijnd met de benaderde likelihood score doelstelling met behulp van een $L_2$-afstand.
• Optimalisatie: De totale doelstelling combineert de standaard diffusie loss ($\mathcal{L}_{main}$) en de LISA regularisatie loss ($\mathcal{L}_{LISA}$):
  $$\mathcal{L}_{total} = \mathcal{L}_{main} + \lambda \mathcal{L}_{LISA}$$
• Inference: De lichtgewicht decoder wordt na de training weggegooid. Het zijnetwerk wordt gebruikt precies zoals in de originele architectuur, wat geen extra kosten bij inference met zich meebrengt.

Belangrijkste Bijdragen

1. Nieuw Perspectief: Het artikel analyseert het dual-branch paradigma door de rollen van het hoofd- en zijnetwerk te decomponeren in onconditionele en likelihood scores.
2. LISA Framework: Het introduceert een effectieve regularisatietechniek die de features van het zijnetwerk expliciet uitlijnt met een benaderde likelihood score, waardoor de afhankelijkheid van externe semantische encoders wordt geëlimineerd.
3. Efficiëntie en Prestaties: De methode versnelt de convergentie van de training en verbetert de uiteindelijke synthesekwaliteit (zowel perceptueel als conditionele getrouwheid) met verwaarloosbare extra trainingskosten en geen overhead bij inference.
4. Ontkoppeling (Disentanglement): De expliciete alignement moedigt de features van het zijnetwerk aan om meer ontkoppeld te zijn, wat de compositionele controle voor multi-condition generatie natuurlijk verbetert.

Experimentele Resultaten

De auteurs evalueerden LISA over diverse taken, architecturen (U-Net, DiT) en modellen (Diffusion, Flow Matching):

• Beeldgeneratie Taken: Experimenten op Pose, Segmentatie, Diepte en Low-Resolution beeldgeneratie met behulp van SDXL-1.0 en Stable Diffusion 2.1.
  • Convergentie: LISA versnelde de convergentie consistent. Bijvoorbeeld, in pose-geconditioneerde generatie verbeterde LISA de PCK (Percentage of Correct Keypoints) van 19,38% naar 83,02% bij 10K iteraties vergeleken met vanilla ControlNet.
  • Efficiëntie: LISA behaalde betere resultaten met minder iteraties (bijv. 4K iteraties met LISA presteerden beter dan 10K iteraties van ControlNet bij dieptekaartgeneratie).
  • Vergelijking: LISA presteerde beter dan of gelijk aan ControlNet+REPA (dat afhankelijk is van externe DINOv2 encoders) zonder externe modellen te vereisen.
• Videogeneratie: Toegepast op pose-gestuurde videogeneratie (ControlVideo). LISA verbeterde de FVD (Frechet Video Distance) en PCK aanzienlijk bij 5K en 30K iteraties.
• Architectuur-Agnosticisme: De methode generaliseerde naar Diffusion Transformers (DiT) en Optimal Transport Flow Matching (OT-FM) modellen (bijv. Stable Diffusion 3).
• Compositionele Controle: Bij het combineren van onafhankelijk getrainde pose- en segmentatienetwerken vertoonde LISA superieure compositionele generatiecapaciteiten vergeleken met de baseline, wat wijst op een betere ontkoppeling van de geleerde features.
• Overhead: De methode voegde slechts ~0,1% parameters toe en ~0,2s latentie per iteratie toe tijdens de training, met nul kosten tijdens de inference.

Betekenis en Claims

Het artikel claimt dat LISA een eenvoudige maar effectieve oplossing biedt voor de inefficiëntie van de training in het dual-branch paradigma. Door het generatieve proces expliciet te decomponeren en het zijnetwerk uit te lijnen met de likelihood score, fungeert LISA als een sterke prior-supervisie die:

1. Training Versnelt: Vermindert het aantal iteraties dat nodig is om hoogwaardige resultaten te bereiken aanzienlijk.
2. Kwaliteit Verbetert: Verbetert zowel de perceptuele kwaliteit van de output als de getrouwheid aan de visuele condities.
3. Architectuur Vereenvoudigt: Verwijdert de afhankelijkheid van externe semantische encoders die vereist zijn door eerdere alignementmethoden.
4. Compositionele Controle Mogelijk Maakt: Faciliteert op natuurlijke wijze de combinatie van meerdere visuele condities door de verbeterde ontkoppeling van geleerde features.

De auteurs concluderen dat LISA een uitbreidbare en praktische aanpak is voor visueel-conditionele controleerbare generatie, geschikt voor zowel beeld- als videotaken over verschillende modelarchitecturen heen.