Controlla: Learning Controllability via Graph-Constrained Latent Geometry

Technische Samenvatting: Leren van Controleerbaarheid via Graf-Beperkte Latente Geometrie

Probleemstelling
Huidige controleerbare multimodale generatie, met name in diffusiemodellen en diffusietransformators, wordt voornamelijk geformuleerd als een conditioneringsprobleem op het moment van inferentie. Hoewel methoden die gebruikmaken van prompts, begeleiding of auxiliaire modules (bijvoorbeeld ControlNet, DreamBooth) realistische outputs kunnen genereren, missen ze vaak een expliciet mechanisme om te structureren hoe semantische attributen evolueren. Dit leidt tot drie primaire faalmodi:

1. Identiteitsdrift: Onbedoelde veranderingen in de identiteit van het onderwerp tijdens semantische bewerkingen.
2. Inconsistente cross-modale gedrag: Misalignering tussen tekst, audio en visuele outputs.
3. Semantische drift: Onvoorspelbare of instabiele tussenliggende staten tijdens het traverseren van attributen.

Bestaande benaderingen behandelen controleerbaarheid als een externe beperking die wordt opgelegd aan impliciete latente ruimten, in plaats van als een eigenschap van de latente geometrie zelf. Bijgevolg worden semantische veranderingen vaak heuristisch opgelegd in plaats van dat ze voortkomen uit gestructureerde representaties.

Methodologie: Controlla
De auteurs stellen Controlla voor, een modulair gefactoriseerd-controlerend raamwerk dat controleerbaarheid herdefinieert als een eigenschap van gestructureerde latente geometrie. In plaats van uitsluitend te vertrouwen op conditionering op het moment van inferentie, leert Controlla een latente ruimte met grafstructuur waarin semantische attributen evolueren langs graf-consistente trajecten, terwijl een referentie-gegronde identiteit behouden blijft.

Het raamwerk werkt via de volgende componenten:

1. Multimodale Factorisatie: Gegeven inputs (doelafbeelding, referentieafbeelding, tekst, audio), wordt een gedeelde representatie $z$ geleerd en gefactoriseerd in twee distincte componenten:

   • Attribuutfactor ($z_{attr}$): Vangt semantische variaties op (bijvoorbeeld emotie).
   • Identiteitsfactor ($z_{id}$): Codeert de referentie-gegronde identiteit uit de referentieafbeelding.
   • Ontkoppeling wordt afgedwongen via orthogonaliteitsbeperkingen ($L_\perp$) en Lipschitz-regulering ($L_L$) om soepele transformaties te garanderen.

2. Graf-priors: Twee offline-geconstrueerde grafen definiëren de relationele structuur:

   • Emotiegraf ($G_e$): Vangt semantische relaties tussen affectieve staten op in een unificeerde valentie-opwinding-ruimte.
   • Identiteitsgraf ($G_i$): Codeert relaties tussen referentie-identiteiten om een compacte intra-identiteitsstructuur te bevorderen.

3. Graf-beperkte Optimaal Transport (Graf-OT): Het kernaligneringsmechanisme gebruikt Optimaal Transport om de geleerde latente factoren uit te lijnen met de graf-priors:

   • Gefuseerde Gromov–Wasserstein (FGW): Lijnt de attribuutruimte uit met de emotiegraf, zodat de relatieve afstanden tussen latente attribuut-embeddings overeenkomen met de semantische afstanden in $G_e$.
   • Gromov–Wasserstein (GW): Lijnt de identiteitsruimte uit met de identiteitsgraf $G_i$ om een consistente relationele structuur te behouden en identiteitsdrift te voorkomen.

4. Controlemechanisme: Tijdens de generatie wordt de identiteitsfactor $z_{id}$ vastgehouden, terwijl de attribuutfactor $z_{attr}$ wordt traversed langs paden die consistent zijn met de emotiegraf. Dit induceert gestructureerde, voorspelbare semantische veranderingen zonder externe heuristische conditionering.

Belangrijkste Bijdragen

1. Formuleringsswitch: Het artikel stelt een formulering voor waarbij controleerbaarheid wordt aangemoedigd door graf-consistente latente transformaties in plaats van uitsluitend door conditionering op het moment van inferentie.
2. Controlla-raamwerk: Een modulaire architectuur bestaande uit een multimodale factorisatie-encoder, een graf-OT-aligneringsmodule en gefactoriseerde generator-conditioneringsadapters.
3. AffectHuman-43K-benchmark: De constructie van een nieuwe, lek-bewuste multimodale benchmark ontworpen voor referentie-gegronde affectieve controle. In tegenstelling tot natuurlijk gezamenlijk opgenomen datasets, ontkoppelt deze expliciet visuele identiteit (gespecificeerd door een referentieafbeelding) van affectieve controlesignalen (tekst en audio). Het bevat identiteits-disjuncte splitsen met 0% lek van referentie-identiteiten over splitsen heen.
4. Geometrie-bewuste metrieken: Introductie van metrieken om trajectconsistentie (Geodetische Consistentie), latente ontkoppeling (Latent Disentanglement Score) en trajectsoepelheid te evalueren, verdergaand dan eenvoudige eindpuntnauwkeurigheid.

Resultaten
Experimenten op AffectHuman-43K en cross-dataset evaluaties (AffectNet, CelebA-HQ) tonen aan dat Controlla consistente verbeteringen bereikt ten opzichte van sterke baselines, waaronder StyleCLIP, ControlNet++, ICEdit, FLUX.1 Kontext en DreamBooth-hybriden.

• Prestaties: Controlla toont superieure prestaties in emotienauwkeurigheid (Acc), trajectsoepelheid (TS) en menselijke voorkeur (H).
• Geometrie: De methode bereikt een hogere latente ontkoppeling (LDS) en een lagere geodetische inconsistentie (GC), wat bevestigt dat de geleerde traversering de beoogde grafstructuur volgt.
• Identiteitsbehoud: Het raamwerk behoudt concurrerende of superieure identiteitssimilariteit (ID-Sim) en verificatie-AUC, zelfs onder grote semantische transformaties.
• Ablatiestudies: Het verwijderen van grafbeperkingen of multimodale gronding leidt tot significante degradatie in controleerbaarheid en identiteitsconsistentie, wat valideert dat de winst voortkomt uit de gestructureerde latente geometrie in plaats van uitsluitend uit extra conditionering.

Betekenis en Claims
Het artikel claimt een verschuiving van heuristische, prompt-gedreven controle naar geometrie-gedreven representatieleren. Door controleerbaarheid te modelleren als een eigenschap van de globale latente geometrie, stelt Controlla soepele, identiteitsbehoudende transformaties mogelijk langs graf-consistente trajecten. De auteurs stellen dat hun benadering de fundamenteel onder-beperkte aard van huidige multimodale bewerking aanpakt door de latente ruimte expliciet te structureren.

Het werk wordt gepresenteerd als een conditionele, op representatieniveau gebaseerde rechtvaardiging: als grafalignering, identiteitsstabiliteit, factorseparatie en lokale soepelheid worden geoptimaliseerd, produceert semantische traversering begrenste outputvariatie. Het artikel claimt niet alle generatieve uitdagingen op te lossen of globale optimaliteit te garanderen, maar toont wel aan dat het afdwingen van grafstructuur op latente richtingen controleerbaarheid, identiteitsbehoud en cross-modale alignering op een meetbare en reproduceerbare manier verbetert. Toekomstig werk wordt opgemerkt als potentieel uitbreiden van dit raamwerk naar video en bredere graf-gedefinieerde controlefactoren.