FlowComposer: Composable Flows for Compositional Zero-Shot Learning

1. Probleemstelling

Compositional Zero-Shot Learning (CZSL) heeft als doel om ongezette combinaties van attributen en objecten te herkennen door primitieve concepten (bijv. "rood" en "appel") die zijn geleerd van gezette paren, opnieuw te combineren.

Recente CZSL-methoden bouwen vaak voort op Vision-Language Models (VLMs) zoals CLIP en gebruiken Parameter-Efficient Fine-Tuning (PEFT). Deze methoden hebben echter twee fundamentele beperkingen:

1. Impliciete Samenstelling (Implicit Composition Construction): De combinatie van attributen en objecten gebeurt vaak slechts via token-concatenatie op tekstniveau of door prompts te manipuleren. Dit resulteert niet in een expliciete operatie in de inbeddingsruimte (embedding space). Voor ongezette paren kan de resulterende inbedding ver verwijderd liggen van de werkelijke visuele representatie, wat de generalisatie belemmert.
2. Overgebleven Feature-Verstrengeling (Remained Feature Entanglement): Visuele "disentanglers" (die attributen en objecten moeten scheiden) zijn niet perfect. Er blijft informatie lekken tussen de takken (bijv. objectinformatie in de attributentak). Deze verstrengeling verzwakt de specifieke uitlijning en maakt de hercombinatie voor ongezette paren onbetrouwbaar.

Bestaande methoden vertonen vaak een sterke bias: de nauwkeurigheid voor gezette combinaties stijgt tijdens training, terwijl die voor ongezette combinaties daalt.

2. Methodologie: FlowComposer

De auteurs stellen FlowComposer voor, een model-agnostisch framework dat Flow Matching (FM) toepast om de bovenstaande problemen op te lossen. Het framework leert twee primitieve stromen en een leerbare "Componist" om visuele kenmerken expliciet naar tekstuele inbeddingen te transporteren.

Het framework bestaat uit drie kerncomponenten:

A. Primitieve Stromen (Attribute & Object Flows)

In plaats van tokens te combineren, leert FlowComposer twee aparte gerectificeerde flow-modellen (rectified flows):

• Een attribuutstroom ($v_{\theta_a}$) die visuele kenmerken transporteert naar de tekstuele inbedding van het attribuut.
• Een objectstroom ($v_{\theta_o}$) die visuele kenmerken transporteert naar de tekstuele inbedding van het object.
• Deze stromen worden getraind om een snelheidsveld (velocity field) te voorspellen dat een lineair pad volgt van de visuele input ($x_0$) naar de doeltekst-inbedding ($x_1$).

B. De Composer (Expliciete Samenstelling)

Om de relatieve bijdrage van attributen en objecten per afbeelding te vangen, introduceert de auteurs een leerbare Composer.

• De Composer neemt de voorspelde snelheidsvectoren van de primitieve stromen als input.
• Hij leert combinatiecoëfficiënten ($\hat{a}, \hat{b}$) die bepalen hoe deze snelheidsvectoren worden samengevoegd tot één samenstellingsstroom (composition flow).
• Dit gebeurt via een expliciete operatie in de inbeddingsruimte: $\hat{v}_c = \hat{a} \cdot \text{norm}(\hat{v}_a) + \hat{b} \cdot \text{norm}(\hat{v}_o)$.
• Tijdens inferentie wordt de eind-inbedding berekend door een één-staps update toe te passen: $\hat{x}_1 = x_0 + h \cdot \hat{v}_c$.

C. Leakage-Guided Augmentation

In plaats van de onvermijdelijke "lekken" (verstrengeling) tussen de takken als een fout te zien, gebruikt FlowComposer deze als een hulpbron.

• Het framework traint de primitieve stromen ook om de "gelekte" kenmerken van de andere tak (bijv. objectkenmerken in de attributestroom) naar hun eigen tekstdoel te transporteren.
• Dit creëert extra supervisiessignalen (cross-branch supervision) die de leerbaarheid van de stromen versterken en de imperfecte disentanglement omzetten in een constructief hulpmiddel.

3. Belangrijkste Bijdragen

1. Flow Matching voor CZSL: Het is de eerste studie die Flow Matching systematisch toepast op CZSL, gebruikmakend van de natuurlijke eigenschap van snelheidsvelden om decompositie en recombinatie te modelleren.
2. Expliciete Samenstelling: In plaats van token-niveau concatenatie, voert FlowComposer een expliciete, leerbare operatie uit in de inbeddingsruimte om primitieve stromen te combineren.
3. Leakage-Guided Augmentation: Een innovatieve strategie die cross-branch lekken omzet in supervisiessignalen, waardoor de robuustheid van het model toeneemt ondanks imperfecte disentanglement.
4. Plug-and-Play Framework: FlowComposer is model-agnostisch en kan worden toegevoegd aan bestaande CZSL-pipelines (zoals CSP en Troika) met minimale aanpassingen.

4. Resultaten

De auteurs hebben FlowComposer geëvalueerd op drie publieke benchmarks: MIT-States, UT-Zappos en C-GQA, zowel in gesloten- als open-wereld scenario's.

• Prestatieverbetering: Door FlowComposer te integreren in bestaande baselines (CSP en Troika), werden significante verbeteringen geboekt in alle belangrijke metrics: Harmonic Mean (HM) en Area Under the Curve (AUC).
  • Bijvoorbeeld, op UT-Zappos verbeterde de AUC voor Troika met +5.0% en de HM met +4.4% in de gesloten-wereld setting.
• Balans tussen Gezien en Ongezien: In tegenstelling tot baselines waar de nauwkeurigheid voor ongezette combinaties daalt naarmate de training vordert, behoudt FlowComposer een veel gebalanceerdere prestatiecurve. Het reduceert de bias ten opzichte van gezette combinaties aanzienlijk.
• State-of-the-Art: De methode bereikt state-of-the-art resultaten, zelfs in vergelijking met methoden die gebruikmaken van extra kennis van Large Language Models (LLMs), maar dan zonder die externe kennis te hoeven gebruiken.
• Efficiëntie: De inferentie-overhead is verwaarloosbaar (enkele milliseconden extra per afbeelding) dankzij het gebruik van een één-staps transportschema.

5. Betekenis en Impact

FlowComposer biedt een fundamenteel nieuw perspectief op Compositional Zero-Shot Learning. Het paper toont aan dat het modelleren van composities als een dynamisch transportproces (via flow matching) superieur is aan statische token-manipulatie.

• Het lost het probleem van impliciete samenstelling op door een wiskundig onderbouwde operatie in de inbeddingsruimte te introduceren.
• Het verandert de perceptie van feature-verstrengeling: wat eerder als een fout werd gezien (lekken), wordt nu benut als een waardevol signaal voor verbeterde supervisie.
• De methode is breed toepasbaar en robuust, wat een belangrijke stap is voor het ontwikkelen van AI-systemen die beter kunnen redeneren over nieuwe concepten in open-wereld omgevingen, zoals visuele zoekopdrachten, assistieve technologie en robotica.