💻 computer science

FlowComposer: Composable Flows for Compositional Zero-Shot Learning

Die Arbeit stellt FlowComposer vor, ein modellunabhängiges Framework, das erstmals Flow-Matching für das zusammengesetzte Zero-Shot-Lernen nutzt, um durch explizite Fusion von Geschwindigkeitsfeldern und eine lecksgeleitete Augmentierung die Generalisierungsfähigkeit bestehender Methoden zu verbessern.

Ursprüngliche Autoren: Zhenqi He, Lin Li, Long Chen

Veröffentlicht 2026-03-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhenqi He, Lin Li, Long Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

FlowComposer: Wie man aus Lego-Steinen neue Welten baut

Stell dir vor, du hast einen riesigen Kasten mit Lego-Steinen. Du kennst die einzelnen Steine: Es gibt rote Steine, grüne Steine, runde Steine und eckige Steine. Du hast auch gelernt, wie man sie kombiniert, um ein rotes Auto oder einen grünen Ball zu bauen.

Das Problem beim Compositional Zero-Shot Learning (CZSL) – also dem Thema dieses Papers – ist folgendes: Was passiert, wenn du einen blauen Elefanten siehst, aber in deinem Kasten nur rote Elefanten und blaue Autos gab? Ein normales Computer-Modell würde wahrscheinlich raten oder verwirrt sein, weil es diesen spezifischen "blauen Elefanten" nie gesehen hat.

Die Forscher von der Hong Kong University of Science and Technology haben eine neue Methode namens FlowComposer entwickelt, die genau dieses Problem löst. Hier ist die Erklärung, wie sie es machen, ohne komplizierte Fachbegriffe:

1. Das Problem der alten Methoden: Das "Wort-Häufchen"

Bisher haben Computer versucht, neue Kombinationen zu verstehen, indem sie einfach die Wörter aneinanderreihen.

Die alte Methode: Das Modell denkt: "Okay, ich nehme das Wort 'Blau' und klebe es an 'Elefant'. Fertig!"
Das Problem: Das ist wie wenn du zwei verschiedene Farben einfach auf einen Haufen wirfst, ohne sie wirklich zu mischen. Das Ergebnis ist oft unsauber. Das Modell versteht nicht wirklich, wie Blau und Elefant zusammengehören. Es ist wie ein Rezept, bei dem man die Zutaten nur nebeneinander auf den Tisch legt, statt sie zu vermischen. Zudem waren die alten Modelle oft "verklebt": Sie konnten nicht sauber trennen, was zum "Blau" und was zum "Elefant" gehört.

2. Die neue Lösung: FlowComposer (Der Fluss-Mischer)

Statt Wörter einfach aneinanderzureihen, nutzen die Forscher eine Idee aus der Physik, die sie Flow Matching nennen. Stell dir das wie einen Fluss vor.

Die zwei kleinen Flüsse (Primitive Flows):
Das Modell lernt zwei separate Wege:
1. Einen Fluss, der das Bild eines Objekts (z. B. ein Schuh) in Richtung des Wortes "Schuh" fließt.
2. Einen Fluss, der das Bild eines Attributs (z. B. rot) in Richtung des Wortes "rot" fließt.
  Diese Flüsse sind wie kleine Strömungen, die die Bilder langsam zu ihren korrekten Bedeutungen "transportieren".
Der Komponist (The Composer):
Hier kommt das Geniale: Das Modell hat einen kleinen "Chef" (den Composer), der entscheidet, wie stark diese beiden Strömungen gemischt werden müssen.
- Wenn das Bild sehr deutlich zeigt, dass es ein roter Schuh ist, aber die Form des Schuhs etwas verdeckt ist, sagt der Chef: "Wir brauchen mehr Fluss von 'rot' und weniger von 'Schuh'."
- Er berechnet eine neue Strömung, die genau dorthin führt, wo ein "roter Schuh" im Kopf des Computers existiert.
- Das passiert nicht durch einfaches Aneinanderreihen von Wörtern, sondern durch eine echte mathematische "Vermischung" im Inneren des Modells.

3. Der Trick mit dem "Leck" (Leakage-Guided Augmentation)

Normalerweise versuchen Computer, alles perfekt zu trennen. Wenn ein Bild rot ist, soll nur der "rote" Teil des Modells aktiv sein. Aber in der Realität ist das unmöglich: Ein roter Schuh sieht auch wie ein Schuh aus, wenn er rot ist. Die alten Modelle versuchten, diese "Verunreinigung" zu unterdrücken, was oft schiefging.

FlowComposer macht etwas Cleveres:

Es sagt: "Okay, der 'rote'-Teil hat ein bisschen vom 'Schuh'-Wissen 'durchgesickert' (Leakage). Das ist eigentlich gut!"
Statt dieses Durchsickern zu bestrafen, nutzt es es als Hilfssignal. Wenn der "rote"-Fluss versehentlich auch Schuh-Informationen transportiert, nutzt das Modell das, um den "Schuh"-Fluss noch besser zu trainieren.
Vergleich: Stell dir vor, du versuchst, zwei Freunde zu trennen, die sich aber immer noch unterhalten. Statt sie gewaltsam zu trennen, nutzt du ihr Gespräch, um zu lernen, wie sie zusammenarbeiten. Das macht das Endergebnis robuster.

Warum ist das so wichtig?

Mit dieser Methode kann das Modell neue Dinge erkennen, die es nie gesehen hat, indem es die Regeln der alten Dinge versteht.

Es hat gelernt, wie "Rot" und "Schuh" funktionieren.
Wenn es jetzt einen "grünen Stuhl" sieht, kombiniert es die Strömung von "Grün" und "Stuhl" genau richtig, um das Bild zu verstehen.

Zusammenfassung in einem Satz:
FlowComposer ist wie ein genialer Koch, der nicht nur Zutaten nebeneinanderlegt, sondern genau weiß, wie man sie in einem Topf (dem mathematischen Raum) so vermengt, dass aus "Rot" und "Schuh" ein perfekter "roter Schuh" entsteht – und das funktioniert sogar mit Zutaten, die er noch nie zusammengekocht hat.

Die Ergebnisse zeigen, dass diese Methode deutlich besser funktioniert als alle bisherigen Versuche, besonders wenn es darum geht, Dinge zu erkennen, die in der Trainingsphase gar nicht vorkamen.

1. Problemstellung

Compositional Zero-Shot Learning (CZSL) zielt darauf ab, neue Attribute-Objekt-Kombinationen zu erkennen, indem aus bereits gesehenen Paaren gelernte Primitive (Attribute und Objekte) neu kombiniert werden. Das Ziel ist es, Modelle zu trainieren, die auf gesehenen Kombinationen (z. B. „roter Apfel", „grüne Banane") lernen, um dann ungesehene Kombinationen (z. B. „grüner Apfel") zu generalisieren.

Aktuelle State-of-the-Art-Methoden basieren oft auf Vision-Language-Modellen (VLMs) wie CLIP und nutzen Parameter-Effizientes Fine-Tuning (PEFT). Diese Ansätze leiden jedoch unter zwei fundamentalen Einschränkungen:

Implizite Kompositionsbildung: Die Kombination von Attribut und Objekt erfolgt meist nur durch Token-Konkatenation auf Textebene oder durch Prompt-Tuning. Es findet keine explizite Operation im Einbettungsraum (Embedding Space) statt, was dazu führt, dass die resultierende Einbettung für ungesehene Paare nicht notwendigerweise nahe an der tatsächlichen Bildrepräsentation liegt.
Verbleibende Feature-Verschränkung (Feature Entanglement): Visuelle Entwirrungsmechanismen (Disentanglers) trennen Attribute und Objekte nicht perfekt. Es verbleibt eine gegenseitige Kontamination der Features, was die Zuverlässigkeit der Re-Kombination für ungesehene Paare mindert und zu einer starken Verzerrung zugunsten der gesehenen Klassen führt.

2. Methodik: FlowComposer

Die Autoren stellen FlowComposer vor, ein modellagnostisches Framework, das Flow Matching (FM) nutzt, um die Komposition im Einbettungsraum explizit zu modellieren. Das Framework besteht aus drei Hauptkomponenten:

A. Primitive Flows (Attribut- und Objekt-Flows)

Anstatt nur Text-Prompts zu optimieren, lernt das Modell zwei separate gerichtete Ströme (Flows):

Einen Attribut-Flow ( $v_{\theta}^a$ ), der visuelle Merkmale in Richtung der Text-Einbettung des Attributes transportiert.
Einen Objekt-Flow ( $v_{\theta}^o$ ), der visuelle Merkmale in Richtung der Text-Einbettung des Objekts transportiert.
Diese Flows werden mittels Rectified Flow trainiert, indem sie eine zeitabhängige Geschwindigkeitsfeld-Funktion lernen, die eine lineare Interpolation zwischen dem visuellen Startpunkt und dem textuellen Zielpunkt beschreibt.

B. Der Composer (Explizite Komposition)

Um die Komposition zu bilden, wird ein lernbarer Composer eingeführt. Dieser übernimmt die Rolle, die Geschwindigkeitsvektoren der primitiven Flows ( $v_a, v_o$ ) zu einer kombinierten Kompositions-Geschwindigkeit ( $v_c$ ) zu fusionieren.

Der Composer lernt gewichtete Koeffizienten $(\hat{a}, \hat{b})$ , die bestimmen, wie stark der Attribut- und der Objekt-Flow zur finalen Komposition beitragen.
Dies ersetzt die implizite Token-Konkatenation durch eine explizite Operation im Einbettungsraum: $\hat{v}_c = \hat{a} \cdot \text{norm}(\hat{v}_a) + \hat{b} \cdot \text{norm}(\hat{v}_o)$ .
Dies ermöglicht es dem Modell, sample-spezifisch zu entscheiden, welches Primitive (Attribut oder Objekt) visuell dominanter ist.

C. Leakage-Guided Augmentation (Leckage-gesteuerte Erweiterung)

Statt die unvermeidliche Rest-Verschränkung (Leakage) zwischen den Zweigen als Fehler zu betrachten, nutzt FlowComposer diese als Signal:

Da die Entwirrung nicht perfekt ist, enthalten die Features eines Zweigs (z. B. Attribut) oft noch Informationen des anderen (z. B. Objekt).
Das Framework nutzt diese „geleckten" Features als zusätzliche Überwachungssignale. Der Flow wird auch trainiert, diese gemischten visuellen Features zum korrekten Textziel des jeweiligen Primärs zu transportieren.
Dies verwandelt das Problem der unvollkommenen Trennung in eine konstruktive Supervision, die die Robustheit erhöht.

3. Wichtige Beiträge

Systematische Anwendung von Flow Matching auf CZSL: FlowComposer ist der erste Ansatz, der Flow Matching als natürlichen Mechanismus für die Zerlegung und Re-Komposition von Konzepten in der CZSL nutzt.
Explizite Komposition im Embedding Space: Durch den Composer wird die Komposition von einer rein textuellen Operation zu einer geometrischen Operation im Vektorraum, was die Generalisierung auf ungesehene Paare verbessert.
Umgang mit Feature-Entanglement: Die „Leakage-Guided Augmentation" nutzt die inhärente Unvollkommenheit der Disentangler als Ressource, anstatt sie zu unterdrücken.
Plug-and-Play-Fähigkeit: Das Framework ist modellagnostisch und kann als Komponente in bestehende CZSL-Pipelines (wie CSP oder Troika) integriert werden, ohne die Grundarchitektur zu ändern.

4. Ergebnisse

Die Methode wurde auf drei öffentlichen Benchmarks evaluiert: MIT-States, UT-Zappos und C-GQA.

Leistung: FlowComposer, integriert in Baselines wie CSP und Troika, erzielt konsistent signifikante Verbesserungen bei allen Metriken (Harmonisches Mittel (HM) und Area Under the Curve (AUC)).
Vergleich mit SOTA: Auf UT-Zappos und C-GQA übertrifft die Methode sogar Ansätze, die zusätzliches Wissen aus Large Language Models (LLMs) nutzen (z. B. LOGICZSL, PLO), obwohl FlowComposer keine externen Textkenntnisse verwendet.
Balance: Das Training zeigt eine stabilere Balance zwischen der Genauigkeit auf gesehenen (Seen) und ungesehenen (Unseen) Kombinationen. Während Baselines oft bei steigender Seen-Accuracy die Unseen-Accuracy verlieren, bleibt FlowComposer ausgewogen.
Effizienz: Die Inferenzkosten steigen nur minimal an (ca. 1-2 ms pro Bild), da nur ein Schritt (One-Step Transport) benötigt wird.

5. Bedeutung und Fazit

FlowComposer adressiert die Kernprobleme der aktuellen CZSL-Forschung, indem es die Kompositionalität von Konzepten mathematisch fundiert im Einbettungsraum modelliert. Anstatt sich auf heuristische Prompt-Kombinationen zu verlassen, nutzt es die Dynamik von Geschwindigkeitsfeldern (Velocity Fields), um eine flexible und datenabhängige Gewichtung der Primitiven zu lernen.

Die Arbeit zeigt, dass Flow Matching ein natürlicher und effektiver Paradigmenwechsel für Zero-Shot-Learning ist. Besonders die Idee, Feature-Verschränkung nicht als Fehler, sondern als zusätzliche Informationsquelle zu nutzen, bietet einen neuen Weg, um die Generalisierungsfähigkeit von Modellen in offenen Umgebungen zu verbessern. Dies hat potenziell weitreichende Auswirkungen auf Anwendungen wie Bildsuche, assistive Wahrnehmung und visuelles Reasoning in dynamischen Umgebungen.