Technische Samenvatting: Functieprojectie voor Flow Matching (FP-FM)

Probleemstelling

Generatieve modellering, met name via diffusie en flow matching, heeft succes bewezen in het creëren van synthetische data van hoge kwaliteit. Een aanzienlijke uitdaging blijft echter bestaan bij many-shot adaptatie: het vermogen om een generatief model efficiënt aan te passen aan een nieuwe, onbekende doelverdeling met behulp van slechts een set steekproevenpunten uit die verdeling, zonder dat extra training of fine-tuning vereist is.

Traditionele conditionele generatie vertrouwt vaak op expliciete conditioneringsvariabelen (bijvoorbeeld natuurlijke taalprompts of klasselabels). Hoewel deze effectief zijn voor bekende klassen, zijn ze ontoereikend wanneer de doelverdeling wordt gedefinieerd door specifieke visuele voorbeelden (bijvoorbeeld het genereren van afbeeldingen van een specifieke persoon) of complexe mengsels die niet eenvoudig kunnen worden beschreven met een vaste vocabulaire. Bovendien zijn standaard fine-tuningbenaderingen computatievriendelijk duur, aangezien ze gradiëntstappen vereisen voor elke nieuwe verdeling, wat de toepassing bij lage latentie belemmert.

De auteurs stellen een setting voor waarin het model tijdens de training een familie van verdelingen $\{p^\iota_X\}_{\iota \in \mathcal{I}}$ moet leren en, bij ontvangst van steekproeven uit een nieuwe verdeling $p^\iota_X$ (waarbij $\iota$ niet tijdens de training is gezien), efficiënt steekproeven uit die verdeling moet kunnen genereren.

Methodologie: Functieprojectie voor Flow Matching (FP-FM)

De kerninzicht van FP-FM is om het adaptatieprobleem te herformuleren binnen het Flow Matching-kader met behulp van een Functie-Encoder-perspectief. In plaats van een enkel snelheidsveld te leren of te conditioneren op een discrete variabele, leert FP-FM een set basisfuncties die de ruimte van snelheidsvelden overspannen die worden geïnduceerd door de trainingsverdelingen.

Theoretische Grondslag

1. Flow Matching: Het model leert een snelheidsveld $v(x, t) = \mathbb{E}[X_1 - X_0 | X_t = x]$ dat een ruisverdeling $X_0 \sim \mathcal{N}(0, I)$ transporteert naar een doelverdeling $X_1 \sim p_X$.
2. Functieruimte: De set snelheidsvelden $\mathcal{V}$ wordt behandeld als een Hilbertruimte. De verliesfunctie in flow matching (Middelpuntkwadratenfout) komt overeen met het gekwadrateerde norm in deze ruimte.
3. Basisleren: FP-FM leert $k$ basisfuncties $\{g_i\}_{i=1}^k$ (geparameteriseerd als neurale netwerken) om de snelheidsvelden van de trainingsverdelingen te overspannen.
4. Adaptatie via Projectie: Om zich aan te passen aan een nieuwe doelverdeling op basis van steekproeven, berekent het algoritme coëfficiënten $c_\iota$ via een kleinste-kwadratenprojectie van het doel-snelheidsveld op de geleerde basis. De inproducten die nodig zijn voor deze projectie worden benaderd met behulp van de verstrekte steekproeven uit de doelverdeling, waardoor de noodzaak om het ware snelheidsveld analytisch te kennen wordt vermeden.

Drie Varianties

Het artikel introduceert drie varianten van FP-FM, die een afweging bieden tussen expressiviteit en rekenkosten:

1. Statische FP-FM:

   • Mechanisme: Coëfficiënten $c_\iota$ zijn constant voor een gegeven verdeling. Het snelheidsveld wordt benaderd als $v_\iota(x, t) \approx \sum c_{\iota,i} g_i(x, t)$.
   • Beperking: Gaat uit van een lineair verband tussen de verdeling en haar snelheidsveld. Aangezien de continuïteitsvergelijking niet-lineair is, kampt deze variant met moeilijkheden bij onbekende verdelingen (mengsels of nieuwe supports) die buiten het lineaire bereik van de trainings-snelheidsvelden liggen.

2. Temporele FP-FM:

   • Mechanisme: Coëfficiënten worden tijdafhankelijk, $c_\iota(t)$. De benadering is $v_\iota(x, t) \approx \sum c_{\iota,i}(t) g_i(x, t)$.
   • Verbetering: Door coëfficiënten in de tijd te laten variëren, kan het model de niet-lineaire dynamiek van de continuïteitsvergelijking beter vastleggen, wat de generalisatie naar onbekende verdelingen aanzienlijk verbetert.

3. Dynamische FP-FM:

   • Mechanisme: Coëfficiënten zijn staat- en tijdafhankelijk, $c_\iota(x, t)$. De benadering is $v_\iota(x, t) \approx \sum c_{\iota,i}(x, t) g_i(x, t)$.
   • Implementatie: Dit vereist het oplossen van een gelokaliseerd kleinste-kwadratenprobleem bij elke staat $x$ en tijd $t$. De auteurs leiden een stelling af (Stelling 1) om de conditionele verwachting $\mathbb{E}[X_1 - X_0 | X_t = x]$ efficiënt te berekenen met behulp van importance sampling, waardoor directe toegang tot het ware snelheidsveld overbodig wordt.
   • Prestatie: Biedt de hoogste expressiviteit, in staat om complexe, onbekende supports en mengsels met hoge kwaliteit te modelleren.

Belangrijkste Bijdragen

• Algoritmische Innovatie: Stelt FP-FM voor, een methode die generatie direct conditioneert op steekproeven van de doelverdeling in plaats van op expliciete conditioneringsvariabelen, waardoor zero-shot adaptatie aan onbekende verdelingen mogelijk is zonder fine-tuning.
• Theoretische Integratie: Integreert Functie-Encoders succesvol met Flow Matching, waarbij verdelings-gewogen inproducten worden gebruikt om snelheidsvelden te projecteren op een geleerde basis.
• Expressiviteit-Rekenkracht Spectrum: Introduceert Statische, Temporele en Dynamische varianten, waarmee practitioners een instelbare afweging krijgen tussen modelexpressiviteit en inferentie-latentie.
• Efficiënte Schatting: Leidt een op Monte Carlo gebaseerde schatter af (Stelling 1) voor conditionele verwachtingen die nodig zijn in de Dynamische variant, waardoor berekening van staat-afhankelijke coëfficiënten haalbaar wordt.

Experimentele Resultaten

De auteurs evalueren FP-FM op drie datasets: 2D Arcs (laagdimensionale visualisatie), MNIST (gestructureerde afbeeldingen) en ImageNet (hoog-schaal, hoogdimensionaal). Ze vergelijken dit met onvoorwaardelijke flow matching, conditionele flow matching, classifier-geleide, distribution-geleide en standaard fine-tuning.

• Generalisatie: FP-FM varianten presteren consistent beter dan baselines op Onbekende Verdelingen (UD) (mengsels van trainingsklassen) en Onbekende Support (US) (helemaal nieuwe klassen of vormen).
  • Op 2D Arcs bereikt Dynamische FP-FM de hoogste precisie (0,976 op UD, 0,734 op US), wat aanzienlijk beter is dan fine-tuning en conditionele baselines die falen in generalisatie naar mengsels of nieuwe supports.
  • Op MNIST bereikt Dynamische FP-FM de beste Precisie, Recall en FID over alle splits, inclusief het onbekende cijfer '9'.
  • Op ImageNet produceert Dynamische FP-FM de hoogste kwaliteit afbeeldingen voor onbekende klassen, terwijl Statische en Temporele varianten beperkingen vertonen door geheugenbeperkingen en lagere expressiviteit.
• Efficiëntie:
  • FP-FM is aanzienlijk sneller dan fine-tuning (wat gradiëntafstap vereist voor elke nieuwe verdeling).
  • Dynamische FP-FM is rekenkundig duurder dan Statische/Temporele varianten en conditionele modellen vanwege de berekening van coëfficiënten per steekproef, maar blijft sneller dan volledige fine-tuning.
• Metingen: De resultaten benadrukken een duidelijke trend: naarmate de expressiviteit van de coëfficiëntberekening toeneemt (Statisch $\to$ Temporeel $\to$ Dynamisch), verbetert het vermogen om onbekende verdelingen vast te leggen, met name in Precisie (het vermijden van over-benadering van de data-maand).

Betekenis en Beweringen

Het artikel beweert dat FP-FM een praktisch en effectief alternatief vertegenwoordigt voor bestaande benaderingen voor conditionele generatie. De primaire betekenis ligt in:

1. Eliminatie van de noodzaak voor conditioneringsvariabelen: Het stelt modellen in staat zich aan te passen aan verdelingen die uitsluitend worden gedefinieerd door steekproeven, wat intuïtiever is voor taken zoals onderwerp-gedreven generatie.
2. Rekenefficiëntie: Het maakt snelle adaptatie aan nieuwe verdelingen mogelijk zonder de dure gradiëntstappen die door fine-tuning worden vereist.
3. Omgaan met Onbekende Supports: In tegenstelling tot standaard conditionele modellen die vertrouwen op vaste vocabulaires of klasselabels, kan FP-FM generaliseren naar volledig nieuwe supports (bijvoorbeeld een spiraalverdeling of een nieuwe cijferklasse) door gebruik te maken van de structuur van de functieruimte.

De auteurs concluderen dat het expliciet conditioneren op steekproeven met behulp van een functieruimte-perspectief een haalbare eerste stap is richting het aanpassen van generatieve modellen aan onbekende verdelingen, en een spectrum van oplossingen biedt dat kwaliteit en rekenkosten in evenwicht brengt. Ze erkennen beperkingen, waarbij ze opmerken dat de prestaties afhankelijk zijn van het aantal en de kwaliteit van de verstrekte steekproeven en dat de methode iets duurder is dan eenvoudige conditionele modellen.