🤖 machine learning

Constraint-Aware Flow Matching via Randomized Exploration

Dit artikel stelt een bewust-beperkingen stroommatchingkader voor dat beperkingsschendingen in generatieve modellen aanpakt door een op afstand gebaseerde straf voor differentieerbare beperkingen en een gerandomiseerde exploratiestrategie voor op orakel gebaseerde beperkingen in te voeren, waarmee superieure computationele efficiëntie en naleving van beperkingen worden aangetoond over synthetische en adversariële generatietaken.

Oorspronkelijke auteurs: Zhengyan Huan, Jacob Boerma, Li-Ping Liu, Shuchin Aeron

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhengyan Huan, Jacob Boerma, Li-Ping Liu, Shuchin Aeron

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotkok leert een specifiek type soep te koken. Je wilt dat de soep precies smaakt als een beroemd recept (het doelverdeling te matchen), maar je hebt ook een strikte regel: de soep mag geen pinda's bevatten (de beperking).

In de wereld van AI is "Flow Matching" een populaire manier om robots te leren nieuwe dingen (zoals afbeeldingen of data) te creëren die eruitzien als echte. Echter, standaard AI-koks negeren vaak de regels. Ze maken misschien een heerlijke soep die per ongeluk pinda's bevat, of ze maken een pinda-vrije soep die helemaal niet smaakt als het originele recept.

Dit paper introduceert twee nieuwe methoden om de AI-kok te leren de regels te volgen zonder de smaak te bederven. De auteurs noemen deze methoden FM-DD en FM-RE.

De Twee Scenario's: De Regels Kennen vs. De Regels Raadplegen

Het paper pakt het probleem op twee verschillende manieren aan, afhankelijk van hoeveel informatie de AI heeft over de "pinda-vrije" regel.

1. FM-DD: De "Liniaal"-Aanpak

Het Scenario: Stel je voor dat je een magische liniaal hebt die je precies kan vertellen hoe ver een kom soep verwijderd is van het bevatten van pinda's. Als de soep veilig is, zegt de liniaal "0 inch". Als het pinda's bevat, zegt het "5 inch".

De Oplossing: De AI gebruikt deze liniaal als leidraad. Tijdens het trainen, als de AI begint met het maken van een soep die dichtbij pinda's komt, geeft de liniaal een "strafscore". De AI leert de soep weg te sturen uit het gevaargebied, terwijl het probeert de smaak perfect te houden.

Eenvoudige Analogie: Het is alsof je een auto bestuurt met een zeer gevoelige nabijheidssensor. Naarmate je dichterbij een muur komt, stuurt de auto je zachtjes terug naar het midden van de rijbaan.

2. FM-RE: De "Proever"-Aanpak

Het Scenario: Nu, stel je voor dat je geen liniaal hebt. Je hebt alleen een strenge voedselinspecteur die naar een kom soep kan kijken en een simpele "Ja" (veilig) of "Nee" (onveilig) kan zeggen. De inspecteur zal je niet vertellen hoe onveilig het is, of hoe ver je verwijderd bent van het gevaar. Dit is veel moeilijker omdat de AI zichzelf niet zomaar kan "nudge"; het weet pas achteraf of het gefaald heeft.

De Oplossing: Hier blinkt de belangrijkste innovatie van het paper uit. De auteurs stellen een methode voor genaamd Randomized Exploration (FM-RE).

Het Probleem: Als de AI een deterministische (vaste) soep maakt en de inspecteur zegt "Nee", krijgt de AI geen bruikbare informatie over hoe het dit moet oplossen. De "gradient" (de richting om van te leren) is nul.
De Truc: De AI begint een beetje "willekeurige trilling" of "ruis" toe te voegen aan het kookproces. In plaats van één exacte soep te maken, maakt het een wolk van licht verschillende soepen.
Het Leren: Het vraagt de inspecteur over deze hele wolk. Als 90% van de wolk veilig is, leert de AI dat de algemene richting goed is. Als slechts 10% veilig is, leert het de hele wolk in een andere richting te sturen.
De Twee-Fasen Strategie: Om tijd en energie te besparen, schudt de AI de soep niet de hele tijd.
1. Fase 1: Het leert het basisrecept perfect (het "deterministische" deel) zonder enige trilling.
2. Fase 2: Net voordat de soep wordt geserveerd (de laatste stappen), voegt het de "willekeurige trilling" toe om de veiligheidsregels te verkennen. Het leert een "mean flow" (het gemiddelde beste pad) dat zeer waarschijnlijk veilig is.

Waarom Dit Belangrijk Is

Het paper toont aan dat deze methoden beter werken dan eerdere pogingen, vooral voor lastige regels:

Complexe Vormen: Eerdere methoden hadden moeite met regels die "ongescheiden" waren (zoals twee aparte veilige zones) of "niet-convex" (vreemde vormen). De nieuwe methoden hanteren deze gemakkelijk.
Black-Box Regels: De "Proever"-aanpak (FM-RE) is krachtig omdat het werkt zelfs als de regel een "black box" is. Je hoeft de wiskunde achter de regel niet te kennen; je moet alleen in staat zijn om te vragen: "Is dit veilig?"

Wereldwijde Voorbeelden uit het Paper

De auteurs testten hun ideeën op enkele leuke uitdagingen:

Vormen Tekenen: Ze leerden de AI cijfers te tekenen (MNIST) die aan specifieke criteria voldeden, zoals "moet helder genoeg zijn" of "moet een specifieke lijndikte hebben". De AI slaagde waar anderen faalden.
De "Subruimte"-Uitdaging: Ze vroegen de AI om data te genereren die op een specifieke onzichtbare lijn in een hoog-dimensionale ruimte past. Dit is alsof je probeert een potlood op zijn punt te balanceren; het is zeer moeilijk om precies te raken. De AI leerde zeer dichtbij te komen.
De "Adversarial"-Test (De Beveiligingshack): Dit was een coole demonstratie. Ze gebruikten de AI om "adversarial voorbeelden" te genereren—afbeeldingen die er normaal uitzien voor een mens, maar een computervisie-systeem misleiden tot het verkeerd identificeren.
- De Beperking: De afbeelding moet door een "black-box" AI (de voedselinspecteur) verkeerd worden geclassificeerd, maar de mens moet het originele beeld nog steeds zien.
- Het Resultaat: De AI slaagde erin afbeeldingen te genereren die er voor een mens uitzagen als een "1", maar waarvan de computer dacht dat het een "7" was. Het deed dit door alleen de computer te vragen: "Is dit een 1?" en de afbeelding aan te passen totdat de computer "Nee" zei.

Samenvatting

Kortom, dit paper geeft AI een nieuwe manier om regels te leren.

Als je een liniaal hebt (een wiskundige formule voor de regel), gebruik dan FM-DD om de AI zachtjes weg te duwen van gevaar.
Als je alleen een ja/nee-inspecteur hebt (een black box), gebruik dan FM-RE om de AI zijn opties te laten "schudden", te leren van de feedback, en een veilig pad te vinden dat er nog steeds precies uitziet als het originele recept.

Het resultaat is een AI die zowel creatief is (het matcht de data) als gehoorzaam (het volgt de regels).

1. Probleemstelling

Het artikel adresseert de uitdaging van geconstrueerde generatieve modellering met behulp van Flow Matching (FM). Waar standaard FM-modellen effectief leren om een bronverdeling (bijvoorbeeld Gaussisch ruis) om te zetten in een doeldataverdeling, slagen ze er vaak niet in om steekproefspecifieke constraints te voldoen (bijvoorbeeld dat een afbeelding specifieke attributen moet hebben, of dat een gegenereerde toestand van vloeistofdynamica binnen fysieke grenzen moet blijven).

De kernmoeilijkheid ontstaat omdat:

Constraint-overtredingen: Vanilla generatieve modellen steekproeven produceren die buiten de geldige constraint-set $C$ kunnen vallen, zelfs als de doeldistributie theoretisch binnen $C$ wordt ondersteund.
Gradientproblemen: In veel praktische scenario's wordt de constraint-set $C$ alleen gedefinieerd door een lidmaatschapsorakel (een black-box functie die 1 retourneert als $x \in C$ en 0 anders). Omdat de indicatorfunctie $1_C(x)$ bijna overal niet-differentieerbaar is, kunnen standaard op gradienten gebaseerde optimalisaties constraints tijdens het trainen niet direct afdwingen.
Beperkingen van bestaande methoden: Huidige benaderingen vereisen vaak convexe constraints, kennis van barrièrefuncties, of reflectiemechanismen die vertrouwen op expliciete grensnormaalvectoren, wat hun toepasbaarheid beperkt tot complexe, niet-convexe of black-box constraints.

De auteurs formaliseren het probleem onder twee specifieke scenario's:

Geval (a): Een differentieerbare afstandsfunctie $d(x, C)$ naar de constraint-set is beschikbaar.
Geval (b): Alleen een lidmaatschapsorakel $1_C(x)$ is beschikbaar (geen afstandsfunctie of grensgradient).

2. Methodologie

Het artikel stelt twee verschillende methoden voor om deze scenario's aan te pakken, gezamenlijk aangeduid als Constraint-Aware Flow Matching (CAFM).

A. FM-DD: Constraint-Aware Flow Matching met Differentieerbare Afstand

Toepasbaarheid: Gebruikt wanneer een differentieerbare afstandsfunctie $d(x, C)$ bekend is (bijvoorbeeld convexe sets of gladde variëteiten).
Mechanisme: De auteurs modificeren de standaard FM-doelfunctie door een strafterm toe te voegen die evenredig is met de afstand tussen de gegenereerde steekproef en de constraint-set.
Doelfunctie:
$\min_\theta \int_0^1 \mathbb{E}[\|u_\theta(X_t, t) - \dot{\Psi}_t(X_0, X_1)\|^2] dt + \lambda \mathbb{E}[d(X_1^\theta, C)]$
Hierbij is $u_\theta$ het geleerde snelheidsveld, $\Psi_t$ de lineaire interpolant, en $\lambda$ een wegingshyperparameter. Deze benadering straft steekproeven die ver van de constraint-set verwijderd zijn, waardoor de stroom wordt aangemoedigd binnen $C$ te blijven.

B. FM-RE: Constraint-Aware Flow Matching via Randomized Exploration

Toepasbaarheid: Gebruikt wanneer alleen een lidmaatschapsorakel beschikbaar is (het meest algemene en uitdagende geval).
Kerninzicht: Aangezien de gradient van de indicatorfunctie bijna overal nul is, introduceren de auteurs randomisatie in het snelheidsveld om een differentieerbare verwachting van constraint-voldoening te creëren.
Tweestaps Gecombineerde Optimalisatie:
1. Fase 1 (Deterministisch): Een standaard FM-model wordt getraind voor het tijdsinterval $t \in [0, t_0]$ om de basisstroomdynamica te leren.
2. Fase 2 (Stochastisch): Voor $t \in [t_0, 1]$ wordt het snelheidsveld verstoord met Gaussisch ruis: $\tilde{U}_t = u_\theta(X_t, t) + \sigma_t W$ , waarbij $W \sim \mathcal{N}(0, I)$ .
Gradient Schatting: Door de uiteindelijke steekproef $X_1$ te behandelen als een stochastische variabele afhankelijk van de ruis $W$ , wordt de constraint-term $\mathbb{E}[1_C(X_1)]$ . Met behulp van de REINFORCE-truc (score function estimator) wordt de gradient met betrekking tot parameters $\theta$ en ruisschaal $\sigma$ geschat als:
$\nabla \mathbb{E}[1_C(X_1)] \approx \mathbb{E}_T \left[ \sum \nabla \log \pi(\tilde{U}_t | X_t) \cdot 1_C(X_1) \right]$
Dit stelt het model in staat een "gemiddelde stroom" te leren die statistisch de kans maximaliseert om aan de constraint te voldoen.
Efficiëntie: De tweestapsbenadering (waarbij de eerste fase wordt gefixeerd en de tweede wordt geoptimaliseerd) blijkt computatie-efficiënter dan een eenstapsbenadering waarbij randomisatie vanaf $t=0$ optreedt.

3. Belangrijkste Bijdragen

Formalisatie van Geconstrueerde FM: Het artikel definieert geconstrueerde flow matching rigoureus onder zowel differentieerbare afstand als lidmaatschapsorakel-instellingen, waardoor een gat in de literatuur wordt gedicht.
Randomized Exploration Strategie (FM-RE): Een nieuwe methode om niet-differentieerbare constraints aan te pakken door stochasticiteit in de stroom in te voeren, wat gradienten-gebaseerde optimalisatie via het lidmaatschapsorakel mogelijk maakt.
Tweestaps Optimalisatie: De afleiding van een computatie-efficiënte tweestaps trainingsprocedure die het leren van de basisdistributiedynamica scheidt van de constraint-exploratie, wat trainingskosten verlaagt terwijl de prestaties behouden blijven.
Brede Toepasbaarheid: In tegenstelling tot op reflectie of projectie gebaseerde methoden die convexiteit of expliciete grensgeometrie vereisen, werkt FM-RE met niet-convexe, ongescheiden en lege-interieur constraints (bijvoorbeeld deelruimten) en black-box orakels.
Empirische Validatie: Uitgebreide experimenten op synthetische data, MNIST-attribuutgeneratie en het genereren van adversarial voorbeelden tegen black-box classifiers.

4. Experimentele Resultaten

De auteurs evalueerden hun methoden tegen baselines waaronder standaard FM, Reflected Flow Matching (RFM), Mirror Diffusion Models (MDM) en Projected Diffusion Models (PDM).

Synthetische Experimenten:
- Maten: Gesneden Wasserstein-afstand (SWD) voor distributievorming en Constraint Violation Rate ( $P(X_1 \notin C)$ ).
- Vondsten: FM-DD en FM-RE behaalden aanzienlijk lagere rates van constraint-overtreding dan vanilla FM, terwijl ze concurrerende SWD-scores behielden.
- Complexe Constraints: In scenario's met "2 dozen" (ongescheiden, niet-convex) en "Deelruimte" (lege interieur) faalden methoden zoals RFM en MDM (N/V) of presteerden ze slecht. FM-RE slaagde er succesvol in om in deze moeilijke instellingen aan constraints te voldoen.
- Hyperparameter Gevoeligheid: Het verhogen van de constraint-gewicht $\lambda$ verminderde overtredingen maar degradeerde de distributievorming lichtjes. Het later starten van randomisatie ( $t_0 > 0$ ) verminderde de trainingsduur zonder significante prestatieverlies.
MNIST Attribuutgeneratie:
- Taken: Genereren van cijfers met specifieke "Helderheid" (aantal witte pixels) en "Dikte" constraints.
- Resultaten: FM-RE behaalde een constraint violation rate van 1,12% (tegenover 9,14% voor FM) voor helderheid en 5,40% (tegenover 23,2% voor FM) voor dikte, met minimale impact op de Fréchet Inception Distance (FID).
Adversarial Voorbeeldgeneratie:
- Taak: Genereren van adversarial voorbeelden voor hard-label black-box classifiers (LeNet-5 op MNIST, ResNet-50 op CIFAR-10) waarbij de constraint is "voorspelde label $\neq$ grondwahrheid".
- Resultaten: FM-RE slaagde erin onwaarneembare verstoringen te genereren die de classifier-accuraatheid verlaagden van ~99% naar 18,7% (MNIST) en 28,2% (CIFAR-10), wat hun vermogen demonstreert om complexe, niet-differentieerbare, black-box constraints aan te pakken.

5. Betekenis en Conclusie

Dit artikel levert een significante bijdrage aan het veld van geconstrueerde generatieve modellering door:

Constraints te Generaliseren: Voorbij te gaan aan de vereiste voor convexiteit of expliciete grenskennis, waardoor de toepassing van flow matching op real-world problemen mogelijk wordt waar constraints worden gedefinieerd door complexe orakels (bijvoorbeeld fysische simulaties, black-box classifiers).
Theorie en Praktijk te Verbinden: Het bieden van een praktische, op gradienten gebaseerde oplossing voor niet-differentieerbare constraints via randomized exploration, een techniek die eerder vaker voorkwam in reinforcement learning.
Efficiëntie: Het aantonen dat een tweestapsbenadering computatiekosten kan afwegen tegen constraint-voldoening, waardoor het levensvatbaar wordt voor hoogdimensionale problemen.

Het voorgestelde FM-RE-kader is bijzonder opmerkelijk vanwege het vermogen om black-box constraints aan te pakken, wat nieuwe wegen opent voor toepassingen in robuuste AI (adversarial training), wetenschappelijke simulatie (fysische constraints) en gecontroleerde contentgeneratie. De code is publiek beschikbaar, wat verdere research en adoptie faciliteert.