Technische Samenvatting: Logica-gestuurde Vectorvelden voor Gestructureerde Generatieve Modellering

1. Probleemstelling

Generatieve modellen worden steeds vaker ingezet als voorstelmechanismen in robotica, planning en ontwerp, waarbij outputs aan expliciete domeinbeperkingen moeten voldoen (bijvoorbeeld veiligheidsregels, fysieke haalbaarheid). Standaard generatieve pijplijnen, met name continue-tijdmodellen zoals Flow Matching, zijn echter grotendeels "onbewust van beperkingen". Hoewel deze modellen leren om waarschijnlijkheidsmassa te transporteren van een basisverdeling naar een doelverdeling, leiden ze trajecten vaak door verboden gebieden tijdens het generatieproces, zelfs als de uiteindelijke doelverdeling volledig binnen de geldige verzameling ligt.

Bestaande oplossingen, zoals rejectiesampling, projectie of heuristische geleiding, lijden aan aanzienlijke beperkingen:

• Rejectiesampling wordt computationeel onpraktisch wanneer haalbare gebieden klein zijn.
• Projectie kan samples vervormen en faalt wanneer beperkingen niet-convex of ononderbroken zijn.
• Standaard geleidingsmethoden (bijvoorbeeld classifier guidance) bieden zachte controle maar garanderen geen voldoen aan beperkingen.
• Enige handhaving aan het eindpunt is onvoldoende omdat het generatietraject zelf ongeldige gebieden kan kruisen, wat leidt tot zeldzame maar kritieke fouten in veiligheidskritieke omgevingen.

De kernuitdaging die wordt aangepakt, is hoe logische en geometrische beperkingen kunnen worden geïntegreerd in flow-matching generatieve modellen om de geldigheid te verbeteren zonder in te boeten aan samplekwaliteit of verdelingsgetrouwheid.

2. Methodologie: Logica-gestuurde Vectorvelden (LGVF)

De auteurs stellen Logica-gestuurde Vectorvelden (LGVF) voor, een neuro-symbolisch raamwerk dat symbolische beperkingen direct integreert in de generatieve dynamica van flow matching. Het raamwerk gaat ervan uit dat beperkingen worden gespecificeerd als logische predicaten $\phi(x)$ met differentieerbare relaxaties (schendingsfuncties) $\ell_{logic}(x) \geq 0$, waarbij $\ell_{logic}(x) = 0$ dan en slechts dan als aan de beperking is voldaan.

LGVF werkt via twee complementaire mechanismen:

A. Logica-verlies tijdens training

Standaard flow matching leert een vectorveld $v_\theta(x, t)$ om de afstand te minimaliseren tussen de geleerde snelheid en de conditionele snelheid $x_1 - x_0$ langs rechte lijnen. LGVF breidt dit uit met een logica-verlies op trajectniveau. In plaats van alleen de geldigheid aan het eindpunt te controleren, straft het model schendingen van beperkingen bij tussenliggende toestanden $x_t$ langs het flow-traject.

Het totale doel is:
$$\mathcal{L}_{LGVF}(\theta) = \mathcal{L}_{FM}(\theta) + \mathbb{E}_{t, x_0, x_1} [\lambda(t) \cdot \ell_{logic}(x_t)]$$

• $\mathcal{L}_{FM}$: Standaard flow matching-verlies.
• $\lambda(t) = \lambda_{max} \cdot t^\alpha$: Een tijdsafhankelijk wegingsschema. Dit weerspiegelt de geometrie van flow matching: bij $t \approx 0$ bevinden samples zich nabij de basisverdeling waar schendingen onvermijdelijk kunnen zijn; bij $t \approx 1$ naderen samples het doel waar beperkingen strikt moeten gelden.
• Effect: Dit moedigt het geleerde vectorveld aan om gebogen paden te ontdekken die samples om verboden gebieden leiden in plaats van er dwars doorheen te snijden.

B. Logica-aanpassing tijdens inferentie

Alleen geleiding tijdens training kan nul schendingen garanderen, vooral voor complexe geometrieën. LGVF introduceert een lichtgewicht, op gradiënten gebaseerde correctie tijdens het sampling (ODE-integratie). Het vectorveld wordt gewijzigd door de gradiënt van de beperking af te trekken:
$$\tilde{v}(x_t, t) = v_\theta(x_t, t) - \eta(t) \cdot \nabla_x \ell_{logic}(x_t)$$

• Mechanisme: De term $-\nabla_x \ell_{logic}(x_t)$ wijst naar de steilste daling in schending, waardoor het traject wordt geduwd naar geldige gebieden.
• Schema: De aanpassingssterkte $\eta(t)$ is nul voor vroege tijden ($t \leq t_0$) en neemt kwadratisch toe voor $t > t_0$ (bijvoorbeeld $t_0 = 0.3$). Dit zorgt ervoor dat de correctie fungeert als een "laatste mijl"-verfijning zonder de integratie te destabiliseren of de geleerde verdeling significant te wijzigen.

3. Belangrijkste Bijdragen

1. Identificatie van een Koppeling: Het artikel toont aan dat onbeperkt flow-gebaseerd transport zelfs kan doortrekken door verboden gebieden wanneer de doelverdeling volledig geldig is, wat de ontoereikendheid van handhaving alleen aan het eindpunt benadrukt.
2. LGVF-raamwerk: Een nieuwe methode die symbolische beperkingen integreert in flow matching via een tweestapsbenadering:
   • Een logica-verlies tijdens training dat schendingen langs continue flow-trajecten straft.
   • Een gradiëntaanpassing tijdens inferentie die sampling afleidt van beperkingsschendingen.
3. Emergent Gedrag: De methode oplevert beperkingen-bewuste vectorvelden die emergent obstakelontwijkend gedrag vertonen, waarbij samples rond verboden gebieden worden geleid zonder expliciete padplanning.
4. Empirische Validatie: Uitgebreide evaluatie over lineaire, niet-lineaire en multi-regio beperkingen, waarbij consistente verbeteringen in geldigheid worden aangetoond met minimale impact op samplekwaliteit.

4. Experimentele Resultaten

De auteurs evalueerden LGVF op drie 2D casestudies en een schaalstudie in hoge dimensies:

• Casestudie 1 (Lineaire Halfvlak): LGVF + Aanpassing verlaagde de schendingspercentages met 82% (van 2,2% naar 0,4%) vergeleken met standaard Flow Matching.
• Casestudie 2 (Niet-lineaire Ring): LGVF + Aanpassing verlaagde schendingen met 79% (van 5,65% naar 1,20%), waarbij effectief zowel binnen- als buitenrandbeperkingen werden gehanteerd.
• Casestudie 3 (Multi-Obstakel): In deze complexe, niet-convexe setting verhoogde het logica-verlies tijdens training alleen de schendingen licht vanwege het moeilijke verlieslandschap. De aanpassing tijdens inferentie compenseerde echter succesvol, waardoor schendingen met 59% werden verlaagd (van 1,7% naar 0,7%).
• Casestudie 4 (Schaal in Hoge Dimensies): In dimensies $d \in \{10, 25, 50, 100\}$ groeiden schendingen bij standaard Flow Matching aanzienlijk (tot 14,8% bij $d=100$). LGVF + Aanpassing behield nagenoeg nul schendingspercentages (0,0%–0,4%) over alle dimensies heen.

Trade-offs:

• In lineaire en ring-settings verbeterde LGVF zowel geldigheid als verdelingsgetrouwheid (gemeten via MMD).
• In de multi-obstakel setting werd een trade-off tussen tevredenheid en getrouwheid waargenomen: hoewel haalbaarheid verbeterde, nam MMD licht toe, wat wijst op een afwijking van de vorm van de doelverdeling.

Ablatiestudies:

• Sterkere gewichten tijdens training ($\lambda_{max}$) verminderden schendingen monotoon.
• Geleiding tijdens training en aanpassing tijdens inferentie zijn complementair: de combinatie van beide leverde de beste resultaten op (0,02% schending versus 0,50% baseline), wat beter presteerde dan elk component afzonderlijk.

5. Betekenis en Claims

Het artikel claimt dat LGVF een betrouwbare mechanisme biedt voor het afdwingen van beperkingen in generatieve modellering zonder dat expliciete padplanning of dure rejectiesampling nodig is. Door globale vormgeving van transport (via trainingsverlies) te koppelen aan lokale correctie (via inferentie-aanpassing), bereikt het raamwerk robuuste voldoening aan beperkingen over diverse geometrieën.

De auteurs positioneren LGVF als een stap in de richting van het bruikbaar maken van generatieve modellen voor veiligheidskritieke toepassingen waar geldigheid niet onderhandelbaar is. Zij erkennen resterende uitdagingen, waaronder het uitbreiden van de methode naar complexe data in hoge dimensies (bijvoorbeeld afbeeldingen, moleculen), het verbeteren van robuustheid onder sterk niet-convexe landschappen, en het verder analyseren van de trade-off tussen tevredenheid en getrouwheid. Het werk claimt niet alle problemen met gestructureerde generatie op te lossen, maar biedt een schaalbare, differentieerbare aanpak die in de geteste settings significant beter presteert dan standaard baselines.