Score-Guided Proximal Projection: A Unified Geometric Framework for Rectified Flow Editing

Deze paper introduceert Score-Guided Proximal Projection (SGPP), een unified geometrisch framework dat de kloof tussen deterministische optimalisatie en stochastische sampling overbrugt om Rectified Flow-modellen effectief te sturen voor taken zoals semantische bewerking en beeldherstel, terwijl het bestaande methoden als een speciaal geval omvat en een trainingsvrije afweging biedt tussen identiteitsbehoud en generatieve vrijheid.

De kern

Stel je voor dat je een kunstwerk hebt gemaakt (een foto van een kat), maar je wilt dat het eruitziet als een leeuw, terwijl je de originele houding en achtergrond wilt behouden. Of stel je voor dat je een oude, beschadigde foto hebt die je wilt repareren zonder dat het eruitziet alsof je het hebt nagemaakt.

Dit is het probleem waar kunstmatige intelligentie (AI) vaak tegenaan loopt. De nieuwe generatie AI-modellen (zoals "Rectified Flow") kan prachtige beelden maken, maar ze zijn lastig te sturen. Ze zijn als een auto die perfect rechte lijnen rijdt, maar als je de stuurknuppel wilt gebruiken om een bocht te maken, blijft de auto soms vastzitten in de oude route.

Deze paper introduceert een nieuwe methode genaamd SGPP (Score-Guided Proximal Projection). Laten we dit uitleggen met een paar simpele metaforen.

1. Het Probleem: De "Vaste Route" vs. De "Wilde Gok"

Stel je voor dat je een AI-model hebt dat beelden leert maken. Het heeft een ideale route bedacht om van een willekeurige vlek (ruis) naar een mooi beeld te gaan.

• Methode A (De "Stijve" Inversie):
  Stel je voor dat je een touw hebt dat de AI van het begin tot het einde van de route vasthoudt. Als je de AI wilt sturen om een kat in een leeuw te veranderen, trek je aan dat touw. Het probleem? Het touw is te strak. De AI kan niet uit de oude lijn stappen. Het resultaat is een kat die eruitziet als een leeuw, maar nog steeds precies de vorm van de kat heeft. Dit noemen de auteurs "geometrisch vergrendelen". Je kunt de AI niet genoeg veranderen.

• Methode B (De "Wilde" Gok):
  Andere methoden proberen de AI los te laten en te laten gokken wat er mogelijk is. Dit werkt soms goed, maar het is als een dronken man die probeert een rechte lijn te lopen. Het is onstabiel, berekent alles te langzaam en de AI raakt vaak de "goede weg" kwijt, waardoor het beeld vervormd of onherkenbaar wordt.

2. De Oplossing: SGPP (De Elastische Veer)

De auteurs van deze paper zeggen: "Waarom kiezen we voor een strak touw of een losse man? Laten we een elastische veer gebruiken."

SGPP introduceert een nieuw concept: Proximal Projection.
Stel je voor dat je een elastiek hebt dat de AI vasthoudt aan de originele foto (de "referentie"), maar dat elastiek is niet stijf. Het heeft een beetje speling (in de paper "proximal variance" genoemd).

• De Veer: Als de AI probeert iets te doen dat te ver weg is van de originele foto (bijvoorbeeld de vorm van de kat volledig veranderen), trekt de veer hem terug.
• De Speling: Maar omdat de veer elastisch is, kan de AI wel een beetje "wijken" om nieuwe details toe te voegen (zoals een leeuwenmanen), zolang het maar binnen een redelijke afstand blijft.

3. Hoe werkt het in de praktijk?

De paper gebruikt wiskunde om te bewijzen dat deze "veer" twee dingen doet die cruciaal zijn:

1. Het "Aanvatten" van de Goede Weg:
   De AI-modellen hebben een "landkaart" van alle mogelijke mooie beelden (een zogenaamd manifold). Als je een beschadigde foto of een rare invoer hebt, ligt deze vaak niet op die kaart.
   De SGPP-methode zorgt ervoor dat de AI automatisch wordt "getrokken" naar de dichtstbijzijnde plek op die kaart. Het is alsof je een bal op een helling rolt; de bal rolt vanzelf naar de laagste punt (de veilige, mooie plek), zelfs als je hem ergens anders begint. Dit voorkomt dat het beeld "kapot" wordt.

2. De Balans tussen "Zoals het Oude" en "Nieuw":
   De methode heeft een knop (de "variance" of speling).

   • Knop op 0 (Strak): De AI doet precies wat je zegt, maar verandert niets. Het is een perfecte kopie.
   • Knop op 1 (Lekker los): De AI mag alles veranderen, maar het blijft wel op de goede "kaart" van mooie beelden.
   • Knop ergens tussenin: Dit is de magische zone. Je kunt een kat in een leeuw veranderen, maar de AI onthoudt nog steeds dat het een kat was (dezelfde houding, dezelfde achtergrond).

4. Waarom is dit zo speciaal?

Vroeger moesten mensen kiezen tussen:

• Stabiel maar saai: De foto blijft precies hetzelfde, alleen de kleur verandert.
• Leuk maar instabiel: De foto verandert veel, maar wordt vaak wazig of onherkenbaar.

Met SGPP krijgen we het beste van beide werelden. Het is alsof je een GPS hebt die je niet dwingt om exact dezelfde straat te nemen (zoals de oude methoden), maar die je wel waarschuwt als je de weg volledig kwijtraakt. Het laat je een omweg maken voor een mooi uitzicht (de leeuw), maar zorgt ervoor dat je weer op de hoofdweg uitkomt.

Kortom:
Deze paper biedt een slimme, wiskundige manier om AI-kunst te sturen. Het gebruikt een "elastische" kracht die de AI helpt om nieuwe dingen te bedenken (zoals een leeuw), terwijl het tegelijkertijd zorgt dat de basisstructuur (de kat) niet volledig verdwijnt. Het is de perfecte balans tussen trouw aan het origineel en creativiteit.

Technische samenvatting

1. Het Probleem

Rectified Flow (RF) modellen hebben state-of-the-art prestaties geleverd in generatieve modellering door efficiëntere en rechtlijnigere transporttrajecten te bieden dan standaard diffusiemodellen. Het toepassen van deze modellen voor gecontroleerde inverse problemen (zoals semantische beeldbewerking of blinde beeldherstel) blijft echter een uitdaging. Bestaande methoden vallen uiteen in twee regimes met fundamentele beperkingen:

• Inversie-gebaseerde aanpakken (bijv. RF-Inversion): Deze methode dwingt de bewerking om het pad van de bronafbeelding rigide te volgen ("hard guidance"). Dit leidt tot "geometrische vergrendeling" (geometric locking): het model kan niet voldoende afwijken van het originele pad om significante semantische veranderingen aan te brengen of grote uit-de-verdeling (OOD) corrupties te corrigeren.
• Posterior Sampling & Manifold Constraints (bijv. DPS, MCG): Deze methoden proberen de inverse oplossing te vinden door een waarschijnlijkheidsdoel te optimaliseren. Ze vereisen echter vaak backpropagatie door de Jacobiaan van het denoising-netwerk, wat rekenkundig duur en numeriek instabiel is, vooral bij hoge ruisniveaus.

De kernuitdaging is het vinden van een balans tussen trouw (het behouden van de identiteit/structuur van de invoer) en realisme (het garanderen dat het resultaat op het geleerde data-manifold ligt).

2. Methodologie: Score-Guided Proximal Projection (SGPP)

De auteurs introduceren SGPP, een unificerend raamwerk dat de kloof tussen deterministische optimalisatie en stochastisch sampling overbrugt. De kernideeën zijn:

• Proximal Optimalisatie: Het herstelprobleem wordt geformuleerd als een proximal optimalisatieprobleem op een tijdsafhankelijk manifold. Er wordt een energiepotentiaal gedefinieerd die twee componenten combineert:
  1. Trouw-potentiaal (Fidelity Potential): Verankert de trajectorie aan de invoer ($x_{ref}$) via een Gaussische likelihood met een proximal variatie $\sigma_p$.
  2. Generatieve potentiaal: Afgeleid van de vooraf getrainde score-functie van het Rectified Flow model.
• Geometrische Decompositie: De auteurs analyseren de score-veld van Rectified Flow binnen een tubulaire omgeving van het data-manifold. Ze tonen aan dat de score zich decomposeert in:
  • Een normale kracht die punten exponentieel terugtrekt naar het manifold (herstellende kracht).
  • Een tangentiële drift die de semantische evolutie van het beeld stuurt.
  • Een krommingscomponent (Mean Curvature Vector).
• De Update Regel: In plaats van complexe Jacobiaan-berekeningen, gebruikt SGPP een update-regel die de pre-getrainde score-functie combineert met een expliciete proximal term. Dit elimineert de noodzaak voor backpropagatie door het netwerk.
• Soft Guidance: Door de proximal variatie $\sigma_p$ te variëren, kunnen gebruikers een continu spectrum bedienen tussen strikte identiteitsbehoud ($\sigma_p \to 0$, wat leidt tot RF-Inversion) en generatieve vrijheid ($\sigma_p > 0$).

3. Belangrijkste Bijdragen

1. Theoretische Stabiliteit (Normal Contraction):
   De auteurs bewijzen dat de gradiëntstroom van hun objectief een normale contractie-eigenschap bezit. Dit garandeert geometrisch dat inputs buiten de verdeling (OOD) veilig worden "vastgezet" (snapped) op het data-manifold, zonder de instabiliteit van DPS.
2. Convergentie naar MAP:
   Het wordt aangetoond dat het deterministische algoritme convergeert naar de Manifold-constrained Maximum A Posteriori (MAP) schatter. Het pre-getrainde score-veld fungeert hierbij als een impliciete projectie-operator, wat expliciete en onstabiele projectiestappen overbodig maakt.
3. Unificatie van Bestaande Methoden:
   SGPP generaliseert state-of-the-art methoden. RF-Inversion wordt getoond als een limietgeval van SGPP wanneer $\sigma_p \to 0$. Door $\sigma_p$ te vergroten, ontstaat "soft guidance", wat flexibele semantische aanpassingen toelaat terwijl de structurele essentie behouden blijft.
4. Training-vrij en Jacobiaan-vrij:
   De methode vereist geen extra netwerken, geen complexe afstandfuncties en geen backpropagatie door de generatieve model-Jacobian. Het repurposeert de bestaande score-functie als een geometrische orakel.

4. Resultaten

De auteurs valideren SGPP in twee regimes:

• Geometrische Validatie (2D "Two-Moons"):
  • DPS toont instabiliteit bij hoge ruis (gradiënten exploderen of leiden tot overschrijding van het manifold).
  • RF-Inversion toont "geometrische vergrendeling": de trajecten collapse naar de invoer en kunnen geen significante veranderingen maken.
  • SGPP toont robuuste convergentie. De deterministische versie "snapt" OOD-punten terug op het manifold, terwijl de stochastische versie (SGPP-SDE) de posterior verdeling correct sampleert zonder te collapse naar één modus.
• Semantische Bewerking (FLUX Model):
  • Bij het transformeren van een kat naar een leeuw faalt RF-Inversion (het resultaat is een hybride met de vorm van de kat).
  • SGPP slaagt erin de structuur van de leeuw (manen, snuit) te genereren terwijl de houding en achtergrond behouden blijven, dankzij de "soft guidance" ($\sigma_p > 0$).
• Trade-off Analyse:
  Er wordt een continu spectrum aangetoond tussen strikte reconstructie (lage $\sigma_p$) en ongecontroleerde generatie (hoge $\sigma_p$), wat de theorie van een unificerend raamwerk bevestigt.

5. Betekenis en Impact

Dit werk biedt een theoretisch onderbouwde en praktische oplossing voor het beheersen van Rectified Flow modellen.

• Het lost het probleem van "geometrische vergrendeling" op zonder de rekenkosten en instabiliteit van Jacobiaan-gebaseerde methoden.
• Het introduceert een nieuwe parameter ($\sigma_p$) die onderzoekers en gebruikers toelaat om de balans tussen perceptie (trouw aan de bron) en vervorming (creativiteit/realisme) nauwkeurig te sturen.
• Het raamwerk verduidelijkt de wiskundige relatie tussen inversie-gebaseerde methoden en posterior sampling, en biedt een robuust alternatief voor complexe inverse problemen in generatieve AI.

Samenvattend biedt SGPP een elegant, training-vrij mechanisme dat de inherente geometrie van Rectified Flow benut om zowel stabiele beeldherstel als flexibele semantische bewerking mogelijk te maken.