Contrastive Diffusion Guidance for Spatial Inverse Problems

Dit paper introduceert CoGuide, een methode die contrastief geleerde inbeddings gebruikt om diffusiemodellen te sturen bij ruimtelijke inverse problemen met niet-gladde en gedeeltelijk gespecificeerde forward-operatoren, zoals het reconstrueren van plattegronden uit bewegingstrajecten.

De kern

De "Geestelijke Architect": Hoe je een plattegrond kunt reconstructeren uit wandelroutes

Stel je voor dat je in een donker huis loopt. Je kunt de muren niet zien, maar je hebt een slimme sensor (zoals een smartphone) die precies registreert waar je hebt gelopen. Je loopt van de keuken naar de slaapkamer, maakt een bocht, loopt terug... Je hebt alleen de route die je hebt afgelegd.

De vraag is: Kun je op basis van alleen die wandelroute de plattegrond van het huis reconstrueren?

Dit is wat de onderzoekers van deze paper (CoGuide) hebben gedaan. Ze hebben een slimme manier bedacht om van een "spoor" (je wandeling) weer het "gebouw" (de plattegrond) te maken, zelfs als de regels van hoe mensen lopen heel lastig en onvoorspelbaar zijn.

1. Het Probleem: De "Onzichtbare Muur" van de Wiskunde

Normaal gesproken gebruiken computers wiskundige formules om dit soort problemen op te lossen. Ze proberen te "gissen" hoe de muren eruitzien en kijken of dat past bij je wandeling.

Maar hier zit een addertje onder het gras: Hoe mensen lopen, is niet lineair.

• Als je een muur een beetje verschuift (bijvoorbeeld een deuropening verplaatst), kan je hele route drastisch veranderen. Je loopt misschien ineens door een andere kamer in plaats van eromheen.
• In de wiskunde noemen we dit een niet-gladde operator. Het is alsof je probeert een auto te besturen die plotseling van richting verandert als je het stuur maar een millimeter draait.
• Bestaande AI-methoden (zoals "Diffusion Models") raken hierdoor in de war. Ze proberen te "glijden" naar de juiste oplossing, maar omdat de weg zo hobbelig is, vallen ze constant en komen ze nooit goed uit.

2. De Oplossing: De "Taal van de Gevoelens" (Embedding Space)

In plaats van te proberen de exacte wiskundige regels van het lopen te begrijpen (wat te moeilijk is), hebben de onderzoekers een slimme omweg bedacht. Ze zeggen: "Laten we niet kijken naar de muren en de routes zelf, maar laten we ze vertalen naar een andere taal."

Ze creëren een gemeenschappelijke ruimte (een "embeddingspace") waar zowel plattegronden als wandelroutes in worden omgezet in een soort abstracte code.

• De Metafoor: Stel je voor dat je twee mensen hebt die verschillende talen spreken (een plattegrond en een wandelroute). Ze kunnen elkaar niet verstaan. De onderzoekers hebben een tolk gebouwd.
  • Deze tolk vertaalt de plattegrond naar een "gevoel" (een punt in de ruimte).
  • Hij vertaalt de wandelroute naar een ander "gevoel".
  • Als de wandeling logisch past bij de plattegrond, dan komen deze twee "gevoelens" in de ruimte dicht bij elkaar.
  • Als de wandeling niet past (bijvoorbeeld: je loopt door een muur), dan staan ze ver uit elkaar.

3. De "Contrastieve" Leraar

Hoe leer je deze tolk? Met een methode die ze Contrastive Learning noemen.

• Je geeft de computer duizenden paren: een plattegrond en de bijbehorende wandelroute.
• De computer moet leren: "Hé, deze twee horen bij elkaar, trek ze dichter naar elkaar toe!"
• En: "Deze twee horen niet bij elkaar, duw ze uit elkaar!"

Na veel oefening leert de computer een ruimte waarin alles logisch is geordend. In deze ruimte zijn de regels "glad": kleine veranderingen in de plattegrond leiden tot kleine veranderingen in de code, niet tot chaos.

4. Het Reizigersproces (De Diffusie)

Nu komt de magie. De AI begint met een willekeurige, rommelige vlek (als ruis) en probeert die stap voor stap om te vormen tot een plattegrond.

• Normaal zou de AI kijken: "Past dit bij de wandelroute?" (en dat gaat hier mis door de hobbelige wiskunde).
• Met CoGuide kijkt de AI: "Staat de code van deze rommelige vlek dicht bij de code van de wandelroute in onze speciale ruimte?"
• Als het antwoord "nee" is, duwt de AI de vlek een beetje in de richting van de juiste code. Omdat die ruimte "glad" is, glijdt de AI soepel naar het juiste antwoord zonder te vallen.

5. Waarom is dit cool?

• Robuustheid: Het werkt zelfs als de wandelroute niet perfect is (bijvoorbeeld als de sensor ruis heeft of als de gebruiker niet de kortste weg loopt).
• Alles-in-één: Ze hebben getoond dat deze techniek niet alleen werkt voor huisplattegronden, maar ook voor andere moeilijke problemen, zoals het schoonmaken van oude, beschadigde audio-opnames. Het is een universele sleutel voor "blind" terugrekenen.
• Resultaat: In tests bleek CoGuide veel beter te zijn dan bestaande methoden. Het kon de muren van het huis veel nauwkeuriger reconstrueren, zelfs met weinig wandelgegevens.

Samenvattend

Stel je voor dat je probeert een puzzel op te lossen, maar de puzzelstukken veranderen van vorm als je ze aanraakt. De oude methoden probeerden de puzzelstukken met de hand te forceren (en faalden).
CoGuide zegt: "Laten we de puzzelstukken niet aanraken. Laten we ze eerst in een andere taal vertalen waar ze stabiel zijn, de puzzel daar oplossen, en het antwoord dan terugvertalen."

Het is een slimme manier om de chaos van de echte wereld (hoe mensen lopen) te temmen met een gestructureerde, wiskundige ruimte.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Contrastive Diffusion Guidance for Spatial Inverse Problems" in het Nederlands.

Titel: Contrastive Diffusion Guidance for Spatial Inverse Problems

Publicatie: ICLR 2026
Auteurs: Sattwik Basu, Chaitanya Amballa, et al. (University of Illinois Urbana-Champaign & University of South Carolina)

---

1. Het Probleem: Inverse Problemen met Niet-Gladde Operatoren

Het paper adresseert een specifieke klasse van inverse problemen waarbij de "forward operator" (de functie die een onbekend signaal $x$ omzet in een meting $y$) niet-glad (non-smooth), niet-differentieerbaar en slechts gedeeltelijk gespecificeerd is.

• Concreet Voorbeeld: Het reconstrueren van een plattegrond (floorplan) $x$ op basis van menselijke bewegingstrajecten $y$.
• De Uitdaging: De forward operator $A(\cdot)$ modelleert hoe een mens door een ruimte loopt. Dit is een complex beleid (policy) dat factoren zoals afstanden, botsingen met muren en het aantal bochten optimaliseert.
• Waarom bestaande methoden falen:
  • Traditionele differentieerbare benaderingen (zoals Neural A* of TransPath) proberen de operator te benaderen voor gradient-based learning.
  • Echter, kleine veranderingen in de plattegrond (bijv. een klein gat in een muur) kunnen leiden tot drastisch verschillende paden. Dit veroorzaakt een hoge variabiliteit in de Jacobiaan, wat leidt tot instabiele optimalisatie en slechte convergentie bij diffusion-based posterior sampling (zoals Diffusion Posterior Sampling - DPS).
  • Directe likelihood-guidance ($\nabla_x \log p(y|x)$) is onstabiel omdat de gradiënt onbetrouwbaar is.

2. Methodologie: CoGuide

De auteurs introduceren CoGuide, een methode die de conventionele likelihood-guidance vervangt door een contrastieve geleiding in een geleerde embeddingruimte.

Kernidee

In plaats van de onstabiele operator $A(\cdot)$ direct te differentiëren, projecteren ze zowel de plattegronden ($x$) als de trajecten ($y$) naar een gemeenschappelijke, gladde embeddingruimte $\mathcal{E}$. In deze ruimte wordt de likelihood-score vervangen door een surrogaat-likelihood gebaseerd op de afstand tussen de embeddings.

Technische Implementatie

1. Embedding Ruimte:
   • Twee encoders worden getraind: $f_\phi$ voor plattegronden en $g_\psi$ voor trajecten.
   • Doel: Compatibele paren $\langle x, y \rangle$ worden dicht bij elkaar in de ruimte gebracht, terwijl incompatibele paren uit elkaar worden geduwd.
2. Contrastief Leren (InfoNCE):
   • De encoders worden getraind met een supervised contrastive loss (InfoNCE-stijl).
   • De loss fungeert als een schatting van de likelihood-ratio: $\exp(\langle f_\phi(x), g_\psi(y) \rangle / \tau) \propto p(y|x)$.
   • Door de gradienten van deze inner product te nemen, wordt een stabiele, gladde gradiënt verkregen die de diffusion-proces kan sturen.
3. Surrogaat Likelihood Score:
   • De traditionele DPS-guidance wordt vervangen door:
     $$\nabla_{x_t} \log p_t(x_t|y) \approx s_\theta(x_t, t) - \frac{1}{2\tau} \nabla_{x_t} \| f_\phi(\hat{x}_0) - g_\psi(y) \|_2^2$$
   • Hierbij is $\hat{x}_0$ de geschatte schone data op tijdstip $t$. Omdat de embeddings glad zijn, is deze gradiënt stabiel.
4. Inference Verbeteringen:
   • Intersection Penalty: Een extra term wordt toegevoegd om te voorkomen dat het gegenereerde traject muren snijdt ($L_{intersect} = \| y \odot (1-\hat{x}_0) \|_1$).
   • Adam Optimizer: In plaats van standaard Gradient Descent (GD) of SGD, gebruikt CoGuide de Adam-optimizer binnen elke DDIM-stap. Dit helpt bij het integreren van de complexe, niet-convexe posterior en verbetert de convergentie.
   • Learning Rate Annealing: Een cosine-annealing strategie voor de learning rate tijdens de sampling.

3. Belangrijkste Bijdragen

• Overbrugging van Differentieerbaarheid: De paper lost het probleem van niet-differentieerbare forward operators op door de likelihood-guidance te verplaatsen naar een geleerde, gladde embeddingruimte.
• Theoretische Validatie: Ze tonen aan dat de contrastieve score een geldige surrogaat is voor de ware likelihood-score ($\nabla_x \log p(y|x)$) onder de InfoNCE-optimale voorwaarden.
• Robuustheid: De methode is robuust tegen de instabiliteit die optreedt bij directe differentiatie van pad-planners (zoals A*).
• Generalisatie: Het bewijs dat de methode werkt voor "blind inverse problems" (waarbij de forward operator volledig onbekend is), getoond via een toepassing op audio-restauratie.

4. Resultaten en Evaluatie

De auteurs evalueren CoGuide op de HouseExpo dataset (35.000+ plattegronden) en vergelijken het met 6 baselines, waaronder DPS met diverse pad-planners (Neural A*, TransPath, DiPPeR), DiffPIR, DMPlug en Classifier-Free Guidance (CFG).

• Kwantitatieve Prestaties:
  • CoGuide presteert superieur in IoU (Intersection over Union) en F1-score, vooral in scenario's met spaarzame trajecten (waar het probleem zeer slecht gesteld is).
  • In de "sparse" regime: CoGuide (F1: 0.91) vs. beste baseline CFG (F1: 0.86).
  • De combinatie CFG + CoGuide levert de beste resultaten op (F1: 0.93 in sparse, 0.99 in dense).
• Kwalitatieve Resultaten:
  • Baselines genereren vaak artefacten of onrealistische muren omdat ze vastlopen in de instabiele gradiënten van de pad-planners.
  • CoGuide produceert plattegronden die consistent zijn met de waargenomen trajecten en minder visuele artefacten hebben.
• Real-world Validatie:
  • Toepassing op echte data (verzameld met UWB-sensoren in studentenappartementen). CoGuide reconstructeert aanzienlijk betere muurstructuren dan CFG, die vaak grote muren mist of verkeerd plaatst.
• Blind Inverse Problems:
  • De methode werd succesvol toegepast op audio-restauratie (herstel van historische opnames met onbekende vervormingen), waar het de prestaties van bestaande methoden (LTAS) overtrof.

5. Betekenis en Impact

• Nieuwe Richting voor Diffusion Models: Dit paper opent een weg voor het oplossen van inverse problemen waarbij de forward operator complex, niet-lineair en niet-differentieerbaar is (zoals menselijk gedrag, fysieke simulaties of discrete processen).
• Onafhankelijkheid van Exacte Modellen: Het maakt het mogelijk om inverse problemen op te lossen zonder een perfect differentieerbaar model van de forward operator te hoeven bouwen. Het leert de relatie tussen input en output direct uit de data.
• Brede Toepasbaarheid: Hoewel gefocust op plattegronden, suggereert de methode een route naar het oplossen van andere complexe problemen, zoals het synthetiseren van stadskaarten uit GPS-data of het reconstrueren van moleculaire structuren uit eigenschappen.

Samenvattend introduceert CoGuide een elegante oplossing voor een fundamenteel probleem in inverse problemen: de instabiliteit van gradiënten bij niet-gladde operatoren, door gebruik te maken van contrastief leren om een stabiele geleidingsruimte te creëren.