What We Don't C: Manifold Disentanglement for Structured Discovery

Dit paper introduceert "What We Don't C", een nieuwe methode op basis van latent flow matching die latente subruimten ontrafelt door conditionele informatie expliciet te verwijderen, waardoor residuale representaties ontstaan die factoren van variatie blootleggen die niet in de conditionering waren opgenomen.

De kern

Hier is een uitleg van het paper "What We Don't C" (WWDC), vertaald naar simpel, alledaags Nederlands met behulp van creatieve metaforen.

De Kern: Wat zien we niet?

Stel je voor dat je een enorme, rommelige zolder hebt vol met oude spullen. Je hebt al een paar dozen gemarkeerd: "Kleding", "Boeken" en "Speelgoed". Je weet precies waar die staan. Maar wat zit er nog meer in die rommel? Misschien een zeldzame munt, een oude foto van een onbekende oom, of een geheimzinnig apparaatje dat je nog nooit hebt gezien.

De meeste computerprogramma's (AI) zijn erop getraind om die bekende dozen ("Kleding", "Boeken") te vinden en te ordenen. Ze zijn heel goed in datgene wat we al weten. Maar ze zijn vaak blind voor de dingen die we niet hebben benoemd of nog niet hebben ontdekt.

Dit paper introduceert een nieuwe methode genaamd WWDC (What We Don't C, oftewel "Wat we niet zien"). Het doel is niet om de bekende dozen nog beter te ordenen, maar om die dozen even uit de weg te halen, zodat je de rest van de zolder kunt inspecteren.

Hoe werkt het? De "Magische Wasstraat"

Het paper gebruikt een slimme techniek die lijkt op een magische wasstraat voor data. Hier is hoe het werkt, stap voor stap:

1. De Start (De Zolder): Je hebt een computermodel (een VAE) dat al een keer door de zolder is gelopen en alles in een compacte, gestructureerde ruimte heeft gelegd. Dit is je "latent space". Alles zit hier al in, maar het is een grote soep van informatie.
2. De Wasstraat (Flow Matching): Het team bouwt een soort "tijdreis-machine" (een stromingsmodel). Deze machine kan beelden van de zolder (tijd $t=1$) afvoeren naar een lege, witte kamer (tijd $t=0$), en andersom.
3. De "Vergeet"-Knop (Conditioning Guidance): Dit is het slimme deel. Als je wilt weten wat er niet aan kleding zit, zeg je tegen de machine: "Haal alle informatie over kleding weg!"
   • De machine gebruikt een truc (gebaseerd op classifier-free guidance) om de kleding-informatie te onderdrukken terwijl het de data door de tijdreis-machine stuurt.
   • Het resultaat? De kleding is nu "verdwijnen" uit de representatie.
4. De Overblijfselen (Residuals): Wat overblijft in de witte kamer is de rest. Omdat de kleding is verwijderd, springen nu de andere dingen eruit: de munt, de foto, het apparaatje. In de originele rommelige zolder waren deze dingen verborgen onder de stapels kleding, maar nu, zonder die kleding, zijn ze plotseling duidelijk zichtbaar.

Waarom is dit zo cool?

Normaal gesproken moet je een AI van nul af aan opnieuw leren als je iets nieuws wilt ontdekken. Dat is als het bouwen van een nieuwe zolder voor elke nieuwe vraag.

WWDC is anders:

• Herbruikbaar: Je gebruikt een bestaande, getrainde AI (de zolder).
• Flexibel: Je kunt in één klap zeggen: "Haal de kleding weg" en kijk wat er overblijft. Vervolgens kun je zeggen: "Haal nu de boeken weg" en kijk wat daarna overblijft.
• Ontdekking: Het helpt wetenschappers om dingen te vinden die ze niet eens wisten dat ze zochten.

Voorbeelden uit het paper

De auteurs hebben dit getest op drie niveaus:

1. De Simpele Prikkel (2D Gaussians):

   • Metafoor: Je hebt vier groepen ballen in verschillende kleuren.
   • Actie: Je zegt de computer: "Vergeet de kleur."
   • Resultaat: Plotseling zie je dat de ballen ook verschillen in hun vorm of grootte, wat je eerst niet zag omdat de kleur te dominant was.

2. De Kleurige Cijfers (Colored MNIST):

   • Metafoor: Denk aan cijfers (0 t/m 9) die in verschillende kleuren zijn geschreven. De computer ziet normaal gesproken vooral het cijfer (bijv. een "3").
   • Actie: Je zegt: "Vergeet het cijfer en de kleur rood/groen."
   • Resultaat: De computer begint nu het blauw te zien! In de originele data was de blauwe tint verborgen onder de dominantie van het cijfer en de andere kleuren. Nu, zonder die afleiding, springt de blauwe tint eruit.

3. De Sterrenhemel (Galaxy10):

   • Metafoor: Astronomen hebben duizenden foto's van sterrenstelsels. Ze weten al welke "ronde" of "spiraalvormige" stelsels er zijn.
   • Actie: Ze zeggen: "Haal de vorm van het sterrenstelsel weg."
   • Resultaat: Wat overblijft zijn de subtiele details: een rare vlek, een specifieke structuur in de staart, of een kunstmatig artefact van de camera. Dit helpt astronomen om nieuwe, vreemde soorten sterrenstelsels te vinden die ze eerder over het hoofd zagen.

De Grote Les

De titel "What We Don't C" (Wat we niet zien) is een woordspeling op "What we don't see" (Wat we niet zien) en "C" als in "Conditioning" (de voorwaarde die we stellen).

Het paper leert ons dat we niet altijd hoeven te zoeken naar nieuwe antwoorden met nieuwe vragen. Soms moeten we gewoon de vragen die we al hebben stellen, even "uitschakelen" in onze modellen. Door de bekende informatie weg te halen, worden de onbekende, waardevolle details plotseling helder zichtbaar.

Het is alsof je een bril opzet die alleen de bekende dingen doorzichtig maakt, zodat je eindelijk de verborgen schatten kunt zien die er altijd al waren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "What We Don't C: Manifold Disentanglement for Structured Discovery" in het Nederlands.

Titel: What We Don't C (WWDC): Manifold Disentanglement voor Gestructureerde Ontdekking

Auteurs: Brian Rogers et al. (Oxford Astrophysics, UCL, enz.)

---

1. Het Probleem

In disciplines met hoge dimensionale datasets (zoals astrofysica, beeldherkenning) is het cruciaal om informatie uit geleerde representaties te kunnen benaderen voor annotatie, filtering en ontdekking. Bestaande methoden voor representatieleren (zoals VAE's) mapen data vaak naar een laagdimensionale variabele ruimte (manifold).

• De uitdaging: Traditionele "disentanglement"-methodes (het scheiden van factoren van variatie) proberen vaak alle factoren onafhankelijk te leren zonder toezicht, wat vaak faalt bij complexe, verstrengelde data of vereist dat de grondwaarheid (ground truth) al bekend is.
• De beperking: Bestaande benaderingen vereisen vaak volledige hertraining van het model wanneer nieuwe conditionele variabelen worden geïntroduceerd. Dit maakt het moeilijk om iteratief nieuwe signalen te ontdekken in data die al door bestaande modellen is verwerkt.
• Het doel: Een methode ontwikkelen die bekende, reeds vastgelegde kenmerken uit een bestaande representatiemanifold kan "verwijderen" of onderdrukken, zodat de resterende (residuale) informatie zichtbaar wordt voor nieuwe ontdekkingen.

2. Methodologie: What We Don't C (WWDC)

WWDC is een nieuwe aanpak die Latent Flow Matching combineert met Classifier-Free Guidance (CFG) om bestaande representaties te herschikken. Het doel is niet om nieuwe data te genereren, maar om bestaande data-punten door een stroom (flow) te leiden om een "residuale" representatie te verkrijgen.

Kerncomponenten:

1. Bestaande Representaties: Het systeem begint met een reeds getraind model (bijv. een Variational Autoencoder of VAE) dat data $x$ mapt naar een latente ruimte $z$.
2. Flow Matching: In plaats van een standaard generatieve flow, wordt een flow-model getraind om de latente variabelen $z$ te transformeren van de data-verdeling (doelverdeling) naar een basisverdeling (meestal een Gaussische verdeling). Dit wordt gedaan via een differentiaalvergelijking (ODE) die een snelheidsveld $u_t$ leert.
3. Conditionele Sturing (Guidance): Tijdens het trainen en inferentie wordt gebruikgemaakt van Classifier-Free Guidance.
   • De flow wordt getraind op zowel conditionele paden (met kennis van een kenmerk, bijv. "digit class" of "galaxy type") als onvoorwaardelijke paden.
   • Tijdens inferentie wordt de flow geconditioneerd op bekende kenmerken.
4. Reverse Flow & Disentanglement:
   • Een steekproef uit de VAE ($t=1$) wordt via de ODE achterwaarts naar de basisverdeling ($t=0$) gestuurd.
   • Cruciaal inzicht: Door de flow te conditioneren op een specifiek kenmerk (bijv. de vorm van een sterrenstelsel), wordt de informatie die aan dat kenmerk gerelateerd is, onderdrukt (repressed) in de resulterende representatie bij $t=0$.
   • De resulterende ruimte bevat de oorspronkelijke structuur, maar zonder de geconditioneerde factoren. Dit maakt andere, eerder verborgen factoren van variatie (de "wat we niet zien") toegankelijk.

Waarom dit werkt: Flow matching respecteert de optimal transport (OT) constraints. Als de basisverdeling (Gaussisch) overeenkomt met de prior van de VAE, wordt de globale structuur van de manifold behouden, maar worden de specifieke conditionele variabelen effectief "uitgewist" uit de representatie.

3. Belangrijkste Bijdragen

• Manifold Disentanglement: Introductie van een nieuw paradigma dat niet probeert alle factoren tegelijk te ontrafelen, maar specifiek bekende signalen uit een bestaande manifold verwijdert om residuen bloot te leggen.
• Gebruik van Bestaande Modellen: De methode vereist geen hertraining van de onderliggende VAE. Het repurposed bestaande, voorgeprogrammeerde representaties, wat rekenkosten drastisch verlaagt.
• Iteratieve Ontdekking: Het biedt een cyclus voor wetenschappelijke ontdekking:
  1. Annoteren van bekende kenmerken.
  2. Conditioneren van de flow om deze kenmerken te verwijderen.
  3. Analyseren van de resulterende ruimte voor nieuwe patronen.
  4. Herhalen met de nieuwe ontdekkingen.
• Theoretische Onderbouwing: Het paper toont aan dat sturing in de flowpad noodzakelijkerwijs informatie van de conditionele variabelen onderdrukt, waardoor andere factoren dominant worden.

4. Resultaten

De auteurs testen WWDC op drie datasets met toenemende complexiteit:

1. 2D Gaussians (Synthetisch):

   • Vier synthetische Gaussische clusters werden gebruikt.
   • Resultaat: Bij onvoorwaardelijke flow was de klasstructuur duidelijk, maar de afstand tot het centrum moeilijk te voorspellen. Bij conditionele flow (geconditioneerd op de klas) verdween de klasstructuur volledig in de basisverdeling ($t=0$), terwijl de afstand tot het centrum (een secundair kenmerk) nu lineair en duidelijk zichtbaar werd. Dit bewees dat de methode secundaire kenmerken kan "opgraven".

2. Colored MNIST (cMNIST):

   • MNIST cijfers met willekeurige RGB-kleuren. De flow werd geconditioneerd op het cijfer en de rode/groene kleur, maar niet op de blauwe kleur.
   • Resultaat: In de oorspronkelijke VAE-ruimte was de blauwe kleur verward met de cijferklassen. Na de geleide flow (waarbij cijfer en rood/groen werden onderdrukt), werd de blauwe kleur duidelijk zichtbaar als een gradiënt in de nieuwe ruimte. Lineaire regressie-modellen konden de blauwe waarde veel beter voorspellen uit de geleide representaties dan uit de originele VAE-ruimte.

3. Galaxy10 (Astrofysica):

   • Toepassing op echte sterrenstelselbeelden (DECaLS dataset) met 10 morfologische klassen.
   • Resultaat: Door te conditioneren op de klasse "rond" (round), werden de specifieke vormen van de sterrenstelsels in de residuale representatie geïsoleerd. De achtergrond en imaging-artefacten bleven behouden, maar de morfologische structuur veranderde. Dit toonde aan dat de methode bruikbaar is voor het isoleren van specifieke wetenschappelijke kenmerken in complexe, real-world data.

5. Betekenis en Toekomstperspectief

• Wetenschappelijke Ontdekking: WWDC biedt een krachtig instrument voor onderzoekers om te onderzoeken wat ze nog niet hebben vastgelegd in hun datasets. Het helpt bij het vinden van "verborgen" signalen die door dominante kenmerken (zoals de vorm van een sterrenstelsel) worden overstemd.
• Efficiëntie: Omdat het werkt op bestaande, bevroren VAE's, is het veel efficiënter dan het opnieuw trainen van modellen voor elke nieuwe conditionele variabele.
• Generatieve Controle: Het stelt onderzoekers in staat om synthetische data te inspecteren en te manipuleren door kenmerken toe te voegen of te verwijderen, wat nuttig is voor data-augmentatie en het begrijpen van modelbias.
• Toekomst: De auteurs wijzen op beperkingen, zoals de nauwkeurigheid van ODE-oplossingen en de toepasbaarheid op discrete ruimtes, maar benadrukken dat WWDC een veelbelovende weg opent voor gestructureerde ontdekking in hoge dimensionale data.

Conclusie: "What We Don't C" is een innovatieve techniek die flow-matching gebruikt als een "filter" om bekende informatie uit latentere ruimtes te halen, waardoor de weg vrijkomt voor het ontdekken van nieuwe, onbekende patronen in complexe datasets.