Technische Samenvatting: RAMP – Recognition Parametrisation by Amortised Message Passing

1. Probleemstelling

Ongesuperviseerd leren beoogt latente factoren te ontdekken die de afhankelijkheden tussen observaties verklaren. Probabilistische grafische modellen (PGM's) zijn zeer geschikt voor deze taak, omdat ze onzekerheid en niet-deterministische verbanden wiskundig representeren. Echter, er bestaat een fundamentele afruil tussen expressiviteit en tractabiliteit.

• Tractabiliteit: Exacte inferentie in PGM's vereist doorgaans restrictieve distributieve keuzes (bijv. lineair-Gaussisch) om exacte belief propagation mogelijk te maken.
• Expressiviteit: Niet-lineaire, complexe afhankelijkheden maken de noodzakelijke integralen vaak onhandelbaar (intractable). Bestaande benaderingsmethoden (bijv. variational inference, Monte Carlo) schalen vaak slecht met de modelgrootte of slagen er niet in om een verenigd kader te bieden dat de benaderingsmogelijkheden van deep learning integreert met probabilistische coherentie.

De kernuitdaging is het ontwikkelen van een methode die flexibele, niet-lineaire latente structuren leert op complexe, hoog-dimensionale data, terwijl een principieel probabilistisch kader met een goed gedefinieerde likelihood behouden blijft.

2. Methodologie: RAMP

De auteurs stellen RAMP voor (Recognition Parametrisation by Amortised Message Passing), een methode die impliciet latente structuur definieert door een flexibel, niet-lineair, geamortiseerd message-passing framework te leren. RAMP bouwt voort op het Recognition-Parametrised Model (RPM) paradigma en past dit aan op boomgestructureerde grafische modellen.

2.1 Kernconcepten

• Recognition-Parametrisatie: In plaats van het generatieve proces $p(x|z)$ te parametriseren, parametriseert RAMP de herkenningsfactoren $f(z|x)$ die observaties mappen naar posterior beliefs. De gezamenlijke distributie wordt geconstrueerd als:
  $$p(Z, X) = p(Z) \prod_p \frac{f_p(Z|x_p)}{F_p(Z)} p_{emp}(x_p)$$
  waarbij $F_p(Z)$ een normaliserende constante is die ervoor zorgt dat het model correct gedefinieerd is.
• Geamortiseerde Message Passing: In standaard belief propagation (BP) op bomen worden berichten berekend via exacte integratie. RAMP vervangt deze integralen door geleerde, geamortiseerde transformaties.
  • Voor een latente node $z_k$ en zijn buur $z_j$, wordt de belief update niet gedefinieerd door integratie, maar door een functionaal $G_{j \to k}$:
    $$f^k_j(z_k | X^k_j) = G_{j \to k} \left( f^j_0(z_j) \prod_{l \in \partial j \setminus k} \frac{f^j_l(z_j | X^j_l)}{f^j_0(z_j)} \right)$$
  • Dit stelt het netwerk in staat om de transformatie van beliefs direct te leren, waardoor de noodzaak voor expliciete generatieve factoren of tractabele integralen wordt omzeild.

2.2 Modelarchitectuur

• Boomstructuur: RAMP opereert op ongerichte, boomgestructureerde grafische modellen waarbij latente variabelen $Z$ en geobserveerde variabelen $X$ een boom vormen. Observaties zijn beperkt tot bladnodes.
• Nodewise RPM's: Het model wordt getraind door simultaan meerdere "nodewise" RPM's te optimaliseren, één voor elke latente variabele $z_k$. Elk nodewise model respecteert de conditionele onafhankelijkheidspartitie geïnduceerd door $z_k$ op de observaties.
• Gezamenlijke Optimalisatie: De objectieve functie is de som van de vrije energieën (variational lower bounds) over alle nodewise modellen:
  $$F = \frac{1}{K} \sum_k F_k$$
  Deze gezamenlijke optimalisatie zorgt ervoor dat het geamortiseerde message-passing netwerk de globale boomstructuur en conditionele onafhankelijkheden vastlegt, in plaats van slechts lokale subtree-afhankelijkheden.
• Exponentiële Familie Parametrisatie: Om de tractabiliteit van de leerdoelstelling te waarborgen, worden beliefs gerepresenteerd als leden van een exponentiële familie (bijv. Gaussians). De message passing wordt geïmplementeerd als een transformatie van natuurlijke parameters via neurale netwerken ($g_{j \to k}$), waarbij het product van distributies overeenkomt met de som van natuurlijke parameters.

2.3 Theoretische Garanties

Het artikel stelt vast dat indien de data compatibel is met een boomgestructureerd latent model dat specifieke aannames van conditionele onafhankelijkheid voldoet (Aanname 1), en het geamortiseerde netwerk de gezamenlijke doelstelling optimaliseert, dan:

1. Elke nodewise vrije energie zijn optimale waarde bereikt.
2. De geleerde beliefs $f^k_j$ voldoende statistieken zijn voor de observaties, waardoor de ware latente structuur effectief wordt hersteld.
3. De methode de correcte conditionele onafhankelijkheidsstructuur tussen latente variabelen herstelt (Lemma 2).

3. Belangrijkste Bijdragen

1. Nieuwe Integratie van Deep Learning en PGM's: RAMP biedt een verenigde aanpak waarbij neurale netwerken worden gebruikt om de geamortiseerde message-passing operator zelf te parametriseren, in plaats van enkel de posterior of het generatieve model te benaderen.
2. Likelihood-gebaseerd Leren in Niet-lineaire Modellen: In tegenstelling tot veel deep latent variable modellen die vertrouwen op variational lower bounds met losse benaderingen, behoudt RAMP een correcte likelihood functie afgeleid van het RPM-kader, zelfs met niet-lineaire message passing.
3. Robuustheid tegen Misspecificatie: De methode demonstreert robuustheid tegen structurele misspecificatie (het leren van correcte latents zelfs als de aangenomen boomtopologie licht wordt verstoord) en distributieve misspecificatie (het afhandelen van niet-lineaire datagenererende processen waarbij de ware posteriors niet-Gaussisch zijn).
4. Bidirectionele Semantiek: In tijdreeks-toepassingen implementeert RAMP van nature bidirectionele inferentie (forward-backward) met probabilistische semantiek, wat beter presteert dan standaard contrastieve methoden en gestructureerde VAE's bij het herstellen van dynamische toestanden.

4. Experimentele Resultaten

De auteurs hebben RAMP geëvalueerd op drie verschillende taken:

• Hiërarchische Lineaire/Niet-lineaire Bomen:

  • Lineair-Gaussisch: RAMP herstelde de exacte oplossing met hoge getrouwheid, passend bij de prestaties van exacte inferentie.
  • Structurele Misspecificatie: Wanneer getraind op verstoorde boomstructuren, behield RAMP een hoge correlatie met de grondwaarheid van de latents voor nodes waar de lokale partitie correct bleef, wat aantoont dat leer-signalen lokaal zijn aan de conditionele onafhankelijkheidsstructuur.
  • Niet-lineaire Data: Op data gegenereerd door niet-lineaire transformaties presteerde RAMP beter dan Black-Box Variational Inference (BBVI) en gesuperviseerde Gaussische benaderingen, waarbij het succesvol de representaties van de latente variabelen leerde ondanks dat de ware posterior niet-Gaussisch was.

• Niet-lineaire Dynamische Systemen (Pendulum):

  • Getraind op beelden van een zwaaiende pendel, slaagde RAMP erin de 2D fase-ruimte (hoek en hoeksnelheid) te infereren binnen een 2D latente ruimte.
  • Het presteerde beter dan Contrastive Predictive Coding (CPC) en Structured VAE's (SVAE), die er niet in slaagden om de hoeksnelheid (een toestand die niet direct observeerbaar is in een enkel frame) betrouwbaar te herstellen wanneer zij beperkt waren tot de ware dimensionaliteit.

• Pose Estimatie:

  • Toegepast op de Leeds Sports Pose (LSP) dataset, inferreerde RAMP de configuraties van lichaamsgewrichten vanuit lokale beeldfragmenten zonder globale locatie-informatie.
  • De geïnferreerde latente variabelen codeerden de oriëntatie van ledematen die gewrichten verbinden. Het model reconstrueerde succesvol pose-schetsen en kon omgaan met occlusie van gewrichten (bijv. een ontbrekende enkel) door gebruik te maken van de geleerde boomgestructureerde prior.

5. Betekenis en Claims

Het artikel claimt dat RAMP een belangrijke stap vormt naar het samenvoegen van adaptieve neurale netwerkcomponenten in een coherent probabilistisch kader. De betekenis ligt in:

• Identificeerbaarheid: Door gebruik te maken van de conditionele onafhankelijkheidsstructuur van boomgrafen, zorgt RAMP ervoor dat latente variabelen ontdekbaar zijn op basis van de specifieke partities van observaties die zij induceren.
• Coherentie: In tegen tegenstelling tot generieke deep learning-benaderingen waarbij interne representaties een gebrek aan probabilistische interpretatie hebben, definieert de inferentieprocedure van RAMP direct het model, wat ervoor zorgt dat de geleerde representaties over welgedefinieerde likelihoods en probabilistische semantiek beschikken.
• Schaalbaarheid en Flexibiliteit: Door message passing te geamortiseerd, schaalt RAMP naar complexe, hoog-dimensionale data en niet-lineaire afhankelijkheden waar exacte inferentie onmogelijk is, terwijl het de valkuilen van ongestructureerde variational benaderingen vermijdt.

De auteurs merken op dat hoewel het huidige werk zich richt op boomgestructureerde modellen om identificeerbaarheid en inferentie-coherentie te garanderen, het empirische succes van belief propagation op loopy grafen suggereert dat het aanpassen van RAMP naar loopy structuren een levensvatbare richting is voor toekomstig werk.