Technische Samenvatting: Concept Modulatie Modellen

Probleemstelling

Betrouwbare generalisatie in conditionele latente variabele modellen vereist het oplossen van twee onderling verbonden uitdagingen: identificeerbaarheid en extrapolatie.

• Identificeerbaarheid: Bepalen wanneer de latente structuur die bepaalt hoe attributen (bijv. omgevingen, interventies, condities) observaties beïnvloeden, uniek wordt bepaald door de data, tot aan goed gekarakteriseerde ambiguïteiten.
• Extrapolatie: Bepalen wanneer overeenstemming over geobserveerde conditionele kenmerkverdelingen dwingt tot overeenstemming over verdelingen bij ongeziene attributen.

Bestaande literatuur behandelt deze problemen op een per-model basis (bijv. niet-lineaire ICA, causale representatieleer, perturbatiemodellering), waarbij vaak vertrouwd wordt op specifieke structurele aannames en een verenigd kader ontbreekt. Bovendien, hoewel sommige werken specifieke families van resultaten verenigen, richten zij zich doorgaans op identificeerbaarheid binnen specifieke regimes in plaats van een algemeen mechanisme voor extrapolatie over diverse structurele settings te bieden.

Methodologie: Concept Modulatie Modellen (CMM's)

De auteurs introduceren Concept Modulatie Modellen (CMM's), een verenigd kader voor attribuut-geïndexeerde conditionele generatieve modellen. Het kader wordt gedefinieerd door de grafische structuur:
$$A \to \Lambda \to C \to X$$
Waarbij:

• $A \in \mathcal{A}$: Een geobserveerd attribuut (bijv. omgeving, interventie).
• $\Lambda \in \mathcal{L}$: Een latente modulator die door het attribuut wordt geselecteerd.
• $C \in \mathcal{C}$: Een latent concept waarvan de distributie wordt geïnduceerd door de modulator.
• $X \in \mathcal{X}$: Het geobserveerde kenmerk dat door het concept wordt gegenereerd.

Een CMM-klasse wordt gedefinieerd als een product $\mathcal{M} = \mathcal{Q} \times \{B\} \times \mathcal{K}$, waarbij:

• $\mathcal{Q}$: Een klasse van indexerende kernels die attributen naar modulatoren mappen.
• $B$: Een vaste concept-modulatiekernel die modulatoren naar conceptverdelingen mapt (gedeeld over de klasse).
• $\mathcal{K}$: Een klasse van mengkernels die concepten naar kenmerken mappen.

Kernanalytische Instrumenten

De methodologie steunt op het tillen (lifting) van kenmerk-equivalentie naar latente transities en het karakteriseren van deze transities via attribuut-potentialen.

1. Transitie-gebaseerde Identificeerbaarheid:
   Gebouwend op het werk van Squires en Ravikumar [2026], tonen de auteurs aan dat als twee modellen in een CMM-klasse kenmerk-equivalent zijn op een set geobserveerde attributen $A_o$, er een latente transitie $\tau$ (een automorfisme van de conceptruimte) bestaat die de conceptwetten van het ene model naar het andere mapt. Identificeerbaarheid wordt bereikt als de intersectie van geldige transities (die compatibel zijn met zowel de meng- als de concept-modulatiemechanismen) binnen een specifieke ambiguïteitsgroep $G$ valt.

2. Attribuut-potentialen:
   Om de concept-zijde transities te karakteriseren zonder onhandelbare termen, definiëren de auteurs de attribuut-potentiaal als de log-densiteitsratio tussen conceptwetten geconditioneerd op verschillende attributen:
   $$\Delta_{\bar{Q}}^{a, a_0}(c) := \log p_{\bar{Q}}(c | a) - \log p_{\bar{Q}}(c | a_0)$$
   Geldige transities moeten deze potentialen behouden. Dit scheidt de generieke "lifting"-stap (kenmerkovereenstemming $\to$ latente transitie) van model-specifieke "rigiditeit"-argumenten (bewijzen dat het behoud van potentialen impliceert dat er een specifieke structurele vorm zoals een permutatie of affine transformatie bestaat).

3. Extrapolatie via Potentiaal-extensie:
   Extrapolatie naar ongeziene attributen $A_{ex}$ wordt getoond als equivalent aan de extensie van de getransporteerde attribuut-potentiaal-identiteiten. Als de potentiaal-identiteiten die gelden op $A_o$ algebraïsch kunnen worden uitgebreid naar $A_{ex}$ (bijv. via affine combinaties van attribuutrepresentaties), dan impliceert kenmerkovereenstemming op $A_o$ overeenstemming op $A_{ex}$.

Belangrijkste Bijdragen

1. Verenigd Kader (CMM's):
   Het artikel stelt CMM's voor als een gedeelde structurele vorm voor attribuut-geconditioneerde generatie. Dit kader vangt een breed scala aan settings, inclus\n bij niet-lineaire ICA, identificeerbare VAE's, causale representatieleer en perturbatiemodellering, door de attribuut-specifieke indexering te scheiden van een gedeelde modulatiemechanisme.

2. Conditionele Transitie-gebaseerde Identificeerbaarheid:
   De auteurs bewijzen een conditionele lifting-stelling (Theorem 1) die laat zien dat kenmerk-equivalentie op geobserveerde attributen een latente concept-transitie induceert die compatibel is met de modelklasse. Ze karakteriseren verder de compatibiliteit op de concept-zijde via het behoud van attribuut-potentialen (Theorem 2). Dit isoleert de gemeenschappelijke bewijsobjecten (potentialen) achter diverse bestaande identificeerbaarheidsresultaten.

3. Algebraïsche Extrapolatie-criteria:
   Het artikel stelt vast dat extrapolatie wordt gedreven door de lineaire structuur van attribuut-potentialen, en niet noodzakelijkerwijs door de ruwe attribuutruimte.

• Theorem 3 bewijst dat extrapolatie geldt als en slechts als de getransporteerde attribuut-potentiaal-identiteiten zich uitstrekken naar de ongeziene attributen.
• Theorem 4 biedt een voldoende voorwaarde voor extrapolatie: als attribuut-potentialen een affine afhankelijkheid vertonen van een vaste attribuutrepresentatie $\phi$, en de ongeziene attributen in de affine hull van de geobserveerde attributen liggen, dan is extrapolatie gegarandeerd.
• Corollary 1 demonstreert dit voor gestructureerde attribuutruimtes (bijv. factoriële ontwerpen), waarbij laat zien dat kenmerk-equivalentie op een deelverzameling van interacties equivalentie op alle combinaties impliceert.

4. Herstel van Bestaande Resultaten:
   Het kader wordt gebruikt om garanties te herstellen en te verenigen van:

• Niet-lineaire ICA / iVAE: Het herstellen van coördinaat-wijze identificeerbaarheid via separable potentialen.
• Causal Representation Learning (CRL): Het herstellen van identificeerbaarheid onder interventies (Gaussisch, niet-parametrisch, score-gebaseerd) door te tonen dat door interventie geïnduceerde potentiaal-contrasten de latente transitie beperken.
• Perturbatie Modellering: Het herstellen van de identificeerbaarheid van perturbatie-effect matrices en het bewijzen van extrapolatie naar ongeziene perturbaties binnen de span van geobserveerde een.

Resultaten en Betekenis

Het artikel claimt dat CMM's een gemeenschappelijke taal bieden voor het bestuderen van identificeerbaarheid en extrapolatie. De primaire betekenis ligt in:

• Ontkoppeling van Generieke en Specifieke Stappen: Het scheidt de generieke stap van het tillen van kenmerkovereenstemming naar latente transities van de model-specifieke rigiditeitsargumenten die nodig zijn om de exacte vorm van de ambiguïteit te identificeren.
• Vereniging van Diverse Regimes: Het demonstreert dat schijnbaar verschillende resultaten in niet-lineaire ICA, causale leer en perturbatiemodellering een gemeenschappelijke onderliggende mechanisme delen: het behoud van attribuut-potentialen.
• Het Bieden van Extrapolatie-garanties: In tegen tegenstelling tot eerdere werken die vaak uitsluitend focussen op identificeerbaarheid, leidt dit kader expliciet voorwaarden af waaronder generalisatie naar ongeziene attributen gegarandeerd is, specifiek door de algebraïsche extensie van potentiaal-identiteiten.

De auteurs merken op dat hun huidige formulering steunt op een common-support aanname (gebruikmakend van log-densiteitsratio's), wat exponentiële families en soft-intervention modellen dekt, maar nog niet de deterministische $do$-interventies of mechanismen die de ondersteuning (support) veranderen. Zij stellen voor om de theorie te uitbreiden naar singuliere of gedeeltelijk overlappende conceptwetten als een toekomstige richting om de toepasbaarheid te vergroten zonder het centrale transitie-en-contrast-perspectief te wijzigen.