Lost and Found in Translation: Variational Diagnostics for Neural Codebook Channels

Technische Samenvatting: Verloren en Vondst in Vertaling: Variatie-diagnostiek voor Neuronale Codeboekkanalen

Probleemstelling
Variatie-auto-encoders (VAE's) trainen een encoder $q_\phi(z|x)$ en een decoder $p_\theta(x|z)$ gezamenlijk, waarbij de resulterende latente ruimte vaak wordt behandeld als een discrete code voor taken zoals clustering, conditionele generatie en mechanistische interpretatie. Echter, standaard VAE-diagnostiek—zoals ELBO, actieve eenheden, wederzijdse informatie en marginale code-histogrammen—certificeert slechts of de latente ruimte wordt gebruikt. Ze beantwoorden de gekoppelde vraag niet: Interpreteert de decoder een regio van de latente ruimte onder dezelfde code die de encoder gebruikte om massa daarheen te plaatsen?

Deze faalmodus, bekend uit de klassieke communicatietheorie als mismatched decoding (niet-overeenkomende decoding), treedt op wanneer de zender (encoder) en de ontvanger (decoder) incompatibele operationele codeboeken gebruiken. Bestaande diagnostiek kan dit niet detecteren omdat het om marginale of geaggregeerde grootheden gaat; ze inspecteren de koppeling tussen de codemap van de encoder en de leeskarte van de decoder niet. Bijgevolg kan een decoder encoder-regio's permuteren, meerdere regio's samenvoegen tot één, of triviaal instorten op een enkele code, terwijl marginale statistieken gezond lijken.

Methodologie
Het artikel introduceert een nieuw diagnostisch raamwerk dat centraal staat rond het Neuronale Codeboekkanaal, aangeduid als $K_{e \to d}(j | i)$.

1. Operationele Codemaps: Het raamwerk definieert meetbare harde codemaps $c^*_{enc}: Z \to \{1, \dots, K\}$ en $c^*_{dec}: Z \to \{1, \dots, K\}$ voor respectievelijk de encoder en de decoder. Deze maps induceren operationele partities op de gedeelde latente ruimte $Z$.

   • Encoder Map: Geïnstancierd als een additief-gewogen Voronoiregel afgeleid van een samenvatting van de aggregatie-posterior via een Gaussische Mixtuurmodel (GMM).
   • Decoder Map: Geïnstancierd als een Type-1 Bregman-Voronoiregel in de decoder-uitgangsruimte, teruggetrokken naar de latente ruimte.

2. Het Diagnostische Object:

   • Gekoppelde Tabel: $P_{ed}(i, j) = \Pr[c^*_{enc}(Z)=i, c^*_{dec}(Z)=j]$ registreert de gezamenlijke verdeling van encoder- en decoderlabels.
   • Kanaal: $K_{e \to d}(j | i)$ is het rij-genormaliseerde kanaal dat weergeeft hoe encoder-codes worden gelezen door de decoder.
   • Codeboekovereenstemming ($A$): De diagonale massa van het kanaal, $A = \sum_i P_{ed}(i, i)$, meet de waarschijnlijkheid dat een enkele latente trekking hetzelfde label ontvangt van zowel encoder als decoder.
   • Effectieve Codetarieven ($R_{eff}$): De wederzijdse informatie $I(C_{enc}; C_{dec})$.

3. Resultaat van Marginale Onmogelijkheid:
   Het artikel bewijst (Propositie 4) dat standaard scalair diagnostiek (marginale histogrammen, entropieën, aantallen actieve codes, wederzijdse informatie) ontoereikend is om het gezamenlijke kanaal $K_{e \to d}$ te bepalen. Specifiek bestaan er voor elke $K \ge 2$ twee gekoppelde kanalen met identieke marginals en wederzijdse informatie, maar tegengestelde ruwe overeenstemming ($A=1$ versus $A=0$). Dit stelt vast dat $K_{e \to d}$ een strikt nieuw, niet-redundant diagnostisch eenheid is.

4. Variatie-Audit Certificaat:
   Het artikel leidt een eendimensionale auditgrens af voor de diagonale massa (inter-code interferentie, $1-A$) met behulp van de VAE-variatiekloof ($\bar{\Delta}$). Door een KL-kettingregel toe te passen onder disintegratie op de binaire onenigheidgebeurtenis $E = \{c^*_{enc} \neq c^*_{dec}\}$, decomposeert de gemiddelde variatiekloof als volgt:
   $$\bar{\Delta} = d_{bin}(1 - A \parallel \bar{\eta}_p) + J_E + \bar{\rho}_E$$
   Waarbij:

   • $d_{bin}$ de Bernoulli-KL-divergentie is tussen de waargenomen onenigheidsrate ($1-A$) en de model-posterior referentierate ($\bar{\eta}_p$).
   • $J_E$ een Jensen-residu is (per-voorbeeld mismatch die in het gemiddelde opheft).
   • $\bar{\rho}_E$ een binnen-cel residu is (mismatch verborgen binnen de vezels van de codemap).

   Dit levert het certificaat op: $d_{bin}(1 - A \parallel \bar{\eta}_p) \le \bar{\Delta}$. Wanneer $\bar{\Delta}$ en $\bar{\eta}_p$ worden gecontroleerd (bijvoorbeeld via exacte enumeratie op een eindig rooster of importance sampling-begrenzingen), is de diagonale massa wiskundig bewezen beperkt.

Belangrijkste Resultaten
Het raamwerk werd geaudit over vier laag-dimensionale sklearn-datasets (cijfers, wijn, borstkanker, twee manen) en MNIST:

• Exacte Audits op Eindige Roosters: Op vier datasets met elk vijf zaden (20 totale paren) werd het Bernoulli-KL-certificaat in alle gevallen voldaan. De grens was niet vacuüm, waarbij de waargenomen onenigheid begrensd werd door de variatiekloof.
• MNIST Geaudit Regime: Met behulp van Importance Weighted Autoencoders (IWAE) en Self-Normalized Importance Sampling (SNIS) om de kloof te begrenzen, detecteerde het raamwerk inter-code interferentie. Voor een Conv-VAE hield de grens stand met een speling van $\sim 160\times$ (gedomineerd door het residubudget en de losheid van IWAE).
• VQ-VAE Limiet: Een VQ-VAE op MNIST bereikte Codeboekovereenstemming $\hat{A} = 1.000$ (10.000/10.000 exacte overeenstemming), waarbij de voorspelde Tier-3-limiet werd bereikt waarbij het codeboek een primitief variatieobject is.
• Dynamiek: In een setting met lange horizon (Setting 1-long) toonde de kanaalgeometrie progressieve uitlijning van encoder Voronoicellen en decoder Bregmancellen over 200.000 epochen, waarbij scalair diagnostiek ($A, I_{code}, R_{eff}$) deze uitlijning volgde.

Betekenis en Claims
Het artikel levert een bescheiden, theorie-eerste bijdrage:

1. Identificatie van een Gaping: Het identificeert formeel dat standaard VAE-diagnostiek de vraag naar encoder-decoder consistentie openlaat. Het bewijst dat marginale samenvattingen mismatched decoding niet kunnen detecteren (Propositie 4).
2. Nieuwe Diagnostische Eenheid: Het biedt het Neuronale Codeboekkanaal ($K_{e \to d}$) en de Codeboekovereenstemming ($A$) als een draagbare, audit-klaar rapportage-eenheid. Deze eenheid is noodzakelijk voor elke downstream-taak (clustering, retrieval, interpretatie) die de latente ruimte behandelt als een discrete code.
3. Auditbare Grens: Het specialiseert de klassieke KL-kettingregel om een Bernoulli-KL-certificaat te bieden dat de waarschijnlijkheid van encoder-decoder onenigheid begrenst met behulp van de variatiekloof. Dit maakt de faalmodus van "mismatched decoding" zichtbaar en kwantificeerbaar binnen een enkel diep generatief model.
4. Reikwijdte: De auteurs stellen expliciet dat ze niet claimen state-of-the-art generatie, een universeel trainingsdynamica-theorema, of dat hoge overeenstemming alleen bewijs levert voor emergente symbolen. De claim is strikt diagnostisch: wanneer een VAE latente ruimte wordt behandeld als een code, is het gekoppelde kanaal het ontbrekende object, en specificeert de variatiekloof wanneer zijn mismatch-certificaat wiskundig is gelicenseerd.

Het raamwerk herformuleert VAE-analyse van "worden codes gebruikt?" naar "worden codes consistent gelezen?", en biedt een rigoureus hulpmiddel om structurele incompatibiliteiten te detecteren die scalair metrieken missen.