Lost and Found in Translation: Variational Diagnostics for Neural Codebook Channels

Résumé Technique : Perdu et retrouvé dans la traduction : Diagnostics variationnels pour les canaux de codebooks neuronaux

Énoncé du problème
Les Autoencodeurs Variationnels (VAE) entraînent conjointement un encodeur $q_\phi(z|x)$ et un décodeur $p_\theta(x|z)$, traitant souvent l'espace latent résultant comme un code discret pour des tâches telles que le clustering, la génération conditionnelle et l'interprétabilité mécaniste. Cependant, les diagnostics VAE standard — tels que l'ELBO, les unités actives, l'information mutuelle et les histogrammes de codes marginaux — ne certifient que si l'espace latent est utilisé. Ils échouent à répondre à la question couplée suivante : Le décodeur interprète-t-il une région de l'espace latent sous le même code que celui utilisé par l'encodeur pour y placer la masse ?

Ce mode de défaillance, connu en théorie classique de la communication sous le nom de décodage inadapté (mismatched decoding), se produit lorsque l'émetteur (encodeur) et le récepteur (décodeur) utilisent des codebooks opérationnels incompatibles. Les diagnostics existants ne peuvent pas détecter cela car ce sont des grandeurs marginales ou agrégées ; ils n'examinent pas le couplage entre la carte de code de l'encodeur et la carte de lecture du décodeur. Par conséquent, un décodeur peut permuter les régions de l'encodeur, fusionner plusieurs régions en une seule, ou s'effondrer trivialement sur un seul code, tandis que les statistiques marginales semblent saines.

Méthodologie
L'article introduit un nouveau cadre de diagnostic centré sur le Canal de Codebook Neuronale, noté $K_{e \to d}(j | i)$.

1. Cartes de codes opérationnels : Le cadre définit des cartes de codes durs mesurables $c^*_{enc}: Z \to \{1, \dots, K\}$ et $c^*_{dec}: Z \to \{1, \dots, K\}$ pour l'encodeur et le décodeur, respectivement. Ces cartes induisent des partitions opérationnelles sur l'espace latent partagé $Z$.

   • Carte de l'encodeur : Instanciée comme une règle de Voronoï à pondération additive dérivée d'un résumé par Modèle de Mélange Gaussien (GMM) de la postérieure agrégée.
   • Carte du décodeur : Instanciée comme une règle de Voronoï de Bregman de type 1 dans l'espace de sortie du décodeur, ramenée en arrière dans l'espace latent.

2. L'objet de diagnostic :

   • Tableau conjoint : $P_{ed}(i, j) = \Pr[c^*_{enc}(Z)=i, c^*_{dec}(Z)=j]$ enregistre la distribution conjointe des étiquettes de l'encodeur et du décodeur.
   • Canal : $K_{e \to d}(j | i)$ est le canal normalisé par ligne représentant la façon dont les codes de l'encodeur sont lus par le décodeur.
   • Accord du codebook ($A$) : La masse diagonale du canal, $A = \sum_i P_{ed}(i, i)$, mesure la probabilité qu'un seul tirage latent reçoive la même étiquette de la part de l'encodeur et du décodeur.
   • Taux de code effectif ($R_{eff}$) : L'information mutuelle $I(C_{enc}; C_{dec})$.

3. Résultat d'impossibilité marginale :
   L'article démontre (Proposition 4) que les diagnostics scalaires standard (histogrammes marginaux, entropies, comptes de codes actifs, information mutuelle) sont insuffisants pour déterminer le canal conjoint $K_{e \to d}$. Plus précisément, pour tout $K \ge 2$, il existe deux canaux couplés ayant des marginales et une information mutuelle identiques, mais un accord brut opposé ($A=1$ contre $A=0$). Cela établit que $K_{e \to d}$ est une unité de diagnostic strictement nouvelle et non redondante.

4. Certificat d'audit variationnel :
   L'article dérive une borne d'audit unidimensionnelle pour la masse hors-diagonale (interférence inter-code, $1-A$) en utilisant l'écart variationnel du VAE ($\bar{\Delta}$). En appliquant une règle de chaîne KL sous désintégration à l'événement de désaccord binaire $E = \{c^*_{enc} \neq c^*_{dec}\}$, l'écart variationnel moyen se décompose comme suit :
   $$\bar{\Delta} = d_{bin}(1 - A \parallel \bar{\eta}_p) + J_E + \bar{\rho}_E$$
   Où :

   • $d_{bin}$ est la divergence KL de Bernoulli entre le taux de désaccord observé ($1-A$) et le taux de référence de la postérieure du modèle ($\bar{\eta}_p$).
   • $J_E$ est un résidu de Jensen (le désaccord par exemple s'annulant dans la moyenne).
   • $\bar{\rho}_E$ est un résidu intra-cellule (désaccord caché à l'intérieur des fibres de la carte de code).

   Cela produit le certificat : $d_{bin}(1 - A \parallel \bar{\eta}_p) \le \bar{\Delta}$. Lorsque $\bar{\Delta}$ et $\bar{\eta}_p$ sont contrôlés (par exemple, via un dénombrement exact sur une grille finie ou des bornes d'échantillonnage par importance), la masse hors-diagonale est prouvée comme étant contrainte.

Résultats clés
Le cadre a été audité sur quatre jeux de données sklearn de faible dimension (chiffres, vin, cancer du sein, deux lunes) et MNIST :

• Audits exacts sur grille finie : Sur quatre jeux de données avec cinq graines chacun (20 paires au total), le certificat KL de Bernoulli a été satisfait dans tous les cas. La borne était non triviale, le désaccord observé étant borné par l'écart variationnel.
• Régime audité MNIST : En utilisant des Autoencodeurs à Pondération par Importance (IWAE) et un Échantillonnage par Importance Auto-Normalisé (SNIS) pour borner l'écart, le cadre a détecté une interférence inter-code. Pour un Conv-VAE, la borne a tenu avec une marge de $\sim 160\times$ (dominée par le budget de résidu et la laxité de l'IWAE).
• Limite VQ-VAE : Un VQ-VAE sur MNIST a atteint un Accord de Codebook $\hat{A} = 1.000$ (10 000/10 000 d'accord exact), atteignant la limite de niveau 3 prédite où le codebook est un objet variationnel primitif.
• Dynamique : Dans un cadre à horizon long (Configuration 1-long), la géométrie du canal a montré un alignement progressif des cellules de Voronoï de l'encodeur et des cellules de Bregman du décodeur sur 200 000 époques, les diagnostics scalaires ($A, I_{code}, R_{eff}$) suivant cet alignement.

Portée et revendications
L'article apporte une contribution modeste, axée sur la théorie :

1. Identification d'un écart : Il identifie formellement que les diagnostics VAE standard laissent ouverte la question de la cohérence encodeur-décodeur. Il prouve que les résumés marginaux ne peuvent pas détecter le décodage inadapté (Proposition 4).
2. Nouvelle unité de diagnostic : Il fournit le Canal de Codebook Neuronale ($K_{e \to d}$) et l'Accord de Codebook ($A$) comme une unité de rapport portable et prête à l'audit. Cette unité est nécessaire pour toute tâche en aval (clustering, recherche, interprétabilité) qui traite l'espace latent comme un code discret.
3. Borne auditable : Il spécialise la règle de chaîne KL classique pour fournir un certificat KL de Bernoulli qui borne la probabilité de désaccord encodeur-décodeur en utilisant l'écart variationnel. Cela rend le mode de défaillance du « décodage inadapté » visible et quantifiable au sein d'un seul modèle génératif profond.
4. Portée : Les auteurs déclarent explicitement ne pas revendiquer une génération à l'état de l'art, un théorème universel de dynamique d'entraînement, ou que le seul accord élevé prouve l'émergence de symboles. La revendication est strictement diagnostique : lorsque l'espace latent d'un VAE est traité comme un code, le canal couplé est l'objet manquant, et l'écart variationnel spécifie quand son certificat de désaccord est mathématiquement autorisé.

Le cadre reformule l'analyse des VAE de « les codes sont-ils utilisés ? » à « les codes sont-ils lus de manière cohérente ? », offrant un outil rigoureux pour détecter les incompatibilités structurelles que les métriques scalaires manquent.