Résumé technique : Réseaux normatifs pour la séparation de sources via la plasticité locale et le calcul dendritique

1. Énoncé du problème

La séparation aveugle de sources (BSS) vise à retrouver des signaux sources latents à partir de mélanges linéaires observés, sans connaissance préalable du processus de mélange. Bien que l'analyse en composantes indépendantes (ICA) ait connu du succès pour des sources statistiquement indépendantes, la récupération de sources structurées et potentiellement corrélées reste un défi. Les approches existantes pour les sources corrélées reposent souvent sur la maximisation du déterminant de la matrice de covariance de sortie (ou sur des objectifs de type log-déterminant). Cependant, les implémentations en ligne de ces objectifs basés sur le déterminant nécessitent typiquement des mises à jour de covariance inverse. Ces mises à jour impliquent des dynamiques récurrentes complexes et non locales qui violent les critères de plausibilité biologique, en particulier l'exigence d'une plasticité locale où les changements de poids dépendent uniquement des variables pré- et post-synaptiques.

L'article aborde le défi de la dérivation d'un algorithme en ligne et biologiquement plausible pour la BSS capable de traiter des sources corrélées au sein de domaines structurés (par exemple, simplexe, parcimonieux ou ensembles bornés), sans recourir à des dynamiques de covariance inverse non locales.

2. Méthodologie : Maximisation de l'entropie prédictive (PEM)

Les auteurs proposent la Maximisation de l'entropie prédictive (PEM), un cadre qui approxime l'objectif exact du log-déterminant pour permettre des règles d'apprentissage locales.

2.1 Approximation de l'objectif

L'objectif par lots standard pour la séparation de sources structurées maximise le log-déterminant de la matrice de covariance de sortie régularisée $\hat{C}$ :
$$\min -\log \det(\hat{C} + \epsilon I)$$
Pour rendre cela possible en ligne et localement, les auteurs remplacent le log-déterminant exact par un surrogat de Taylor d'ordre deux. Ils décomposent la matrice de covariance $\hat{C} = \hat{D} + \hat{O}$, où $\hat{D}$ est la partie diagonale (variances) et $\hat{O}$ la partie hors-diagonale (covariances croisées). Le développement autour de la diagonale donne une fonction objectif composée de deux termes interprétables :

1. Expansion de la variance : Encourage une grande variance dans chaque dimension de sortie ($-\sum \log(\hat{v}_i + \epsilon)$).
2. Pénalité de covariance croisée normalisée : Pénalise les dépendances redondantes ($\frac{1}{2} \sum_{i \neq j} \frac{\hat{c}_{ij}^2}{(\hat{v}_i + \epsilon)(\hat{v}_j + \epsilon)}$).

Crucialement, ce surrogat dépend des statistiques de covariance plutôt que de leur inverse, évitant ainsi le besoin de mises à jour d'état de covariance inverse.

2.2 Architecture neuronale et dynamiques

L'optimisation résultante conduit à une architecture neuronale prédictive à deux échelles de temps :

• Échelle de temps rapide (Inférence) : Pour chaque échantillon d'entrée $x(t)$, le réseau effectue une relaxation rapide pour inférer la sortie $y(t)$ qui minimise l'objectif surrogé sous contraintes de domaine (par exemple, écrêtage pour l'anti-parcimonie, seuillage doux pour la parcimonie). La direction de mise à jour de l'activité $d_k$ pour le neurone $k$ inclut :

  • Un terme de poussée de variance favorisant l'expansion.
  • Un terme de réduction de covariance mettant en œuvre une inhibition latérale adaptative basée sur les covariances croisées.
  • Un terme de correction prédictive minimisant l'erreur entre la sortie réelle et la prédiction feedforward $W x(t)$.
  • Des non-linéarités (par exemple, écrêtage ou seuillage doux) imposent les contraintes du domaine source.

• Échelle de temps lente (Apprentissage) : Une fois que les dynamiques rapides se stabilisent, les paramètres sont mis à jour selon des règles locales :

  • Poids feedforward ($W$) : Mis à jour via une règle pilotée par l'erreur : $W(t) = W(t-1) + \alpha e(t)x(t)^\top$, où $e(t)$ est l'erreur de prédiction. Cela peut être réalisé via des mécanismes dendritiques comparant l'activité somatique et dendritique.
  • Poids latéraux (Traces de covariance) : Les covariances croisées $\hat{c}_{ij}$ sont mises à jour via une plasticité hebbienne locale : $\hat{c}_{ij}(t) = \lambda \hat{c}_{ij}(t-1) + (1-\lambda)\bar{y}_i(t)\bar{y}_j(t)$.
  • Traces de variance : Mise à jour de manière homéostatique basée sur l'activité centrée au carré des neurones individuels.

2.3 Garanties théoriques

L'article dérive des bornes spectrales explicites sur l'erreur d'approximation du surrogat de Taylor. L'erreur s'avère faible lorsque la covariance hors-diagonale normalisée est petite et que le spectre de la matrice de perturbation normalisée reste éloigné de $-1$. Cela fournit une caractérisation théorique des conditions dans lesquelles l'approximation est précise.

3. Contributions clés

1. Approximation de Taylor de la maximisation du déterminant : Les auteurs dérivent un surrogat de Taylor d'ordre deux en ligne pour l'objectif de log-déterminant. Contrairement aux formulations exactes, les mises à jour résultantes dépendent directement des statistiques de covariance, éliminant le besoin d'états de covariance inverse.
2. Architectures neuronales prédictives : Ils induisent une famille de réseaux neuronaux pour divers domaines sources (anti-parcimonieux, non négatifs, parcimonieux, simplexe). Ces réseaux présentent :
   • Une plasticité feedforward locale et pilotée par l'erreur.
   • Une inhibition latérale adaptative médiée par des traces de covariance locales.
   • Des non-linéarités de sortie simples pour imposer les contraintes de domaine.
3. Bornes d'erreur théoriques : Des bornes spectrales explicites sont fournies pour l'erreur du surrogat, clarifiant les conditions sous lesquelles l'approximation tient.
4. Validation empirique : La méthode s'avère robuste face à l'augmentation de la corrélation des sources et du bruit d'observation, surpassant d'autres bases plausibles biologiquement qui reposent sur des hypothèses d'indépendance plus fortes.

4. Résultats expérimentaux

Les auteurs ont évalué PEM et sa variante non normalisée (u-PEM) par rapport à des bases par lots et en ligne (y compris CorInfoMax et ICA-InfoMax) sur plusieurs domaines :

• Séparation de sources synthétiques :
  • Sources corrélées : Dans les domaines non négatifs anti-parcimonieux, PEM est resté robuste à mesure que la corrélation des sources ($\rho$) augmentait, surpassant significativement ICA-InfoMax et le Matching de similarité non négatif (NSM), dont les performances se sont dégradées rapidement. PEM s'est approché des performances de l'oracle CorInfoMax par lots.
  • Sources bruyantes : Dans les domaines parcimonieux, PEM a suivi de près la base CorInfoMax par lots sur une large gamme de rapports signal sur bruit (SNR) d'entrée (de 30 dB à 5 dB), démontrant que le remplacement des dynamiques de covariance inverse par le surrogat de Taylor ne dégrade pas matériellement les performances.
• Patches d'images naturelles : Lorsqu'appliqué à l'apprentissage de champs récepteurs parcimonieux sur des images naturelles, le modèle a appris des filtres avec des structures localisées, orientées et de type Gabor, cohérentes avec les modèles de codage parcimonieux du cortex visuel précoce.
• Séparation de sources auditives : Dans un contexte de « cocktail party » utilisant des mélanges audio transformés en ondelettes, le PEM de domaine parcimonieux a séparé avec succès trois sources, atteignant des valeurs de SNR par source élevées (environ 21–25 dB).
• Validation diagnostique : Les diagnostics empiriques ont confirmé que l'erreur de reste de Taylor restait faible et bien bornée par la borne spectrale théorique à travers différents niveaux de corrélation.

5. Signification et revendications

L'article revendique de fournir un compte normatif de la manière dont la séparation de sources structurée peut donner naissance à des règles de plasticité simples et locales et à des dynamiques inhibitrices interprétables dans les réseaux récurrents.

• Plausibilité biologique : En remplaçant les dynamiques de covariance inverse par des mises à jour de traces de covariance, PEM satisfait les critères de calcul local et de plasticité locale, offrant une interprétation biologique plus directe que les modèles précédents basés sur le déterminant (comme CorInfoMax).
• Gestion de la corrélation : La méthode sépare avec succès des sources corrélées, un régime où l'ICA standard échoue, en exploitant des contraintes géométriques (domaines sources) plutôt que l'indépendance statistique.
• Robustesse : L'approche maintient la robustesse de la séparation exacte basée sur le déterminant tout en étant implémentable avec des règles d'apprentissage en ligne et locales.

Les auteurs notent modestement des limitations, notamment la sensibilité aux hyperparamètres et le coût computationnel qui évolue avec le nombre d'itérations de dynamiques neuronales rapides, suggérant un travail futur sur des schémas d'inférence plus rapides. Ils notent également que la méthode se distingue des méthodes d'apprentissage auto-supervisé comme VICReg en ce qu'elle opère sur des mélanges linéaires avec des contraintes de domaine explicites, bien qu'elle partage la structure de régularisation variance-covariance.