NeSyCat Torch: A Differentiable Tensor Implementation of Categorical Semantics for Neurosymbolic Learning

Résumé Technique : NeSyCat Torch

Énoncé du Problème

L'IA neuro-symbolique (NeSy) vise à combiner les capacités perceptuelles des réseaux de neurones avec le raisonnement structuré de la logique symbolique. Cependant, le domaine souffre d'une fragmentation : les systèmes classiques, flous et probabilistes définissent chacun la vérité via des règles inductives distinctes, empêchant ainsi le transfert de bases de connaissances et d'objectifs d'apprentissage entre eux. Bien que l'ULLER (Unified Language for Learning and Reasoning) ait précédemment unifié ces sémantiques sous un cadre catégorique unique basé sur les monades, il manquait une implémentation pour les prédicats et fonctions appris par des réseaux de neurones. De plus, les implémentations existantes peinent souvent avec la scalabilité et la stabilité numérique lors du passage de contextes discrets à des contextes continus ou à des lots (batches) de grande taille.

Méthodologie

Le document présente NeSyCat Torch, une implémentation tensorielle différentiable du cadre catégorique NeSyCat. La méthodologie centrale consiste à interpréter les symboles computationnels via des réseaux de neurones au sein d'une architecture paramétrée par monades unifiée.

1. Cadre Catégorique et Monades

Le cadre étend la sémantique catégorique de Johnstone (2002) en organisant la syntaxe et la sémantique en quatre couches : catégorique, logique, domaine et grammaticale. Le mécanisme d'unification est la monade forte $M$, qui paramètre l'effet (par exemple, la probabilité, les poids tensoriels). Le document utilise trois couches de monades spécifiques (Tableau 1) :

• Monade de Distribution ($D$) : Représente des distributions de probabilité à support fini. Elle sert de sémantique de référence et de lecture métrique, où le bind ($>>=$) effectue la marginalisation (loi de la probabilité totale).
• Monade Tensorielle ($T$) / Monade Log-Tensorielle ($T_{log}$) : Implémente la monade de distribution de manière différentiable en utilisant des nombres réels (logits) plutôt que des probabilités. $T_{log}$ opère sur le semi-anneau logarithmique $(\mathbb{R}, \text{logsumexp}, +)$ pour assurer la stabilité numérique et la différentiabilité, évitant la dégénérescence du gradient associée aux opérateurs flous dans $[0,1]$.
• Monade de Batch ($B$) : Une monade de type reader sur un ensemble d'index de batch qui permet le traitement parallèle de mini-lots sans introduire de hasard.

2. Syntaxe et Sémantique

Le système prend en charge trois types de symboles :

• Tarski : Applications déterministes (logique du premier ordre standard).
• Kleisli : Applications effectives vers $M$.
• NeSy : Applications neuronales prenant des porteurs monadiques en entrée et produisant des porteurs monadiques en sortie.

Les formules sont construites à l'aide de la notation do (sucre syntaxique pour le bind monadique). Une innovation clé est le traitement des symboles de fonctions computationnelles (par exemple, $digit: \text{Image} \to M \text{Digit}$) et des prédicats. La sémantique est définie de manière inductive :

• Bind ($\leftarrow$) : Effectue la marginalisation dans $D$ et la convolution dans l'espace log de $T$.
• Quantificateurs : Agrègent les valeurs de vérité monadiques sur des domaines finis.
• Évaluation Paresseuse (Lazy Evaluation) : Le cadre utilise des monades paresseuses pour différer le calcul des probabilités marginalisées jusqu'à ce qu'elles soient strictement nécessaires, élagant ainsi les branches inutiles.

3. Entraînement et Inférence

L'entraînement minimise la perte de connaissance (log-vrai négatif moyen des axiomes) sur un jeu de données.

• Batching : Au lieu d'exécuter le programme de notation do $N$ fois pour $N$ échantillons, le système l'exécute une seule fois sur un tenseur de lot. La monade de batch $B$ est composée avec la monade tensorielle $T$ ($B \circ T$).
• Gestion des Données : Les observations sont traitées comme des valeurs « certaines » (encodées en one-hot dans l'espace log) qui entrent dans la formule via liftB.
• Implémentation : Le cadre est implémenté en Haskell (HaskTorch), Python (JAX) et Python (PyTorch). Le backend JAX utilise la compilation JIT pour la convolution dans l'espace log et la différenciation.

Contributions Clés

1. Implémentation Neurale de NeSyCat : Fournit la première implémentation neurale du cadre catégorique NeSyCat, comblant le fossé entre la sémantique catégorique abstraite et l'apprentissage profond pratique.
2. Paramétricité Monadique Unifiée : Démontre qu'un code unique, écrit en notation do monadique, peut instancier différentes sémantiques (probabilistes, floues, classiques) simplement en changeant la monade sous-jacente.
3. Monade Log-Tensorielle Différentiable : Introduit un backend d'entraînement numériquement stable et différentiable utilisant le semi-anneau logarithmique, évitant le besoin de normalisation softmax explicite lors des étapes intermédiaires (en la reportant à la limite).
4. Scalabilité via la Paresse : Permet un entraînement efficace sur des lots et des problèmes à plusieurs chiffres grâce au report des calculs de marginalisation.

Résultats Expérimentaux

Les auteurs ont évalué le cadre sur la tâche d'addition MNIST (supervision lointaine : seul le résultat de l'addition de deux chiffres manuscrits est observé, pas les chiffres eux-mêmes).

• Précision :
  • Chiffre Unique ($N=1$) : NeSyCat Torch a atteint 94,6 % (style LTN) et 94,2 % (style DeepProbLog), surpassant LTN (93,5 %) et DeepProbLog (92,2 %).
  • Multi-chiffres ($N=4$) : NeSyCat Torch a atteint 92,0 % de précision. En revanche, LTN et DeepProbLog ont subi un dépassement de temps (time-out) sur cette tâche.
  • Comparaison : L'approche se rapproche de la précision de DeepStochLog (92,7 % pour $N=4$), qui est actuellement la base de référence la plus précise, tout en maintenant un cadre uniforme applicable à diverses approches du premier ordre.
• Efficacité :
  • Les étapes d'entraînement sur un seul GPU A100 étaient nettement plus rapides que LTN (0,52 ms contre 5,36 ms par étape pour le style LTN sur du matériel plus ancien).
  • Le système converge rapidement ; le balayage complet sur 15 graines pour l'addition de chiffres uniques a pris environ 1,5 minute.
• Généralisation : Le réseau a appris à reconnaître les chiffres avec environ 97 % de précision uniquement à partir des sommes observées, sans utiliser les étiquettes des chiffres.

Signification et Revendications

Le document affirme que NeSyCat Torch parvient à mettre à l'échelle la généralité du cadre catégorique NeSyCat au niveau de l'implémentation neurale. Sa principale importance réside dans :

• Unification : Il offre un cadre unique et uniforme qui s'applique à de nombreuses approches NeSy du premier ordre (classiques, floues, probabilistes) en instanciant simplement la monade, plutôt que de nécessiter des définitions séparées pour chacune.
• Scalabilité : En utilisant des monades paresseuses et des structures tensorielles, il surmonte les goulots d'étranglement computationnels (tels que le comptage de modèles pondérés #P-difficile dans DeepProbLog) qui limitent d'autres méthodes sur des problèmes plus larges (par exemple, $N=4$ chiffres).
• Extensibilité : Le cadre est paramétrique ; bien que le travail actuel se concentre sur les distributions à support fini, les auteurs notent qu'instancier le cadre avec la monade de Giry pourrait étendre l'approche à la probabilité continue (bien qu'une représentation neurale pour cela soit laissée pour des recherches futures).

Les auteurs notent modestement que si l'implémentation actuelle gère efficacement les domaines finis et les distributions discrètes, la généralisation aux domaines infinis et les représentations neurales efficaces de la probabilité continue reste un défi ouvert pour la recherche future.