Résumé technique : Logique des Hypothèses (LoH)

Énoncé du problème

L'intégration neurosymbolique (NeSy) vise à combiner la puissance déductive de la logique symbolique avec les capacités d'apprentissage des réseaux de neurones. Les approches existantes occupent généralement des extrémités opposées d'un spectre :

1. Injection de connaissances : Des méthodes comme DeepProbLog et LTN reposent sur des experts du domaine fournissant des formules logiques de haute qualité comme a priori ou contraintes. Cela suppose que de telles règles sont facilement disponibles et ne gère pas les scénarios où les règles doivent être apprises ou partiellement révisées.
2. Induction de règles : Des méthodes comme SATNet, DSL et la Programmation Logique Inductive (ILP) apprennent directement des règles symboliques à partir de données. Bien que flexibles, elles peinent souvent à intégrer des connaissances a priori partielles ou à imposer des modèles syntaxiques spécifiques (par exemple, des clauses de longueur fixe) sans mécanismes ad hoc.

Un écart significatif subsiste dans la gestion des scénarios intermédiaires où une structure logique partielle est fournie, mais où des composants manquants doivent être appris, ou où les règles apprises doivent respecter des contraintes syntaxiques spécifiques. Les modèles NeSy différentiables actuels manquent souvent de flexibilité pour couvrir ce spectre « de zéro à une connaissance complète » au sein d'un cadre unique et fondé sur des principes. De plus, de nombreux modèles existants utilisant la logique floue (par exemple, les t-normes Produit ou Łukasiewicz) souffrent d'une divergence entre leurs performances d'entraînement continues et leur extraction de règles discrètes et interprétables, entraînant une perte de précision lors de la binarisation.

Méthodologie : La Logique des Hypothèses (LoH)

Les auteurs proposent la Logique des Hypothèses (LoH), un formalisme logique novateur qui unifie l'injection de connaissances et l'induction de règles.

1. L'opérateur de choix

La LoH étend la syntaxe standard de la logique propositionnelle avec un opérateur de choix $[\Phi_1, \dots, \Phi_n]$.

• Syntaxe : Une formule $\Phi$ peut contenir des opérateurs de choix qui sélectionnent une sous-formule parmi un ensemble fini de candidats.
• Sémantique : Une seule formule LoH représente un espace d'hypothèses $\mathcal{H}(\Phi)$, qui est l'ensemble de toutes les formules propositionnelles classiques obtenues en sélectionnant exactement une sous-formule pour chaque opérateur de choix.
• Flexibilité : Cela permet la représentation de formules sous-spécifiées. En ajustant la présence d'opérateurs de choix, la LoH peut représenter n'importe quoi, d'une règle entièrement spécifiée (aucun choix) à un espace de recherche entièrement piloté par les données (tous les choix).

2. Compilation en graphes différentiables

Pour permettre l'apprentissage par rétropropagation, les formules LoH sont compilées en graphes de calcul différentiables :

• Portes pondérées : Chaque sous-formule candidate $\Phi_i$ dans un opérateur de choix se voit attribuer un poids apprenable $w_i \in [0, 1]$.
• Compilation duale : L'opérateur de choix est converti en une formule propositionnelle utilisant soit une Compilation Disjonctive ($\bigvee w_i \land \Phi_i$), soit une Compilation Conjonctive ($\bigwedge \neg w_i \lor \Phi_i$). Le choix entre ces deux options dépend du contexte de l'opérateur (par exemple, à l'intérieur d'une conjonction par rapport à une disjonction) pour optimiser le flux de gradient.
• Sémantique de la logique floue : Les formules compilées sont interprétées en utilisant la logique floue de Gödel (où la conjonction est $\min$ et la disjonction est $\max$). Cela permet aux opérations logiques d'être différentiables.

3. L'astuce de Gödel et la discrétisation

Un composant critique est le mécanisme permettant d'apprendre des décisions discrètes tout en maintenant la différentiabilité :

• Paramétrisation : Au lieu d'apprendre directement les poids $w_i$, le modèle apprend des logits $z_i$.
• Recherche locale stochastique : Lors du passage avant, du bruit de Gumbel est ajouté aux logits. Les valeurs sont ensuite décalées de sorte qu'un seul logit soit positif, et une fonction sigmoïde est appliquée pour produire les poids.
• Théorème 1 (Extraction sans perte) : En exploitant les propriétés de la logique de Gödel, les auteurs prouvent que pour toute interprétation floue, l'arrondi des valeurs de sortie en utilisant un seuil de 0,5 produit une interprétation booléenne cohérente avec le modèle continu. Cela garantit que la discrétisation du modèle appris n'entraîne aucune perte de précision par rapport à la version continue, une propriété non garantie par d'autres logiques floues comme Produit ou Łukasiewicz.

4. Intégration architecturale

La LoH peut être empilée au-dessus de réseaux de neurones (par exemple, des CNN) pour apprendre des mappings perception-symbole de bout en bout. Les opérateurs de choix peuvent également être utilisés pour imposer des modèles syntaxiques (par exemple, des clauses de largeur fixe) ou pour sélectionner des sous-ensembles d'une base de connaissances connue.

Contributions clés

1. Nouveau langage (LoH) : Un formalisme étendant la logique propositionnelle avec un opérateur de choix, permettant la représentation compacte d'espaces d'hypothèses et l'intégration flexible de connaissances a priori partielles.
2. Compilation différentiable : Une procédure pour compiler des formules LoH en graphes de calcul en utilisant la logique floue de Gödel et l'astuce de Gödel. Cela permet l'apprentissage de bout en bout de règles logiques discrètes sans dégradation de précision lors de la binarisation.
3. Cadre unificateur : La LoH englobe les paradigmes NeSy existants. Elle peut fonctionner comme un pur induiseur de règles (zéro connaissance), un injecteur de connaissances (connaissance complète) ou un système hybride gérant des scénarios intermédiaires (connaissance partielle, contraintes de modèles).
4. Validation empirique : Le cadre démontre de solides performances sur des données tabulaires et des tâches perceptuelles (Tic-Tac-Toe Visuel), surpassant ou égalant les modèles de l'état de l'art comme MLLP et DLN tout en fournissant des règles discrètes et interprétables.

Résultats expérimentaux

Les auteurs ont évalué la LoH sur deux fronts principaux :

1. Classification tabulaire (12 jeux de données UCI)

• Configuration : Les modèles LoH ont été comparés aux Arbres de Décision (DT), aux Forêts Aléatoires (RF), à XGBoost, aux Réseaux de Neurones standards (NN), aux Réseaux de Logique Différentiables (DLN) et aux Perceptrons Logiques Multi-Couches (MLLP).
• Constats :
  • La LoH a obtenu des scores F1 compétitifs, correspondant souvent ou dépassant les performances des NN standards et du MLLP.
  • Contrairement au MLLP, où les règles extraites (CRS) souffrent souvent d'une baisse de performance significative par rapport au modèle continu, les règles discrètes de la LoH maintiennent la même précision que le modèle continu grâce à la sémantique de Gödel.
  • La LoH a systématiquement surpassé le CRS et le DLN (dans sa forme discrète) sur la plupart des jeux de données, en particulier dans les configurations multi-classes avec moins de classes.

2. Tic-Tac-Toe Visuel

• Configuration : Une tâche perceptuelle où l'entrée est une grille $3 \times 3$ de chiffres MNIST (0=X, 1=O, 2=Vide) au lieu d'entrées symboliques. L'objectif est de prédire si 'X' gagne.
• Constats :
  • La LoH (spécifiquement la variante DNF) a obtenu les meilleures performances, trouvant la formule logique correcte à 100 % dans 4 cas sur 30 exécutions.
  • D'autres modèles (MLLP, DLN) ont eu du mal avec l'évaluation symbolique après l'entraînement, échouant souvent à produire des règles discrètes précises malgré des performances continues raisonnables.
  • Le modèle a appris avec succès à ancrer les symboles (identifiant X, O et Vide à partir d'images) et à découvrir la structure logique sous-jacente simultanément.

3. Simulation de risque d'incendie de forêt (Régimes de connaissances)

• Configuration : Une tâche synthétique testant différents niveaux de connaissances a priori : Connaissance Complète, Sélection de Règles Fiables, Sélection d'une Règle par Ensemble, et Connaissance Partielle.
• Constats : La LoH s'est adaptée avec succès à tous les régimes. Comparée à une baseline $\partial$ILP modifiée, la LoH l'a surpassée dans les régimes impliquant de grands espaces d'hypothèses, démontrant une efficacité supérieure dans la gestion de la sélection de règles complexes et de l'intégration de connaissances partielles.

Importance et revendications

L'article revendique que la LoH fournit un cadre d'apprentissage unique et fondé sur des principes qui comble le fossé entre l'injection de connaissances et l'induction de règles. Son importance principale réside dans :

• Flexibilité : Elle permet aux chercheurs de spécifier la quantité exacte de connaissances a priori disponibles, de « zéro » à « complet », et de gérer les cas intermédiaires où les règles doivent être révisées ou complétées.
• Discrétisation sans perte : En utilisant la logique de Gödel et l'astuce de Gödel, la LoH garantit que les règles discrètes et interprétables extraites du modèle sont aussi précises que le modèle continu utilisé pendant l'entraînement. Cela répond à une limitation majeure des approches neurosymboliques précédentes.
• Apprentissage de bout en bout : Elle permet l'apprentissage simultané de règles symboliques et de mappings perception-symbole, ancrant des concepts abstraits dans des données brutes sans nécessiter de composants symboliques pré-entraînés.

Les auteurs reconnaissent des limites, notant que l'implémentation actuelle est propositionnelle et que l'évolutivité reste un défi pour les extensions du premier ordre en raison de l'explosion combinatoire des ancrages. Cependant, ils postulent que la LoH offre une base robuste pour les développements futurs en matière d'IA neurosymbolique.