🤖 machine learning

DisjunctiveNet: Neural Symbolic Learning via Differentiable Convexified Optimization Layers

Cet article propose DisjunctiveNet, un cadre unifié de bout en bout qui impose des contraintes linéaires entières mixtes strictes et dépendantes de l'entrée au sein de réseaux de neurones en représentant les règles sous forme de contraintes disjonctives et en appliquant des relaxations convexes hiérarchiques pour créer des couches d'optimisation différentiables qui garantissent la satisfaction exacte des règles.

Auteurs originaux : Shraman Pal, Can Li

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shraman Pal, Can Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous formez un étudiant brillant mais imprudent (un réseau de neurones) pour résoudre des problèmes complexes. Cet étudiant est excellent pour repérer des motifs dans les données, mais il est incapable de suivre le manuel de règles. Parfois, il fait des prédictions qui sont mathématiquement possibles mais physiquement impossibles ou dangereuses — comme une voiture autonome qui déciderait de traverser un mur solide parce que les données lui semblaient « similaires » à un tunnel.

Dans de nombreux domaines du monde réel comme l'ingénierie ou la biologie, nous avons un « manuel de règles » strict dérivé de la physique, des protocoles de sécurité ou de l'expertise. Ces règles ressemblent souvent à ceci : SI la température est élevée, ALORS le ventilateur doit être allumé OU la climatisation doit être allumée.

Le problème est que l'IA standard a du mal avec ces règles de type « Si-Alors », surtout quand les règles changent selon la situation. Les méthodes existantes tentent de « pousser » l'étudiant avec une pénalité (comme un professeur disant « fais plus d'efforts »), mais l'étudiant enfreint toujours les règles de temps en temps. D'autres méthodes tentent d'imposer les règles après que l'étudiant a déjà répondu, ce qui revient à corriger les devoirs après l'examen — cela n'aide pas l'étudiant à apprendre la bonne façon de réfléchir.

Entrez dans DisjunctiveNet.

Les auteurs proposent un nouveau cadre qui agit comme un harnais de sécurité intelligent et en temps réel pour le réseau de neurones. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le puzzle « disjonctif »

Les règles de cet article sont souvent « disjonctives », ce qui signifie qu'elles offrent des choix.

La Règle : « S'il pleut, tu dois porter un imperméable OU un parapluie ».
Le Problème : L'IA pourrait prédire « porter un imperméable ET un parapluie » (ce qui est correct) ou « ne porter ni l'un ni l'autre » (ce qui est incorrect). Mais la mathématique derrière le « OU » est délicate pour les ordinateurs car elle crée une forme avec des trous (non convexe). C'est comme essayer de dessiner une balle ronde et lisse qui aurait une énorme bouchée arrachée. Les outils mathématiques standards ne peuvent pas facilement faire rouler une balle sur cette forme.

2. L'astuce de l'« enveloppe convexe » (Le moule magique)

Pour corriger cela, les auteurs utilisent une astuce mathématique appelée enveloppe convexe.

Imaginez que les réponses valides (Imperméable OU Parapluie) sont deux îles séparées dans une mer. L'IA flotte actuellement au milieu de la mer (une réponse invalide).
Les méthodes standard pourraient simplement construire un pont vers l'île la plus proche, mais ce pont serait instable.
DisjunctiveNet construit un moule parfait et serré autour de toutes les îles valides. Il crée une nouvelle forme lisse qui enveloppe exactement les options valides sans inclacer l'eau « interdite » au milieu.
Crucialement, ils font cela dans un espace « élevé ». Considérez cela comme le fait de prendre une carte 2D des îles et de la projeter sur une sculpture en 3D. Dans cette vue 3D, les « trous » disparaissent, et la forme devient un bloc solide et lisse qu'un ordinateur peut facilement naviguer.

3. La « Couche de Projection » (Le Videur)

C'est l'innovation centrale. Les auteurs insèrent une couche spéciale dans le réseau de neurones qui agit comme un videur à l'entrée d'un club.

Le réseau de neurones fait sa meilleure supposition (la « prédiction non contrainte »).
Cette supposition est remise au Videur (la couche d'optimisation).
Le Videur vérifie le « moule » (l'enveloppe convexe). Si la supposition est en dehors des règles valides, le Videur trouve instantanément le point valide le plus proche à l'intérieur des règles et y plaque la prédiction.
La Magie : Ce processus de placage est « différentiable ». Cela signifie que le Videur ne se contente pas de corriger la réponse ; il dit à l'étudiant exactement comment il s'est trompé afin qu'il puisse apprendre immédiatement. L'étudiant apprend ainsi à éviter l'« eau interdite » dès le départ.

4. Gérer la complexité du « Si-Alors »

L'article souligne que certaines règles ne s'appliquent que dans des situations spécifiques (dépendantes de l'entrée).

Exemple : « Si le ventilateur est cassé, ALORS utilisez la climatisation ». Si le ventilateur n'est pas cassé, cette règle ne s'applique pas.
DisjunctiveNet est assez intelligent pour vérifier la situation actuelle, déterminer quelles règles sont actives, et remodeler instantanément son « moule » pour ne correspondre qu'aux règles actives. Il n'utilise pas une approche universelle ; il personnalise le harnais de sécurité pour chaque entrée.

Les Résultats : Une Conformité Parfaite

Les auteurs ont testé cela sur deux scénarios :

Systèmes de refroidissement : Une usine simulée où l'IA devait contrôler les ventilateurs et les refroidisseurs sans enfreindre les règles de sécurité.
Données médicales (scRNA-seq) : Classification de cellules basées sur des marqueurs géniques, où des règles biologiques dictent que si certains gènes sont présents, la cellule doit être d'un certain type.

Les conclusions étaient claires :

Satisfaction des règles : Alors que les autres méthodes (comme celles basées sur les pénalités) enfreignaient fréquemment les règles, DisjunctiveNet a atteint 100 % de satisfaction des règles. Il n'a jamais enfreint les règles.
Performance : Dans les situations avec très peu de données (où l'IA a l'habitude de lutter), DisjunctiveNet était bien plus intelligent que les autres car les règles servaient de guide puissant.
Compromis : La version « parfaite » (DNF) est plus lourde informatiquement (prend un peu plus de temps pour calculer le moule) que la version « suffisante » (CNF), mais elle garantit que les règles sont suivies exactement.

Résumé

DisjunctiveNet est une façon d'apprendre à l'IA à respecter des règles logiques strictes sans deviner ou espérer. Il transforme des manuels de règles complexes et « troués » en formes lisses et navigables que l'IA peut apprendre directement. Il garantit que lorsque l'IA prend une décision, celle-ci est non seulement statistiquement probable, mais aussi physiquement et logiquement garantie pour être sûre et correcte.

Résumé Technique : DisjunctiveNet

Énoncé du Problème

De nombreuses tâches d'apprentissage dans les domaines scientifiques et de l'ingénierie opèrent sous des régimes de données éparses où les modèles d'apprentissage profond purement pilotés par les données échouent souvent à généraliser ou violent des contraintes structurelles, physiques ou de sécurité connues. Bien que ces domaines possèdent une riche connaissance a priori — exprimée par des lois physiques, des exigences opérationnelles et des heuristiques d'experts — les méthodes neuro-symboliques existantes peinent à incorporer efficacement cette connaissance. Les approches actuelles reposent généralement sur des pénalités souples (qui ne garantissent pas la faisabilité), supposent des règles indépendantes de l'entrée, ou utilisent un post-traitement non différentiable au moment de l'inférence. De plus, étendre les couches d'optimisation différentiables pour gérer des règles logiques ou de programmation linéaire en nombres entiers est difficile en raison de la nonconvexité inhérente et de la nature disjointe de tels espaces de contraintes.

Méthodologie

Les auteurs proposent DisjunctiveNet, un cadre unifié de bout en bout pour l'application de contraintes linéaires de programmation mixte, dures et dépendantes de l'entrée, au sein des réseaux de neurones. La méthodologie centrale comprend trois composantes clés :

Représentation de Contrainte Disjonctive :
La connaissance du domaine est modélisée comme une collection de règles dépendantes de l'entrée. Chaque règle est une implication $I[x \in A_r] \Rightarrow I[y \in C_r(x)]$ , où l'ensemble de faisabilité de la sortie $C_r(x)$ est représenté comme une union finie d'ensembles polyédriques (une disjonction). Les auteurs démontrent que cette représentation est aussi expressive que les contraintes de programmation linéaire mixte (MILP) et de l'arithmétique réelle linéaire sans quantificateurs (QF-LRA).
Convexification Hiérarchique (CNF vs. DNF) :
Pour permettre la différentiabilité de bout en bout tout en garantissant la satisfaction exacte des contraintes, le cadre transforme l'ensemble de faisabilité non convexe (une intersection d'unions de polyèdres) en une relaxation convexe.
- Relaxation CNF : Convexifie chaque règle indépendamment, puis intersecte les ensembles convexes résultants. Cela passe à l'échelle linéairement avec le nombre de règles actives, mais fournit une relaxation plus lâche.
- Relaxation DNF : Distribue les intersections sur les unions en énumérant toutes les intersections possibles de disjonctes à travers les règles actives. L'enveloppe convexe de ces intersections est calculée. Cela produit l'enveloppe convexe exacte de l'ensemble non convexe original, garantissant que la solution satisfait les contraintes logiques originales.
- Convexification Séquentielle : Une approche intermédiaire est introduite où un sous-ensemble de règles est étendu sous forme DNF tandis que d'autres restent en forme CNF, permettant un compromis entre complexité computationnelle et étroitesse de la relaxation.
Couche d'Optimisation Différentiable :
La projection d'une sortie de réseau non contrainte $\hat{y}$ sur l'ensemble de faisabilité convexifié est formulée comme un programme linéaire (LP) en utilisant une formulation d'épigraphe de la norme $\ell_1$ . En élevant les variables dans un espace de dimension supérieure (incluant des variables auxiliaires pour l'épigraphe et les poids de combinaison convexe), le problème de projection non convexe est converti en un LP traitable.
- Exactitude : Les auteurs prouvent que si le solveur LP renvoie une solution de point extrême (par exemple, via l'algorithme du simplexe), la projection résultante satisfait exactement les contraintes dures originales.
- Différentiabilité : La couche est rendue différentiable via la différenciation implicite des conditions de Karush-Kuhn-Tucker (KKT), permettant aux gradients de remonter vers les paramètres du réseau de neurones pendant l'entraînement.

Principales Contributions

Cadre Unifié : Le papier présente la première approche capable d'appliquer des contraintes linéaires mixtes dures et dépendantes de l'entrée au sein de réseaux de neurones, tant lors de l'entraînement que de l'inférence.
Garanties de Faisabilité Exacte : Contra-irement aux méthodes précédentes qui utilisent des relaxations convexes comme heuristiques, la relaxation DNF proposée correspond à l'enveloppe convexe la plus étroite possible. Les auteurs prouvent formellement que les solutions de points extrêmes du LP élevé satisfont exactement les contraintes logiques originales.
Expressivité : Le cadre unifie les règles logiques (opérateurs booléens sur des inégalités linéaires) et les contraintes d'optimisation (MILP) sous une formulation unique de programmation disjonctive.
Mécanismes de Scalabilité : L'introduction de la convexification séquentielle et l'analyse du compromis entre les relaxations CNF (scalable) et DNF (étroite) fournissent des outils pratiques pour gérer des ensembles de règles complexes.

Résultats Expérimentaux

Le cadre a été évalué sur deux benchmarks : une tâche synthétique de contrôle de refroidissement et une tâche de classification de séquençage d'ARN unicellulaire (scRNA-seq).

Contrôle de Refroidissement Synthétique :
- Performance : DisjunctiveNet (spécifiquement la variante DNF) a atteint une satisfaction parfaite des règles (CSAT = 1.0) sur les ensembles de test en distribution (IID) et hors distribution (OOD), surpassant de manière significative les bases non contraintes et les méthodes à pénalité douce.
- Généralisation : Dans les régimes de données rares et sous des changements de distribution (OOD), la couche de projection a fourni un biais inductif fort, entraînant une erreur quadratique moyenne (MSE) nettement inférieure à celle des bases.
- Efficacité : Bien que l'inférence nécessite la résolution d'un LP (prenant environ 25-29 ms par échantillon), le surcoût de calcul a été jugé pratique, et la formulation DNF n'a pas souffert d'explosion exponentielle dans les scénarios testés en raison de nombreuses combinaisons de disjonctes infaisables.
Classification scRNA-seq :
- Satisfaction des Règles : Les projections basées sur DNF ont atteint une satisfaction des règles quasi parfaite (CSAT > 0.9), tandis que les méthodes basées sur les pénalités et le réseau de base ont échoué à satisfaire systématiquement les règles de gènes marqueurs dépendantes de l'entrée.
- Précision vs Contraintes : Dans les régimes de faibles données, l'application des règles a amélioré les scores macro-F1. À mesure que les données augmentaient, la précision du modèle de base s'améliorait, mais les modèles basés sur la projection maintenaient une adhérence supérieure aux règles, soulignant un compromis entre précision prédictive et satisfaction exacte des contraintes dans les régimes de données élevées.

Signification et Revendications

Le papier affirme que DisjunctiveNet comble une lacune critique dans l'apprentissage neuro-symbolique en permettant l'application exacte de contraintes logiques complexes et dépendantes de l'entrée, sans recourir à des pénalités douces ou à des corrections post-hoc. La signification réside dans sa capacité à intégrer la connaissance du domaine directement dans le processus d'apprentissage, garantissant que les modèles respectent les contraintes physiques et de sécurité même lorsque les données sont limitées ou que des changements de distribution surviennent.

Les auteurs positionnent leur travail comme une étape vers une IA plus fiable dans les applications scientifiques et d'ingénierie. Ils reconnaissent les limites, principalement le coût computationnel des relaxations DNF pour un grand nombre de règles actives et la dépendance aux solveurs LP pour le retour de points extrêmes afin de garantir l'exactitude. Cependant, ils soutiennent que pour de nombreuses applications réelles impliquant des ensembles de règles modérés, le cadre offre une solution fondée sur des principes et efficace pour le déploiement de réseaux de neurones dignes de confiance.