Résumé technique : Ensembles conformes concis et logiquement cohérents pour les modèles neuro-symboliques basés sur des concepts

Énoncé du problème

Les modèles neuro-symboliques basés sur des concepts (NeSy-CBMs) intègrent des réseaux de neurones pour l'extraction de concepts et un raisonnement symbolique pour l'inférence de tâches, visant à produire des systèmes d'IA fiables pour des applications à haut risque. Cependant, ces modèles souffrent souvent d'une surconfiance et d'un mauvais étalonnage, rendant difficile pour les parties prenantes l'évaluation de la fiabilité de leurs prédictions. De plus, même lorsque l'incertitude est quantifiée, les probabilités résultantes peuvent être contre-intuitives pour les utilisateurs finaux.

Les approches existantes de quantification de l'incertitude dans les NeSy-CBMs échouent souvent à satisfaire simultanément trois desiderata critiques :

1. Cohérence : Les concepts et les étiquettes prédits doivent être logiquement cohérents avec les connaissances a priori spécifiées par l'utilisateur ($K$).
2. Couverture : Les ensembles de prédictions doivent fournir des garanties de couverture marginale, sans hypothèse de distribution et pour des échantillons finis, tant pour les concepts que pour les étiquettes.
3. Concision : Les ensembles de prédictions doivent être aussi petits que possible pour rester interprétables et opérationnellement utiles.

Les stratégies de prédiction conforme (CP) « unilatérales » actuelles (par exemple, appliquer la CP uniquement aux étiquettes ou uniquement aux concepts) ou les méthodes de révision asymétriques ne parviennent pas à satisfaire les trois critères, aboutissant souvent à des ensembles soit incohérents, soit dépourvus de garanties de couverture d'un côté, soit prohibitivement grands.

Méthodologie : COCOCO

Les auteurs introduisent COCOCO (COnformalité, COnsistance, COncision), un cadre a posteriori conçu pour transformer n'importe quel NeSy-CBM entraîné en un prédicteur conforme satisfaisant les trois desiderata.

Mécanisme central

COCOCO opère en deux étapes :

1. Conformalisation conjointe : Elle construit indépendamment un ensemble de prédiction conforme pour les étiquettes ($\Upsilon_\alpha(x)$) et un ensemble de prédiction conforme pour les concepts ($\Gamma_\beta(x)$) en utilisant des techniques CP standard. Pour les concepts, elle exploite l'indépendance conditionnelle des extracteurs de concepts pour construire un ensemble produit, ou utilise des valeurs-e pour éviter les corrections de Bonferroni et contrôler la taille de l'ensemble.
2. Révision par déduction-abduction : Le cadre applique une étape de révision conjointe unique pour réconcilier les deux ensembles. Cette étape implique :
   • Déduction : Filtrage de l'ensemble d'étiquettes pour ne conserver que les étiquettes impliquées par l'ensemble de concepts ($\Upsilon_{rev} = \Upsilon_\alpha \cap g^\dagger(\Gamma_\beta)$).
   • Abduction : Filtrage de l'ensemble de concepts pour ne conserver que les concepts qui impliquent au moins une étiquette dans l'ensemble d'étiquettes ($\Gamma_{rev} = \Gamma_\beta \cap g^{-\dagger}(\Upsilon_\alpha)$).

Garanties théoriques

• Point fixe en une étape : Les auteurs prouvent qu'une seule application de cet opérateur de révision conjointe suffit pour atteindre un point fixe. Itérer le processus est inutile, assurant ainsi l'efficacité computationnelle.
• Optimalité : Le couple résultant $(\Gamma_{rev}, \Upsilon_{rev})$ est le plus grand sous-ensemble possible des ensembles originaux qui maintient une cohérence logique mutuelle.
• Couverture sous connaissance imparfaite : Le cadre conserve des garanties de couverture sans hypothèse de distribution. Dans les cas où la couche d'inférence est imparfaite (par exemple, due à une connaissance incomplète ou à des raccourcis de raisonnement), la borne inférieure de la couverture se dégrade linéairement en fonction de la validité de la couche d'inférence ($\delta_{ab}$ et $\delta_{de}$).
• Budgets de taille spécifiés par l'utilisateur : En intégrant des prédictions conformes-e (utilisant des valeurs-e au lieu de quantiles), COCOCO permet aux utilisateurs de spécifier des tailles d'ensembles maximales (budgets) tout en sélectionnant adaptivement les niveaux de non-couverture ($\tilde{\alpha}, \tilde{\beta}$) pour maintenir des garanties de couverture en espérance. Cette approche évite la dégradation des garanties à mesure que le nombre de concepts augmente.

Contributions clés

1. Formalisation des desiderata : L'article définit et formalise la cohérence, la couverture et la concision comme les conditions nécessaires pour les méthodes conformes NeSy.
2. Cadre COCOCO : Un cadre a posteriori novateur qui conforme conjointement les concepts et les étiquettes et les réconcilie via une étape unique de déduction-abduction.
3. Preuves théoriques :
   • Preuve que COCOCO satisfait les trois desiderata par construction.
   • Preuve que l'étape de révision atteint un point fixe en une itération.
   • Déduction de bornes de couverture tenant compte de la connaissance imparfaite et des probabilités de défaillance conjointe.
4. Contrôle de la taille : Démonstration de la manière dont les valeurs-e permettent des budgets de taille spécifiés par l'utilisateur sans compromettre les garanties de couverture.
5. Évaluation empirique extensive : Évaluation sur 8 jeux de données (incluant l'imagerie médicale, le texte et la classification d'images) utilisant deux architectures NeSy de l'état de l'art (DeepProbLog et Logic Tensor Networks).

Résultats expérimentaux

Les expériences sur 8 jeux de données (CHX, CEB, RIV10, variantes MN-Add, CIF10) démontrent que COCOCO surpasse les bases naturelles et le concurrent le plus fort (RPB) :

• Cohérence : COCOCO atteint une cohérence de 1,00 pour les concepts et les étiquettes sur tous les jeux de données. En revanche, des concurrents comme RPB présentent souvent une incohérence significative du côté des concepts (par exemple, chutant à 0,12 sur le jeu de données MN-EO).
• Concision : COCOCO réduit considérablement les tailles des ensembles de prédictions par rapport aux bases. Par exemple, sur le jeu de données CEB, il a réduit la taille de l'ensemble de concepts de 75,06 (RPB) à 53,49, et sur MN-EO, il a réduit la taille de 100,00 (RPB) à 12,13, tout en maintenant une cohérence totale.
• Couverture : Bien que COCOCO échange une petite quantité de couverture (généralement 7 à 10 points de pourcentage inférieurs à RPB du côté des concepts) pour garantir la cohérence et la concision, il maintient une couverture élevée des étiquettes (souvent $\ge 0,87$) et une couverture des concepts ($\ge 0,83$) à l'objectif nominal de 0,9.
• Robustesse : La méthode se comporte de manière robuste même sous une connaissance incomplète (RIV10) et des raccourcis de raisonnement (MN-EO), où les bornes théoriques prédisent correctement la dégradation de la couverture.
• Temps d'exécution : La surcharge computationnelle de COCOCO est modeste (environ 1,2 à 1,6 fois le temps d'exécution de base), car l'étape de révision ne nécessite qu'un seul passage de calcul d'images abductif et déductif.

Importance et affirmations

L'article affirme que COCOCO est la première méthode à exploiter simultanément les connaissances symboliques pour réduire les ensembles de prédiction conforme et imposer une cohérence étiquette-concept tout en conservant une couverture sans hypothèse de distribution.

Les auteurs positionnent COCOCO comme une étape cruciale vers la mise en adéquation des NeSy-CBMs pour les systèmes d'aide à la décision dans des domaines à haut risque (par exemple, le diagnostic médical), où les parties prenantes nécessitent non seulement une prédiction, mais un ensemble d'alternatives plausibles et logiquement cohérentes avec des garanties statistiques rigoureuses. Le cadre adresse la nature « boîte noire » de l'incertitude dans les modèles NeSy en fournissant des ensembles interprétables respectant les contraintes du domaine, améliorant ainsi la confiance et la fiabilité sans nécessiter de réentraînement du modèle neuro-symbolique sous-jacent.