Résumé technique : En défense de la fuite d'informations dans les modèles basés sur des concepts

Énoncé du problème

Les modèles basés sur des concepts (Concept-based models ou CMs) sont des réseaux de neurones profonds conçus pour ancrer les prédictions dans des concepts compréhensibles par l'humain (ex: « rayures », « ailes »). Un récit prédominant dans le domaine postule que la fuite d'informations (information leakage) — où les représentations de concepts encodent des informations qui ne sont pas strictement attribuables à leur sémantique intentionnelle — est intrinsèquement indésirable. Cette fuite est généralement classée en fuite inter-concepts (une représentation de concept encode des informations sur d'autres concepts) et fuite de tâche (une représentation de concept encode des informations sur l'étiquette de la tâche en aval $Y$).

Le point de vue conventionnel soutient que la fuite compromet l'intervenabilité (la capacité de corriger les prédictions en modifiant les entrées des concepts) et l'interprétabilité (la capacité de reconstruire le raisonnement du modèle uniquement à partir des concepts). Par conséquent, la recherche récente s'est concentrée sur l'élimination de la fuite par des contraintes architecturales ou de la régularisation.

Cependant, les auteurs soutiennent que cette vision stricte est mal posée et contre-productive, particulièrement dans les situations réelles où l'incomplétude des concepts est la norme. Dans ces scénarios, l'ensemble des concepts d'entraînement disponibles $C$ ne parvient souvent pas à décrire pleinement la tâche en aval $Y$ (c'est-à-dire $I(Y; X | C) \neq 0$). Les auteurs postulent que l'imposition de représentations strictement sans fuite dans de tels contextes incomplets empêche d'atteindre une précision de tâche élevée, rendant les CMs impraticables.

Méthodologie

1. Formalisation de la fuite bénigne

Le papier introduit le concept de Fuite Bénigne, définie comme une forme spécifique de fuite qui est nécessaire et souhaitable pour l'exactitude des CMs dans des contextes incomplets. Une représentation $\hat{C}$ présente une fuite bénigne si elle satisfait deux conditions :

• Suffisance : La représentation préserve toute l'information pertinente pour l'étiquette qui n'est pas capturée par les concepts de vérité terrain $C$. Formellement, $I(Y; R | C) \approx I(Y; X | C)$, où $R$ est une composante résiduelle de la représentation.
• Localisation : L'information concernant un concept spécifique $C_i$ qui est utile pour prédire $Y$ est localisée au sein d'une composante spécifique $\bar{C}_i$ de la représentation. Formellement, $I(Y; \bar{C}_i | R_i, \hat{C}_{-i}) \approx I(Y; C_i | C_{-i})$.

Cette décomposition permet à un modèle d'exploiter la fuite pour la précision (via $R$) tout en maintenant l'intervenabilité (via $\bar{C}_i$).

2. Optimisation via $L_{int}$

Pour obtenir cette fuite bénigne, les auteurs proposent d'optimiser un nouvel objectif d'entraînement, $L_{int}$ (Perte d'Intervention). Cette perte minimise la perte de tâche lorsque tous les concepts font l'objet d'une intervention (c'est-à-dire qu'ils sont forcés à leurs valeurs de vérité terrain pendant l'entraînement) :
$$L_{int} = \mathbb{E}_{(x,c,y) \sim D} \left[ -\log P_f(y | \hat{C} = g(x | C := c)) \right]$$

Le papier soutient que la minimisation de $L_{int}$ encourage implicitement la suffisance. Sous l'hypothèse que le prédicteur d'étiquette est bien spécifié, la minimisation de la log-vraisemblance négative sous intervention complète est équivalente à la maximisation de l'information mutuelle entre la représentation résiduelle et l'étiquette de la tâche, étant donné les concepts.

De plus, les auteurs émettent l'hypothèse que, grâce au biais de simplicité des réseaux de neurones profonds (la descente de gradient stochastique ou SGD favorisant les hypothèses les plus simples), la minimisation de $L_{int}$ encourage également la localisation. Une hypothèse plus simple pour le modèle est une hypothèse où le prédicteur de tâche apprend à s'appuyer sur les composantes alignées avec les concepts pour le raisonnement spécifique aux concepts, plutôt que de ré-encoder l'information des concepts dans la fuite résiduelle.

3. Configuration expérimentale

Les auteurs évaluent leurs affirmations en utilisant le jeu de données CUB-200 (oiseaux), en construisant spécifiquement une version incomplète (CUB-Incomplete) en sous-échantillonnant les annotations de concepts à 22 concepts (7 groupes) sur les 112 originaux. Ils testent diverses architectures, incluant :

• CBM Indépendants/Séquentiels/Joints : Des lignes de base standards avec des degrés variables de fuite.
• Hybrid CBMs : Des modèles avec des canaux de dérivation (connexions résiduelles) qui permettent explicitement la fuite.
• Modèles de plongement de concepts (CEMs) & ProbCBMs : Des modèles utilisant des plongements dynamiques.
• Lignes de base Black Box : Des DNN sans perte d'alignement de concept.

Les métriques clés incluent la Fidélité de la Tâche (précision), la Fidélité du Concept (précision des prédictions de concepts) et l'Intervenabilité (amélioration de la performance lorsque les concepts de vérité terrain sont fournis au moment du test).

Résultats clés

1. La fuite ne détruit pas nécessairement l'intervenabilité

Contrairement au récit dominant, les auteurs démontrent que les modèles fuyants peuvent rester hautement intervenables dans des contextes incomplets, à condition d'être correctement conditionnés.

• Sans $L_{int}$ : De nombreux modèles fuyants (ex: Joint Logit CBMs, Hybrid CBMs avec de larges dérives) deviennent non-intervenables dans des contextes incomplets ; leur précision ne s'améliore pas (ou diminue) lorsque les concepts sont corrigés.
• Avec $L_{int}$ : Lorsque ces mêmes modèles fuyants sont entraînés avec le régularisateur $L_{int}$, ils retrouvent une haute intervenabilité. Par exemple, de grands Hybrid CBMs (avec 500 neurones résiduels) deviennent aussi intervenables que les Independent CBMs non-fuyants, tout en conservant une précision de tâche nettement plus élevée.

2. La fuite bénigne améliore la précision sans sacrifier l'interprétabilité

• Précision : Dans les contextes incomplets, les modèles entraînés avec $L_{int}$ atteignent une fidélité de tâche significativement plus élevée que les lignes de base non-fuyantes (ex: Independent CBMs), qui sont contraintes de se reposer uniquement sur l'ensemble incomplet de concepts.
• Interprétabilité : En utilisant des métriques de substitution (ROC-AUC de concept et analyse des poids du prédicteur d'étiquette), les auteurs montrent que les modèles fuyants bien conditionnés (comme les Hybrid CBMs avec $L_{int}$) présentent des structures de poids concept-vers-tâche statistiquement indiscernables des modèles non-fuyants. Les concepts principaux utilisés par les modèles fuyants pour prédire les classes s'alignent étroitement avec ceux utilisés par les modèles non-fuyants, suggérant que la fuite n'obscurcit pas le processus de raisonnement du modèle d'une manière que les métriques standards détectent.

3. Le rôle de l'incomplétude

Les expériences sur des jeux de données complets montrent que les modèles fuyants sont souvent intervenables même sans $L_{int}$. Cependant, dans les contextes incomplets, l'absence de $L_{int}$ conduit à un comportement non-intervenable dans les modèles fuyants. Cela confirme que le « préjudice » de la fuite est dépendant du contexte et survient spécifiquement lorsque le modèle échoue à apprendre une représentation suffisante de l'information pertinente pour la tâche manquante.

Signification et revendications

Le papier prétend déplacer le paradigme concernant la fuite d'informations dans les CMs, passant d'un phénomène à éradiquer à un phénomène à contrôler et exploiter.

1. Recadrage du récit : Les auteurs soutiennent que la vision stricte de la fuite comme étant « ininterprétable » est mal posée car elle ignore la nécessité pratique de la fuite dans les scénarios réels incomplets. Ils affirment qu'éliminer la fuite dans ces contextes force un arbitrage où la précision est sacrifiée pour une pureté théorique qui n'offre aucun bénéfice pratique.
2. Nécessité pratique : Le papier pose que la fuite bénigne est nécessaire pour construire des CMs qui soient à la fois précis et intervenables lorsque les ensembles de concepts sont incomplets. Sans permettre au modèle de capturer $I(Y; X | C)$ via la fuite, les CMs ne peuvent pas accomplir leur fonction primaire de prédiction précise.
3. Contribution méthodologique : L'introduction de $L_{int}$ fournit un régularisateur simple et indépendant de l'architecture qui permet une « fuite bénigne ». Il récupère diverses mécanismes existants (comme l'intervention stochastique dans les CEMs) comme des cas particuliers et offre une approche unifiée pour entraîner des CMs robustes.
4. Appel à l'action : Les auteurs appellent la communauté à cesser les affirmations générales selon lesquelles la fuite détruit l'interprétabilité sans critères falsifiables. Au lieu de cela, ils exhortent les chercheurs à :
   • Évaluer les CMs dans des contextes incomplets.
   • Se concentrer sur le contrôle de la fuite (localisation et suffisance) plutôt que sur son élimination.
   • Séparer les phénomènes spécifiques aux CMs des modes de défaillance généraux du deep learning comme l'apprentissage par raccourcis (shortcut learning).

En conclusion, le papier affirme que la « fuite » n'est pas intrinsèquement maligne ; plutôt, c'est la fuite non contrôlée qui pose problème. En optimisant la suffisance et la localisation via $L_{int}$, il est possible de construire des CMs qui tirent parti de la fuite pour atteindre une haute précision dans des contextes incomplets tout en conservant les propriétés fondamentales d'interprétabilité et d'intervenabilité.