Uncertainty-aware Language Guidance for Concept Bottleneck Models

Cet article propose une nouvelle méthode de modèles à goulot d'concepts (CBM) consciente de l'incertitude qui quantifie rigoureusement les incertitudes des annotations de concepts générées par les grands modèles de langage (LLM) et intègre ces mesures dans le processus d'apprentissage pour atténuer les risques d'erreurs et améliorer la fiabilité du modèle.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot très intelligent (une intelligence artificielle) comment reconnaître un oiseau.

Le Problème : L'IA est un "Boîte Noire"

Aujourd'hui, les intelligences artificielles sont comme des boîtes noires magiques. Vous leur donnez une photo, et elles vous disent : "C'est un faucon !". Mais elles ne vous disent pas pourquoi. Elles ont vu des plumes, un bec, mais elles ne peuvent pas vous expliquer leur raisonnement. Dans des domaines importants (comme la médecine ou la justice), on a besoin de comprendre le "pourquoi" pour avoir confiance.

Pour régler ça, les chercheurs ont créé des Modèles à Goulot d'Étranglement de Concepts (CBM).

• L'idée : Au lieu de dire directement "C'est un faucon", l'IA doit d'abord dire : "Je vois un bec crochu, des serres puissantes et des plumes brunes". Ensuite, elle combine ces indices pour dire "Faucon".
• Le problème : Pour entraîner l'IA à reconnaître ces indices, il faut des humains experts pour annoter des milliers de photos. C'est long, cher et épuisant.

La Solution Tentée (et ses défauts)

Récemment, on a eu l'idée d'utiliser des Grands Modèles de Langage (comme ChatGPT) pour faire ce travail d'annotation à la place des humains. L'IA décrit l'image, et on utilise ces descriptions pour entraîner le modèle.

Mais il y a un gros piège : Les IA génératives ont tendance à halluciner.

• Analogie : Imaginez un élève très bavard qui rédige un exposé sur les oiseaux. Il est très confiant, mais il invente parfois des détails faux (par exemple, il dit que l'oiseau a des yeux jaunes alors qu'ils sont noirs).
• Si on utilise ces descriptions sans vérifier, on enseigne des erreurs à notre modèle. De plus, les méthodes actuelles traitent ces descriptions comme des vérités absolues, sans se demander : "Est-ce que l'IA est sûre d'elle ?".

La Nouvelle Méthode : ULCBM (Le "Professeur Vigilant")

Les auteurs de ce papier proposent une nouvelle méthode appelée ULCBM. Ils ont créé un système en deux étapes pour gérer l'incertitude de l'IA, comme un professeur très rigoureux qui vérifie les devoirs d'un élève bavard.

Étape 1 : Le "Filtre de Confiance" (Quantification de l'incertitude)

Au lieu de croire aveuglément l'IA, le système utilise une technique mathématique appelée Conformal Prediction (Prédiction Conformée).

• L'analogie : Imaginez que l'IA génère une liste de 10 indices pour un oiseau. Notre système ne prend pas tout. Il utilise un "filtre de sécurité" mathématique pour ne garder que les indices qui sont sûrs à 99%.
• Il vérifie trois choses :
  1. Discrimination : Est-ce que cet indice aide vraiment à distinguer cet oiseau des autres ? (Si l'IA dit "il a des plumes", c'est vrai pour tous les oiseaux, donc ce n'est pas utile).
  2. Couverture : Est-ce qu'on a assez d'indices pour couvrir tout l'oiseau ? (Pas juste le bec, mais aussi les ailes).
  3. Diversité : Est-ce qu'on ne répète pas la même chose ? (Si l'IA dit "plumes noires" et "plumes sombres", on en garde une seule).
• Le résultat : On obtient une liste d'indices "garantie" par les mathématiques. On sait exactement quel est le risque d'erreur.

Étape 2 : La "Recette de Cuisine" (Augmentation des données)

Même avec le filtre, certains indices rares (comme "une tache blanche sur l'aile") peuvent apparaître très peu de fois dans les données. C'est comme si un chef cuisinier apprenait à faire un plat avec seulement 2 œufs au lieu de 100. Il ne saura jamais bien cuisiner ce plat.

• L'analogie : Le système détecte ces ingrédients rares et "fabrique" artificiellement de nouvelles photos pour l'entraînement.
• Comment ? Il prend un morceau d'image (un "patch") d'un autre oiseau qui a ce rare détail et le colle proprement sur la nouvelle photo, sans cacher les autres détails importants.
• Cela permet d'entraîner le modèle sur des cas rares sans avoir besoin de trouver des milliers de photos supplémentaires à la main.

Pourquoi c'est génial ?

1. Moins d'erreurs : En filtrant les "hallucinations" de l'IA, le modèle final est beaucoup plus fiable.
2. Plus de confiance : On sait mathématiquement que le risque d'erreur est contrôlé.
3. Meilleures performances : Sur des tests réels (comme reconnaître des oiseaux ou des objets), cette méthode bat les anciennes techniques, surtout pour les cas difficiles.

En résumé :
Ce papier propose de ne pas faire confiance aveuglément à l'IA pour décrire le monde. Au lieu de ça, on utilise les mathématiques pour vérifier ce que l'IA dit, et on utilise l'IA elle-même pour créer plus d'exemples d'entraînement là où il en manque. C'est comme passer d'un élève qui invente des histoires à un élève qui fait ses devoirs avec un correcteur automatique très strict, mais bienveillant.

Résumé technique

1. Problématique

Les Modèles à Goulot d'Étranglement de Concepts (CBM) sont une architecture de réseaux de neurones conçue pour être intrinsèquement interprétable. Ils fonctionnent en deux étapes : d'abord, ils mappent une entrée (image) vers un ensemble de concepts sémantiques de haut niveau compréhensibles par l'humain, puis ils utilisent ces concepts pour effectuer la classification finale.

Cependant, l'adoption généralisée des CBM est freinée par deux défis majeurs :

1. Coût de l'annotation : L'annotation manuelle de concepts par des experts humains est laborieuse, coûteuse et non scalable.
2. Limitations des approches basées sur les LLM : Des travaux récents utilisent les Grands Modèles de Langage (LLM) pour générer automatiquement ces concepts. Toutefois, ces méthodes souffrent de deux lacunes critiques :
   • Ignorance de l'incertitude : Elles traitent les concepts générés par les LLM comme des vérités déterministes, ignorant le risque d'hallucinations (concepts faux ou imprécis).
   • Perte d'information : Elles ne parviennent pas à intégrer l'incertitude associée à ces annotations dans le processus d'apprentissage, ce qui conduit à une dégradation de la fiabilité du modèle, surtout lorsque certains concepts sont rares ou peu fiables.

De plus, quantifier cette incertitude de manière rigoureuse (avec des garanties théoriques) est difficile car les hypothèses classiques (comme l'indépendance et l'identique distribution - i.i.d.) sont souvent violées dans les processus d'annotation par LLM.

---

2. Méthodologie : ULCBM

Les auteurs proposent ULCBM (Uncertainty-aware Language Guidance for Concept Bottleneck Models), un cadre novateur qui combine une quantification rigoureuse de l'incertitude et une stratégie d'augmentation de données ciblée.

A. Génération de Concepts avec Garantie d'Incertitude

Au lieu d'utiliser les sorties brutes des LLM, le modèle intègre un mécanisme de Prédiction Conformelle (Conformal Prediction - CP) pour quantifier l'incertitude sans hypothèse de distribution (distribution-free).

Le processus se déroule en trois étapes :

1. Génération de candidats : Un LLM génère une liste de concepts potentiels pour chaque classe. Un détecteur d'objets ancré (Grounding-DINO) localise ces concepts dans les images.
2. Évaluation via trois critères de perte : Pour chaque image, un ensemble de concepts incertains $C_\lambda$ est construit en fonction d'un seuil $\lambda$. La qualité de cet ensemble est évaluée selon trois dimensions complémentaires :
   • Discriminabilité ($\ell_{dis}$) : Assure que les concepts sélectionnés sont spécifiques à la classe vraie de l'image par rapport aux autres classes.
   • Couverture ($\ell_{cov}$) : Garantit que l'ensemble sélectionné couvre l'étendue sémantique complète de la classe (pas de clustering sur une seule partie).
   • Diversité ($\ell_{div}$) : Pénalise la redondance sémantique (ex: éviter "plumage noir" et "plumage gris foncé" si synonymes).
3. Calibration du seuil ($\hat{\lambda}$) : En utilisant un ensemble de calibration, les auteurs calculent un seuil global $\hat{\lambda}$ qui garantit, avec une probabilité contrôlée, que les pertes moyennes sur ces trois critères restent en dessous de niveaux de risque spécifiés par l'utilisateur ($\alpha_{dis}, \alpha_{cov}, \alpha_{div}$). Cela fournit des garanties théoriques formelles sur la qualité des concepts, même en présence d'hallucinations.

B. Pipeline d'Augmentation de Données Ciblée

Un problème secondaire est que le filtrage strict basé sur l'incertitude peut rendre certains concepts fiables mais rares (données éparses), ce qui nuit à l'entraînement du CBM.

Pour résoudre cela, les auteurs proposent une augmentation de données guidée par l'incertitude :

• Identification des concepts rares dont la fréquence est insuffisante.
• Synthèse d'échantillons : Insertion de patches visuels représentatifs de ces concepts rares dans d'autres images cibles.
• Contrainte spatiale stricte : L'insertion est guidée par les incertitudes calculées pour éviter de chevaucher les concepts déjà présents et fiables dans l'image cible.
• Cela permet de densifier les signaux d'apprentissage pour les concepts rares sans introduire de bruit spatial.

C. Entraînement du Modèle

Le CBM est entraîné sur le dataset augmenté et annoté avec des vecteurs de concepts binaires. La fonction de perte combine :

• Une perte de classification des concepts (BCE).
• Une perte de classification finale (CE).
• Une régularisation Elastic-Net pour favoriser la parcimonie.

---

3. Contributions Clés

1. Quantification d'incertitude avec garanties formelles : Première méthode à appliquer la prédiction conformelle aux CBM guidés par LLM, fournissant des garanties de contrôle de risque (distribution-free) sur la qualité des concepts (discriminabilité, couverture, diversité).
2. Intégration de l'incertitude dans l'apprentissage : Conception d'un pipeline d'augmentation de données qui utilise les métriques d'incertitude pour synthétiser des échantillons pour les concepts rares, résolvant ainsi le problème de la parcimonie des données.
3. Analyse théorique : Démonstration mathématique que la procédure de calibration assure que les pertes attendues respectent les niveaux de risque prescrits pour des échantillons échangeables.
4. Nouvelle métrique d'évaluation : Introduction de la Précision de Conformité aux Concepts (CCA), qui mesure la proportion d'échantillons correctement classés dont l'ensemble de concepts utilisé satisfait simultanément toutes les contraintes de qualité.

---

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données réels : CIFAR-10, CIFAR-100 et CUB (Caltech-UCSD Birds). Les méthodes de référence (baselines) incluent LaBo et VLG-CBM.

• Validité des contraintes : Les résultats montrent que la méthode proposée respecte strictement les niveaux de risque ($\alpha$) définis pour les trois critères (discriminabilité, couverture, diversité). En revanche, les méthodes de base échouent souvent à respecter ces seuils, générant des concepts non fiables.
• Précision de Conformité aux Concepts (CCA) : ULCBM obtient systématiquement les scores CCA les plus élevés, indiquant qu'une plus grande proportion de ses prédictions sont à la fois correctes et basées sur des ensembles de concepts de haute qualité.
• Précision de Test :
  • Précision globale : ULCBM surpasse les baselines (ex: 75,5% sur CUB contre 74,4% pour VLG-CBM).
  • Précision par classe la plus faible (Worst-class) : L'amélioration est encore plus marquée ici (25,0% pour ULCBM vs 16,7% pour LaBo), démontrant que l'augmentation de données ciblée aide le modèle à mieux apprendre les concepts rares et difficiles.

---

5. Signification et Impact

Ce travail représente une avancée significative pour l'adoption pratique des CBM dans des domaines à haut risque (santé, justice, etc.) où la transparence et la fiabilité sont cruciales.

• Réduction de la dépendance aux experts : En automatisant l'annotation via les LLM tout en contrôlant rigoureusement les erreurs d'hallucination, la méthode rend les CBM évolutifs.
• Fiabilité accrue : L'intégration explicite de l'incertitude permet de construire des modèles qui ne se contentent pas de prédire, mais qui le font en connaissant la fiabilité de leurs propres "raisonnements" (concepts).
• Robustesse aux données rares : La stratégie d'augmentation de données guidée par l'incertitude offre une solution élégante au problème de la rareté des annotations fiables, améliorant la performance globale et l'équité du modèle (performance sur les classes minoritaires).

En résumé, ULCBM transforme l'utilisation des LLM pour les CBM d'une approche heuristique risquée en un cadre rigoureux, théoriquement garanti et performant.