🤖 machine learning

Where Not to Learn: Prior-Aligned Training with Subset-based Attribution Constraints for Reliable Decision-Making

Cet article propose une méthode d'entraînement qui aligne les modèles avec les a priori humains en pénalisant le recours à des preuves hors a priori par des contraintes d'attribution basées sur des sous-ensembles, améliorant ainsi à la fois la précision des tâches et la raisonnabilité des décisions dans les tâches de classification d'images et d'agents d'interface graphique (GUI).

Auteurs originaux : Ruoyu Chen, Shangquan Sun, Xiaoqing Guo, Sanyi Zhang, Kangwei Liu, Shiming Liu, Zhangcheng Wang, Qunli Zhang, Wei Wang, Hua Zhang, Xiaochun Cao

Publié 2026-07-15

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruoyu Chen, Shangquan Sun, Xiaoqing Guo, Sanyi Zhang, Kangwei Liu, Shiming Liu, Zhangcheng Wang, Qunli Zhang, Wei Wang, Hua Zhang, Xiaochun Cao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le dilemme du détective : Pourquoi avoir raison ne suffit pas

Imaginez que vous appreniez à un robot à reconnaître un chat. Vous lui montrez un million de photos de chats, et finit par le robot devient très doué pour dire « Miaou ! » chaque fois qu'il voit une forme duveteuse. Mais voici le piège : le robot ne regarde pas réellement les moustaches ou les oreilles du chat. Au lieu de cela, il a appris un raccourci sournois. Il a remarqué que dans toutes vos photos d'entraînement, les chats étaient assis sur une marque spécifique de tapis rouge. Ainsi, le robot ignore entièrement le chat et se contente de chercher le tapis rouge. Si vous lui montrez un chat sur un canapé bleu, il est confus. Si vous lui montrez un tapis rouge sans chat, il pourrait quand même crier « Miaou ! ».

C'est un problème courant dans le monde de l'intelligence artificielle, plus précisément dans un domaine appelé l'apprentissage automatique (machine learning). Les scientifiques construisent ces « modèles » pour prendre des décisions, mais souvent, ils apprennent à tricher en trouvant des motifs faciles (comme le tapis rouge) plutôt qu'en comprenant la véritable raison d'une décision (le chat). C'est dangereux car si le robot conduit une voiture ou clique sur des boutons à l'écran, il doit savoir pourquoi il fait quelque chose, et ne pas simplement deviner en se basant sur une coïncidence chanceuse. Pour corriger cela, les chercheurs utilisent des « priors humains » — ce qui est juste une façon sophistiquée de dire « ce qu'un humain pense être important ». Si un humain pointe un chat et dit : « Regarde ici », le robot devrait apprendre à regarder là aussi. Mais amener le robot à être d'accord avec l'humain est délicat, car le cerveau du robot fonctionne de manière très différente du nôtre.

La grande idée de l'article : « N'apprends pas là où tu ne le dois pas »

Cet article, intitulé « Where Not to Learn » (Où ne pas apprendre), s'attaque au problème des robots qui trichent en utilisant une méthode d'entraînement sélective et ingénieuse. Les auteurs suggèrent qu'au lieu de forcer le robot à regarder uniquement au bon endroit (ce qui peut être trop strict et confondre le robot), nous devrions simplement le punir lorsqu'il regarde au mauvais endroit.

Voyez cela comme un professeur corrigeant la dissertation d'un élève. Si l'élève écrit un paragraphe brillant sur le mauvais sujet, le professeur n'efface pas toute la dissertation. Au lieu de cela, le professeur entoure la mauvaise partie d'un grand cercle rouge et dit : « Cela n'a pas sa place ici ». L'élève apprend alors à concentrer son énergie sur le bon sujet. Les auteurs appellent cela l'« entraînement aligné sur les priors » (Prior-Aligned Training). Ils utilisent un outil spécial appelé « attribution par sélection de sous-ensemble » (subset-selection attribution) pour agir comme la loupe du professeur. Cet outil aide le robot à comprendre exactement quelles infimes parties d'une image ou d'un écran le poussent à prendre une décision.

Voici comment la magie opère :

La Loupe : L'outil examine la décision du robot et met en évidence les quelques « indices » principaux qu'il a utilisés.
La Vérification : Le système compare ces indices au « prior humain » (la zone qu'un humain a déclarée importante, comme un cadre autour d'un bouton).
Le Petit Coup de Pousse : Si le meilleur indice du robot se trouve à l'intérieur de la boîte humaine, le système dit : « Bon travail ! » et passe à la suite. Mais si le meilleur indice du robot est à l'extérieur de la boîte (comme regarder le tapis rouge au lieu du chat), le système applique une pénalité. Il dit au robot : « Arrête de te fier à cet indice ».

L'article argumente explicitement contre les anciennes méthodes qui tentaient de « supprimer » ou de faire taire toutes les zones non humaines à la fois. Les auteurs ont constaté que cette « suppression dure » est trop brutale ; c'est comme dire à un élève d'arrêter de penser à tout sauf à la fiche de réponses, ce qui le fait souvent oublier complètement comment résoudre le problème. À la place, leur méthode est « sélective ». Elle n'intervient que lorsque l'indice le plus important du robot est erroné. Si le robot regarde déjà au bon endroit, le système le laisse tranquille, laissant d'autres parties de l'image contribuer librement.

Ce qu'ils ont trouvé : Des robots plus intelligents, de meilleures décisions

Les chercheurs ont testé cette idée dans deux mondes très différents :

Classification d'images : Apprendre aux ordinateurs à identifier des objets dans des photos (comme des bateaux ou des animaux).
Agents GUI : Apprendre à l'IA à cliquer sur des boutons sur un écran d'ordinateur (comme un assistant virtuel réglant une alarme).

Dans les deux cas, les résultats sont prometteurs. Lorsqu'ils ont utilisé leur méthode de « pénalité sélective », les modèles ne se sont pas contentés de devenir meilleurs pour suivre les règles ; ils sont aussi devenus meilleurs dans la tâche principale elle-même.

Sur le jeu de données ImageNet-S (une collection d'images avec des masques d'objets spécifiques), leur méthode a amélioré la précision d'un modèle appelé ViT de 4,95 points et d'un modèle appelé ResNet-101 de 1,74 point.
Plus important encore, la « raisonnabilité » des décisions s'est améliorée. Ils ont mesuré cela à l'aide d'un « Point Game », qui vérifie si l'IA regarde le bon objet. Sur le jeu de données Saliency-Bench, leur méthode a augmenté le score du Point Game pour le modèle ViT de 0,4363 à 0,5463.

L'article suggère qu'en forçant l'IA à s'appuyer sur les « bonnes » preuves (les régions des priors humains), elle devient plus robuste. Lorsqu'ils ont testé les modèles avec des images bruitées et désordonnées (en ajoutant du grain aléatoire aux images), les modèles entraînés avec cette méthode ont mieux résisté que les modèles standards. Cela implique qu'en empêchant l'IA d'apprendre des « codes de triche » (comme le tapis rouge), elle apprend à s'appuyer sur des caractéristiques stables et significatives qui fonctionnent même quand les choses deviennent confuses.

Les auteurs ont également réalisé des « études d'ablation », qui consistent à démonter un moteur pour voir quelle pièce fait quoi. Ils ont découvert que la « Perte de Déviation » (la pénalité pour regarder au mauvais endroit) était le moteur principal, pilotant la majeure partie des améliorations de la précision et de la raisonnabilité. La « Perte de Redondance » (qui empêche l'IA de trop compter sur plusieurs mauvais indices) a aidé un peu plus pour le score de « raisonnabilité », mais n'a pas changé la précision autant.

En bref, l'article montre qu'il n'est pas nécessaire de micro-gérer chaque pensée d'une IA. Il suffit de l'attraper lorsqu'elle regarde dans la mauvaise direction et de la réorienter doucement. Cette approche rend l'IA non seulement plus honnête sur le pourquoi d'une décision, mais aussi plus précise et fiable dans le monde réel. Les auteurs concluent que cette méthode fonctionne à travers différents types d'IA, des simples classificateurs d'images aux agents complexes capables de cliquer sur des boutons et de suivre des instructions, suggérant ainsi une voie vers une IA qui soit à la fois intelligente et sensée.

Résumé technique : « Où ne pas apprendre : Entraînement aligné sur les priors avec contraintes d'attribution basées sur des sous-ensembles pour une prise de décision fiable »

Énoncé du problème

Les modèles d'apprentissage automatique fiables doivent non seulement prédire correctement, mais aussi fonder leurs décisions sur des preuves acceptables et pertinentes pour la tâche. Cependant, l'apprentissage supervisé conventionnel repose uniquement sur des étiquettes de classe, ce qui permet aux modèles d'exploiter des « corrélations de raccourci » (par exemple, des textures d'arrière-plan ou des caractéristiques fallacieuses) plutôt que l'évidence causale prévue. Bien que les priors humains (tels que des boîtes englobantes, des éléments d'interface cibles ou des clics épars) puissent théoriquement contraindre ce comportement, aligner l'évidence de décision du modèle avec ces priors reste un défi. Les méthodes existantes échouent souvent car :

Écart de fidélité (Faithfulness Gap) : Elles reposent sur des méthodes d'attribution post-hoc (ex. Grad-CAM, LIME) qui peuvent ne pas refléter fidèlement la véritable évidence de la décision.
Sur-régularisation : Elles imposent une suppression uniforme et stricte de toutes les régions hors-prior, ignorant que différentes régions contribuent de manière inégale à la décision, ce qui peut potentiellement étouffer des signaux d'apprentissage valides.

Méthodologie

Les auteurs proposent un cadre d'entraînement sélectif contraint par des priors qui utilise l'attribution basée sur la sélection de sous-ensembles comme signal lors de l'entraînement pour guider le comportement du modèle.

1. Mécanisme d'attribution :
Au lieu d'explications basées sur les gradients ou l'attention, la méthode emploie une attribution basée sur la sélection de sous-ensembles (spécifiquement LIMA pour la classification d'images et EAGLE pour les agents GUI basés sur les MLLM) pour identifier les sous-ensembles compacts de régions soutenant la décision. Cette approche identifie les régions en sélectionnant de manière itérative les régions qui maximisent une fonction d'ensemble $F(\cdot)$ , en les classant par influence. Cette méthode est choisie pour sa plus grande fidélité dans l'identification de la véritable évidence qui conduit aux prédictions.

2. Principe d'alignement sélectif :
L'innovation centrale est une stratégie d'alignement asymétrique. Le modèle n'est pas forcé de s'aligner sur les priors humains à tout moment. Au lieu de cela, les contraintes sont appliquées uniquement lorsque l'évidence attribuée la plus saliente diverge de la région du prior humain.

Si l'évidence la mieux attribuée chevauche le prior humain, aucune pénalité n'est appliquée, permettant aux autres régions de contribuer librement.
Si l'évidence la mieux attribuée se situe en dehors du prior, le modèle est pénalisé pour son recours à des indices « hors-prior ».

3. Fonctions de perte :
L'objectif d'entraînement combine une perte de tâche standard ( $L_{task}$ ) avec deux pertes d'alignement spécifiques appliquées par intermittence (uniquement lorsque le modèle prédit correctement et à des intervalles d'entraînement spécifiques) :

Perte de déviation ( $L_{deviation}$ ) : Pénalise le score d'utilité de la région d'attribution la mieux classée ( $v_{\pi1}$ ) si son chevauchement spatial avec le prior humain $H$ tombe en dessous d'un seuil $\tau$ . Cela décourage le recours à l'évidence hors-prior la plus influente.
Perte de redondance ( $L_{redundancy}$ ) : Régule les régions d'attribution d'ordre supérieur (rangs $r \geq 2$ ). Si ces régions sont hors-prior, leurs gains marginaux ( $\Delta_{i,r}$ ) sont supprimés via ReLU. Cela empêche l'accumulation d'évidences fallacieuses provenant de multiples régions non intentionnelles.

4. Procédure d'entraînement :
L'algorithme alterne entre la supervision de tâche standard et l'alignement de l'évidence. Les pertes d'alignement sont calculées uniquement pour les échantillons prédits correctement à des intervalles réguliers (par exemple, tous les 10 pas pour la classification, tous les 5 pour les agents GUI) afin de réduire la charge de calcul et d'éviter de trop contraindre le modèle durant les phases initiales de l'apprentissage.

Contributions clés

Attribution fidèle pour l'entraînement : L'article démontre que l'attribution basée sur la sélection de sous-ensembles (LIMA/EAGLE) fournit un signal d'entraînement plus fiable pour l'alignement sur les priors humains que les explications conventionnelles basées sur les gradients ou les activations.
Objectif de contrainte de prior sélectif : Une nouvelle formulation de perte qui n'intervient que lorsque l'évidence la mieux attribuée diverge des priors humains, évitant ainsi les pièges d'une suppression uniforme et stricte des régions hors-prior.
Validation multi-tâches : Le cadre est validé à travers deux contextes distincts :
- Classification discriminative : Classification d'images sur ImageNet-S et Saliency-Bench.
- Prise de décision autoregressive : Décisions de clic dans des agents GUI basés sur des modèles de langage multimodaux (MLLM).

Résultats expérimentaux

La méthode a été évaluée par rapport à des lignes de base incluant RRR (suppression de gradient), XIL (suppression de Grad-CAM au niveau des caractéristiques) et MEGL (alignement Grad-CAM).

Classification d'images :
- Précision (Accuracy) : La méthode a systématiquement amélioré la précision Top-1 à travers différents backbones (CLIP, ViT, ResNet). Par exemple, sur Saliency-Bench avec ViT, la précision est passée de 0,5150 (Fine-tuning) à 0,5694.
- Rationalité de la décision : Mesurée par le "Point Game" (évaluant l'attention portée aux objets cibles), la méthode montre des gains significatifs. Sur Saliency-Bench avec ViT, le score du Point Game est passé de 0,4363 à 0,5463.
- Fiabilité conditionnelle : En conditionnant sur les résultats réussis du Point Game (c'est-à-dire lorsque le modèle prête attention à l'objet correct), la méthode produit des gains de précision substantiels (par exemple, CLIP sur ImageNet-S est passé de 0,7093 à 0,8377), indiquant qu'une évidence correcte mène à des prédictions plus fiables.
- Robustesse : La méthode a démontré une robustesse supérieure contre le bruit gaussien par rapport au fine-tuning standard.
Tâches d'agents GUI :
- Appliquée à un agent basé sur un MLLM (AgentCPM-GUI) pour les décisions de clic. La méthode a amélioré la cohérence entre la « pensée » du modèle (traces de raisonnement) et la décision exécutée, renforçant la rationalité de la décision sans sacrifier la performance de la tâche.

Signification et affirmations

L'article affirme que la contrainte de l'évidence de décision à l'aide de signaux d'attribution fidèles permet d'obtenir des modèles qui sont non seulement plus interprétables, mais aussi plus robustes et efficaces. En déplaçant l'attention de « ce que » le modèle prédit vers « où » il regarde, la méthode s'attaque à la cause profonde de l'apprentissage par raccourci. Les auteurs soulignent que leur approche ne propose pas un nouveau paradigme d'alignement d'explication, mais instancie une stratégie d'alignement sélective et pratique qui exploite une attribution de haute fidélité pour améliorer la raisonnabilité causale et la fiabilité de la décision dans des contextes tant discriminatifs que génératifs. Les résultats suggèrent que les modèles entraînés avec ces contraintes sont moins susceptibles d'échouer de manière imprévisible dans des environnements critiques pour la sécurité ou interactifs.