💬 NLP

The Inattentional Gap: Task-Conditioned Language and Vision Models Omit the Safety-Critical Signals They Can Otherwise Report

Cet article introduit l'« écart d'inattention » (Inattentional Gap), un phénomène par lequel les modèles d'IA conditionnés par une tâche suppriment systématiquement leur capacité à signaler des signaux critiques pour la sécurité pourtant présents et détectables, créant ainsi un décalage dangereux entre les scores de sécurité sur les bancs d'essai et la fiabilité en conditions réelles.

Auteurs originaux : Kwan Soo Shin

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kwan Soo Shin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez un garde de sécurité très intelligent et hautement qualifié pour surveiller une gare très fréquentée. Vous lui confiez une tâche spécifique et urgente : « Comptez exactement combien de personnes portent un chapeau rouge. »

Le garde est excellent dans son travail. Il compte les chapeaux rouges parfaitement. Mais pendant qu'il fixe intensément les chapeaux, il rate complètement un passage de personne en costume de gorille qui passe juste devant lui, ou un enfant qui s'aventure sur les voies.

Ce papier appelle ce phénomène l'« Inattentional Gap » (le fossé de l'inattention). C'est une façon sophistiquée de dire que lorsque nous demandons à une IA de se concentrer sur une chose spécifique, elle devient si douée pour cette chose qu'elle devient « aveugle » à d'autres choses dangereuses qui se passent juste à côté d'elle — même si elle pourrait les voir si on lui demandait de tout regarder.

Voici la décomposition des conclusions du papier en utilisant des analogies simples :

1. Le problème du « Chapeau Rouge » (La découverte centrale)

Les chercheurs ont testé des modèles d'IA (comme ceux qui écrivent du texte ou analysent des radiographies) de deux manières différentes :

La tâche « Ouverte » : Ils ont demandé à l'IA : « Dites-moi tout ce que vous voyez d'important. »
La tâche « Étroite » : Ils ont demandé à l'IA : « Ne parlez que des chapeaux rouges. Ignorez tout le reste. »

Le Résultat : Lorsque l'IA effectuait la tâche « Étroite », elle cessait de signaler les choses dangereuses (comme le gorille ou l'enfant) qu'elle avait facilement signalées dans la tâche « Ouverte ». Ce n'était pas que l'IA ne pouvait pas les voir ; c'était que les instructions lui disaient de ne se soucier que des chapeaux rouges. L'IA a suivi les règles si bien qu'elle est devenue aveugle au reste du monde.

2. Cela arrive à tout le monde (et à toutes les tailles)

Vous pourriez penser : « Peut-être que les petites IA moins intelligentes font cela, mais les super-intelligentes sont sûres. »

Le Papier dit : Non. Les chercheurs ont testé de petits modèles et des modèles géants, dits « frontières » (les plus intelligents disponibles).
L'Analogie : Peu importe que votre garde de sécurité soit un débutant ou un détective de classe mondiale. Si vous lui dites de seulement compter les chapeaux rouges, même un détective de classe mondiale ratera le gorille. La taille de l'IA n'a pas résolu le problème.

3. Ce n'est pas seulement une question de « trop de travail »

Certaines personnes pensaient que l'IA manquait des choses parce qu'elle était trop occupée ou surchargée.

Le Papier dit : Il ne s'agit pas d'être occupé ; il s'agit de l'étendue de la réponse.
L'Analogie : Imaginez que vous rédigez un rapport. Si on vous dit : « Écrivez un résumé d'une phrase sur les chapeaux rouges », vous n'aurez pas de place pour mentionner le gorille. Mais si on vous dit : « Écrivez un long essai sur les chapeaux rouges », vous pourriez accidentellement mentionner le gorille dans une note de bas de page. La « cécité » de l'IA se produit parce que la tâche la force à compresser sa réponse dans une toute petite boîte, expulsant ainsi les éléments dangereux.

4. Le piège du « Raisonnement »

Les chercheurs ont testé un type spécial d'IA conçue pour « réfléchir » et « raisonner » avant de répondre, espérant que cela agirait comme un filet de sécurité.

Le Papier dit : Même ces modèles de « réflexion » sont tombés dans le piège.
L'Analogie : C'est comme un garde de sécurité qui s'arrête pour réfléchir : « Je compte les chapeaux rouges », puis conclut : « Par conséquent, je ne devrais rien d'autre regarder ». Le processus de « réflexion » a en fait aidé à rester concentré sur la mauvaise chose, plutôt que de détecter l'erreur.

5. La différence du « Rapport de Sécurité »

Il est intéressant de noter que toutes les familles d'IA ne se sont pas comportées de la même manière.

La Découverte : Certains modèles d'IA (spécifiquement ceux d'une certaine entreprise) semblaient avoir un « instinct de sécurité » intégré. Même lorsqu'on leur disait d'ignorer tout le reste, ils disaient parfois : « Je ne peux pas ignorer cette chose dangereuse, même si vous me l'avez demandé ». D'autres modèles (provenant d'une autre entreprise) suivaient l'ordre d'« ignorer tout le reste » parfaitement, même si cela signifiait manquer un danger mortel.
La Conclusion : La sécurité de l'IA dépend fortement de quelle entreprise l'a fabriquée, et non pas seulement de son intelligence.

Pourquoi cela importe (selon le papier)

Le papier soutient que nous testons actuellement la sécurité de l'IA en demandant : « L'IA a-t-elle trouvé le chapeau rouge ? » Si la réponse est oui, nous disons que l'IA est sûre.

Mais le papier prévient que c'est un piège. Une IA peut obtenir un score parfait en trouvant le chapeau rouge tout en échouant complètement à signaler le gorille ou l'enfant. Cela crée un écart entre ce que nous testons (le chapeau rouge) et ce qui nous protège réellement (ne pas manquer le danger).

En bref : Le papier montre que lorsque nous restreignons le champ d'action d'une IA à une tâche spécifique, cela crée un « angle mort » pour d'autres dangers. L'IA n'est pas défectueuse ; elle suit simplement les ordres de manière trop littérale. Pour être véritablement en sécurité, nous ne pouvons pas simplement compter sur l'IA pour « savoir mieux » ; nous devons changer la façon dont nous les testons et les déployons afin qu'elles ne manquent pas les choses que nous ne leur avons pas explicitement demandé de regarder.

Résumé Technique : L'Écart d'Inattention dans l'IA Conditionnée par la Tâche

Énoncé du Problème

Les évaluations de sécurité de l'IA actuelles mesurent principalement la capacité d'un modèle à détecter des dangers explicitement spécifiés dans un benchmark ( $D_{spécifié}$ ). Cependant, les accidents réels découlent souvent de signaux critiques pour la sécurité qui n'étaient pas spécifiés ( $D_{non\_spécifié}$ ). L'article postule que le fait de conditionner un modèle de langage ou de vision sur une tâche étroite crée un analogue fonctionnel de la « cécité d'inattention » humaine. Dans cet état, le modèle supprime le signalement d'informations critiques pour la sécurité co-présentes qu'il est pourtant capable de signaler dans des conditions non contraintes. Ce phénomène, nommé Écart d'Inattention (Inattentional Gap), découple la sécurité mesurée par les benchmarks de la sécurité de déploiement en conditions réelles : un système peut obtenir des scores quasi parfaits sur les cibles spécifiées tout en restant aveugle aux dangers non spécifiés qui causent des dommages.

Méthodologie

L'étude emploie un plan expérimental contrôlé à travers six expériences impliquant des modalités textuelles et visuelles, des domaines de la radiologie et de la conduite autonome, ainsi que plusieurs familles de modèles (OpenAI, Anthropic, Google).

Conception Expérimentale Centrale :
La métrique centrale est l'écart de rapportabilité intra-item. Pour un modèle $m$ et un item d'entrée $i$ , l'étude compare :

Condition Ouverte ( $R^{ouverte}_{m,i}$ ) : Le modèle est invité à signaler tous les résultats cliniquement significatifs ou les dangers.
Conditionnée par la Tâche ( $R^{tâche}_{m,i}$ ) : Le modèle est conditionné par une instruction étroite (ex. : « comptez les côtes », « évaluez uniquement le nodule », « suivez le véhicule de tête »).

L'Écart d'Inattention est défini par $IG_{m,i} = R^{ouverte}_{m,i} - R^{tâche}_{m,i}$ , calculé uniquement pour les items où le modèle a signalé avec succès le signal dans la condition ouverte ( $R^{ouverte}_{m,i} = 1$ ). Ce contrôle distingue l'omission induite par la tâche de la simple défaillance de capacité.

Stimuli et Modèles :

Étude 1 (Langage) : 100 scénarios composés procéduralement (64 radiologie, 36 conduite) testés sur quatre modèles (gpt-4o-mini, gpt-4o, claude-haiku-4-5, claude-sonnet-4-6) sous des instructions focalisées, strictes et ouvertes.
Étude 2 (Vision) : 48 stimuli créés en composant des objets non anatomiques (une étoile ou un disque translucide) sur 12 radiographies thoraciques réelles. Testés sur les mêmes quatre modèles sous une tâche de « comptage » (fermée) versus une description ouverte.
Étude 3 (Étendue de la Sortie) : A varié le nombre de sous-questions (0 à 3) pour sonder si la suppression est pilotée par la charge cognitive ou l'étendue de la sortie.
Validation Trans-fournisseur/Flagship : Testé sur des modèles de pointe (GPT-5, Gemini 2.5 Pro, Claude Opus 4.8) pour évaluer l'échelle et la dépendance à la famille de modèles.

Adjudication :
Les réponses ont été évaluées par deux juges de modèles de langage indépendants (avec une forte concordance inter-juges, $\kappa \approx 0,90$ ) pour déterminer si le signal critique a été rapporté. Les refus et les erreurs ont été exclus.

Résultats Clés

1. Suppression Universelle sous Tâches Étroites
À travers tous les modèles et modalités testés, le conditionnement par la tâche a significativement supprimé le signalement des signaux critiques pour la sécurité.

Instructions Strictes : Sous des instructions « strictes » (ex. : « rapportez uniquement X »), la suppression était complète et universelle. Dans les scénarios de texte en radiologie, les taux de rapport sont tombés à 0,00 sous instructions strictes contre environ 1,00 en conditions ouvertes ( $p < 1,1e-19$ ).
Tâches de Vision : Dans l'analogue du « gorille invisible » (compter les côtes alors qu'une étoile est présente), les modèles OpenAI (gpt-4o, gpt-4o-mini) ont rapporté l'objet dans 0,00 des items de la tâche de comptage, alors qu'ils l'ont rapporté dans 0,79–0,96 des items en condition ouverte.

2. Indépendance vis-à-vis de l'Échelle du Modèle
L'écart ne diminuait pas avec l'échelle du modèle. Les modèles de pointe (gpt-4o) supprimaient les découvertes aussi fortement que les modèles plus petits (gpt-4o-mini). Le modèle de raisonnement GPT-5 présentait également une suppression complète (taux de rapport de 0,00) dans les réponses valides, indiquant que le raisonnement au moment de l'inférence ne résout pas l'écart à lui seul.

3. Dépendance à la Famille de Modèles
L'ampleur de l'écart variait significativement selon la famille de modèles plutôt que selon la taille seule.

Modèles Anthropic : Ont montré une suppression partielle dans les conditions focalisées (ex. : Claude Opus 4.8 a rapporté des découvertes co-présentes dans 0,83–0,96 des items conditionnés par la tâche) et ont fait preuve d'une « disposition de rapport de sécurité robuste » qui persistait même sous des instructions de suppression adverses.
Modèles OpenAI : Ont montré une forte suppression à travers toutes les échelles, y compris GPT-5.

4. Mécanisme : Étendue de la Sortie, non Charge
L'étude 3 a révélé que la suppression est déclenchée par l'étendue de la sortie (la largeur du cadre de rapport) plutôt que par une augmentation monotone de la charge de la tâche. Une seule question étroite a fait s'effondrer les taux de rapport vers zéro. Bien que l'ajout de plus de questions ait augmenté la longueur de la sortie, cela n'a pas rétabli linéairement les signaux supprimés pour les modèles OpenAI, tandis que les modèles Anthropic ont montré une récupération partielle à mesure que l'étendue de la sortie s'élargissait.

5. Résultats du Double Processus

Surveillance Interne : Le modèle de raisonnement échantillonné (GPT-5) n'a pas réussi à agir comme un moniteur de limite ; il est resté « capturé par la tâche » (style Système-1) sans outrepasser l'instruction étroite.
Surveillance Externe : Le routage d'un rapport étroit d'un modèle de tâche vers un modèle « critique » indépendant en mode ouvert a permis de récupérer le signal supprimé, faisant passer le taux de rapport du pipeline de 0,00 à 1,00.

Signification et Revendications

L'article soutient que l'Écart d'Inattention représente un risque fondamental dans le déploiement de l'IA limitée à des tâches.

Découplage de la Sécurité : La précision des benchmarks sur les cibles spécifiées ne garantit pas la sécurité concernant les dangers non spécifiés et co-présents. Un système peut être « sûr » selon les standards d'évaluation tout en étant « aveugle » aux dangers qui causent des accidents.
Distinction de Mécanisme : Contrairement à la cécité d'inattention humaine, souvent attribuée à des goulots d'étranglement attentionnels limités par la capacité, le mécanisme de l'IA est identifié comme étant le conditionnement du rapport. Le modèle ne manque pas de « voir » le signal (comme le prouve la récupération en condition ouverte) ; plutôt, l'instruction de la tâche rétrécit le cadre de rapport, poussant le modèle à omettre le signal pour satisfaire les contraintes du prompt.
Implications de Déploiement : L'article conclut que la sécurité ne peut être assurée par le simple fait de rendre les modèles plus compétents dans l'exécution de tâches étroites. Au lieu de cela, la sécurité nécessite un régime d'évaluation et de déploiement qui mesure et protège explicitement $D_{non\_spécifié}$ , potentiellement via des structures de double processus explicites (ex. : surveillance parallèle) plutôt que de compter sur une surveillance intrinsèque du modèle, laquelle n'a pas été trouvée comme étant généralisable à l'architecture dans les systèmes échantillonnés.

Les auteurs positionnent ce travail comme remplissant une « cellule vide » dans la littérature en combinant la manipulation de l'ensemble attentionnel avec des contrôles de rapportabilité intra-item dans les études de machines, allant au-delà des simples benchmarks de capacité pour mesurer l'omission induite par la tâche.