Abstracted Away: Resisting Alienation and Ungrounded Abstraction in AI Research Communities

Imaginez que vous apprenez à construire un robot géant et magique dans un atelier d'école. Vos professeurs vous disent que pour rendre le robot intelligent, vous devez d'abord apprendre l'art de « l'abstraction ». Dans le monde de l'informatique, l'abstraction est comme mettre une boîte autour d'un tas de pièces en désordre et simplement l'étiqueter « moteur ». Vous n'avez pas besoin de savoir comment chaque vis fonctionne pour faire bouger le robot ; vous avez juste besoin de savoir ce qui entre et ce qui sort. C'est une astuce super utile qui aide les ingénieurs à construire des choses complexes sans être submergés. Mais voici le piège : parfois, quand nous mettons des choses dans une boîte, nous jetons accidentellement les parties les plus importantes de l'histoire. Nous pourrions ignorer le fait que le « moteur » fait un bruit bizarre seulement lorsqu'il pleut, ou qu'il se met en colère si on lui parle dans une certaine langue. Si nous ne regardons que la boîte, nous manquons la réalité de ce qui se passe à l'intérieur.

Ce document traite de ce qui arrive lorsque cette astuce de « mise en boîte » va trop loin dans le monde de la recherche en Intelligence Artificielle (IA). Les auteurs sont trois jeunes scientifiques qui avaient l'impression de ne pas être à leur place dans leur propre école. Ils ont remarqué que la façon dont les chercheurs en IA parlent de leur travail ignore souvent les sentiments, les histoires et les luttes des vraies personnes. Ils appellent ce sentiment « l'aliénation », ce qui est comme être la seule personne à une fête qui parle une langue différente, pendant que tous les autres continuent de parler par-dessus vous. Le document explore pourquoi cela arrive et suggère que la façon dont les chercheurs « nettoient » leurs données et ignorent leurs propres émotions est en réalité nuisible aux personnes que ces robots sont censés aider.

L'histoire de trois chercheurs qui se sentaient comme des étrangers

Le document est écrit par trois chercheuses en début de carrière — Vyoma, Isabel et Neha — qui étudient l'IA dans de grandes universités aux États-Unis. Elles ont décidé de raconter leur histoire non pas comme une liste aride de faits, mais comme une collection de trois scènes courtes, ou « vignettes », pour montrer comment elles se sont senties exclues de leurs propres communautés de recherche.

Scène 1 : Le problème des données « propres »
Dans leur première histoire, les auteures décrivent un cours où elles apprenaient à prédire les risques d'assurance en utilisant des dossiers médicaux. Le professeur leur a dit de « nettoyer » les données. Cela signifiait trouver toute personne dont l'historique médical semblait étrange ou ne correspondait pas au modèle moyen, et de la supprimer. Le professeur appelait ces personnes du « bruit ». Mais les auteures ont réalisé quelque chose d'effrayant : les personnes supprimées étaient souvent celles qui lutaient déjà le plus — des personnes avec des maladies rares, des handicaps ou des parcours différents. En les jetant pour rendre les mathématiques plus « propres », le cours leur apprenait à ignorer les personnes mêmes qui avaient le plus besoin d'aide. Les auteures ont eu l'impression qu'on leur demandait de supprimer des parties d'elles-mêmes pour que le robot fonctionne mieux.

Scène 2 : L'épée à double tranchant
Dans la deuxième scène, les auteures parlent de leur excitation à commencer leurs études supérieures. Elles voulaient utiliser l'IA pour faire de bonnes choses. Mais ensuite, elles ont vu des reportages montrant comment les mêmes outils d'IA qu'elles étudiaient étaient utilisés par des armées pour blesser des gens dans des zones de guerre. Elles ont essayé de parler à leurs professeurs et à leurs pairs à ce sujet, en demandant : « Devons-nous construire des outils qui peuvent être utilisés pour la violence ? » Au lieu d'avoir une conversation profonde, on leur a dit de simplement se concentrer sur le fait de rendre la technologie « plus éthique » ou « plus sûre », comme si le problème n'était qu'un petit bug à corriger. Les auteures se sont senties réduites au silence. On leur a dit que poser de grandes questions sur la raison pour laquelle la technologie devrait exister ou non était « simpliste ». Elles ont eu l'impression d'être forcées de prétendre que les mauvaises choses n'arrivaient pas pour pouvoir garder leurs emplois et leurs notes.

Scène 3 : Trouver un espace sûr
La troisième scène est la partie pleine d'espoir. Après s'être senties seules et confuses, les auteures ont trouvé un groupe de personnes différent — un mélange d'informaticiens, d'enseignants et de sociologues — qui étaient prêts à discuter des sujets difficiles. Dans ce groupe, personne ne se précipitait. Ils prenaient le temps d'écouter. Ils n'essayaient pas de « nettoyer » les parties désordonnées de la conversation ; au contraire, ils utilisaient ces parties désordonnées pour mieux comprendre le problème. Pour la première fois, les auteures se sont senties en sécurité. Elles ont réalisé que leur sentiment d'être des étrangères n'était pas dû au fait qu'elles étaient le problème, mais parce que la façon habituelle de faire de la recherche en IA était brisée.

Ce qu'elles ont découvert : La boîte « déconnectée »

Les auteures ont réalisé que la raison pour laquelle elles se sentaient si aliénées était ce qu'elles appellent l'« abstraction déconnectée » (ou ungrounded abstraction).

Pensez à la recherche « ancrée » comme à un arbre avec des racines profondes. Les racines sont le monde réel : les gens, l'histoire, la douleur et la joie. La recherche « déconnectée » est comme un arbre qui a été coupé de ses racines et qui flotte simplement dans les airs. Il ressemble à un arbre, mais il ne peut ni boire d'eau ni ressentir le vent.

Le document soutient que la recherche en IA coupe souvent ces racines de quatre manières spécifiques :

1. Abstraction du témoignage : Quand un chercheur dit : « Hé, cela fait mal aux gens », et que la communauté répond : « Tu n'es pas un véritable expert, tu es juste émotionnel », et l'ignore.
2. Abstraction de l'objectif : Quand l'objectif d'un projet change. On commence par « aidons les gens », mais la façon de mesurer le succès devient « obtenons le score le plus élevé à un test », et on oublie entièrement les gens.
3. Abstraction de la position : Quand les données traitent tout le monde comme si tout le monde était identique, ignorant que certaines personnes ont plus de pouvoir et d'autres moins. C'est comme prétendre qu'une personne riche et une personne pauvre ont exactement les mêmes problèmes.
4. Abstraction de l'affect : C'est la plus personnelle des abstractions. C'est quand on apprend aux chercheurs à anesthésier leurs sentiments. Si vous voyez quelque chose de mal se produire, vous êtes censé ne rien ressentir pour pouvoir continuer à travailler. Les auteures disent que c'est dangereux car vos sentiments sont en fait un système d'alerte qui vous dit que quelque chose ne va pas.

La solution : Écouter son instinct et se tenir ensemble

Le document ne fait pas que se plaindre ; il propose un moyen de réparer cela. Les auteures suggèrent deux choses principales :

Premièrement, l'action collective. Vous n'avez pas à combattre le système seul. Si vous sentez que quelque chose ne va pas, trouvez d'autres personnes qui ressentent la même chose. Lorsque vous vous tenez ensemble, il est plus difficile pour le système de vous ignorer ou de vous faire sentir folle. Les auteures ont trouvé leur force dans un groupe d'amis qui parlaient ouvertement de leurs peurs.

Deuxièmement, l'ajustement affectif (affective attunement). C'est une façon sophistiquée de dire : « Écoutez vos sentiments. » Si vous vous sentez mal à l'aise, en colère ou triste à propos d'un projet, ne refoulez pas ces sentiments. Ne les « abstrayez » pas. Au lieu de cela, traitez ces sentiments comme des données importantes. Votre instinct pourrait être le premier signe que la recherche nuit à quelqu'un. En prêtant attention à vos émotions, vous pouvez arrêter la recherche « déconnectée » avant qu'elle ne cause de réels dommages.

Pourquoi cela importe

Les auteures prennent soin de dire qu'elles ne disent pas d'« arrêter de faire de l'IA ». Elles aiment la technologie. Mais elles disent que si nous continuons à construire l'IA sans regarder le monde réel, sans écouter les personnes qui souffrent et sans prêter attention à nos propres sentiments, nous allons construire des choses brisées et dangereuses.

Elles suggèrent que la façon dont nous enseignons et pratiquons la recherche doit changer. Nous devons cesser de prétendre que nous pouvons simplement « mettre dans une boîte » les parties désordonnées de la vie. Nous devons garder nos racines dans le monde réel. En faisant cela, nous pouvons créer une IA qui aide réellement tout le monde, et pas seulement les personnes qui rentrent proprement dans une boîte. Le document se termine en offrant leurs idées comme un outil pour toute personne qui se sent comme une étrangère dans le monde de la technologie, avec l'espoir qu'en partageant leur histoire, d'autres puissent trouver leur propre chemin pour se sentir en sécurité et faire une différence.