Studying People to Study AI: Expert Perspectives on the Epistemic Fit and Barriers of Human Research in AI Safety & Ethics

Imaginez que vous essayez de construire un robot capable de parler, de réfléchir et d'aider les gens. Vous voulez vous assurer que ce robot est sûr et qu'il ne blessera pas accidentellement quelqu'un ou ne dira pas quelque chose de méchant. Pour ce faire, des scientifiques mènent des tests. Mais voici la partie délicate : la plupart de ces tests sont comme jouer à un jeu vidéo où le robot parle à un autre robot. Ils simulent la façon dont un humain pourrait réagir, ou utilisent les mathématiques pour vérifier si le robot suit les règles. C'est rapide, peu coûteux et facile de lancer un million de ces « jeux de robot contre robot » en une journée.

Cependant, il y a un gros problème avec le fait de ne faire que des jeux vidéo. Le fait qu'un robot réussisse un test contre un autre robot ne signifie pas qu'il sera sûr lorsqu'il rencontrera un être humain réel, complexe et émotionnel. Les vrais humains sont compliqués. Ils se confondent, ressentent des émotions et peuvent piéger le robot d'une manière qu'une simulation ne pourrait jamais prévoir. Cette publication pose une question simple mais immense : pourquoi tant de scientifiques continuent-ils de jouer à des jeux vidéo avec des robots au lieu de parler réellement à de vraies personnes pour voir ce qui se passe ?

---

Le grand test du robot : Pourquoi nous avons besoin de vraies personnes, pas seulement de simulations

Ce document est comme une enquête policière sur un étrange fossé dans le monde de la sécurité de l'IA. Les chercheurs, une équipe d'experts provenant d'universités comme l'Université de Toronto et McGill, voulaient comprendre pourquoi le domaine de la Sécurité et de l'Éthique de l'IA (appelons cela l'IASE pour faire court) hésite autant à utiliser de véritables êtres humains dans ses expériences.

Voyez l'IASE comme un immense atelier où des gens essaient de construire les robots les plus sûrs et les plus éthiques possibles. À l'intérieur de cet atelier, il y a différents groupes d'experts. Certains sont des sorciers Techniques qui adorent le code, les mathématiques et l'exécution de simulations. D'autres sont des détectives Sociotechniques qui se soucient de la façon dont les gens ressentent et interagissent réellement avec la technologie. Il y a aussi des gens de la Gouvernance qui réfléchissent aux règles et aux lois, et des penseurs Normatifs qui s'inquiètent de ce qui est « juste » ou « bon ».

La découverte principale de l'article est que, bien que tout le monde dans l'atelier soit d'accord sur le fait que parler à de vrais humains est super important, le groupe Technique l'ignore principalement. Ils préfèrent leurs simulations informatiques rapides et propres. Les auteurs ont découvert que ce n'est pas seulement parce que le groupe Technique privilégie l'efficacité ; c'est parce qu'ils ont une conception différente de ce qui constitue une « preuve ».

Le « Jeu Vidéo » contre le « Monde Réel »

Les auteurs décrivent un fossé majeur. Les chercheurs techniques traitent souvent les humains comme des variables dans une équation mathématique. Ils veulent mesurer les choses avec une règle et un chronomètre. S'ils ne peuvent pas mesurer quelque chose parfaitement, ils ne lui font souvent pas confiance. Ils craignent que parler à de vraies personnes ne soit « désordonné ».

Imaginez que vous essayiez de tester un nouveau pont.

• L'approche par simulation : Vous construisez un modèle numérique parfait du pont sur un ordinateur. Vous soumettez le modèle à un million de tempêtes de vent. L'ordinateur dit : « C'est 100 % sûr ! » C'est rapide et peu coûteux.
• L'approche par recherche humaine : Vous construisez réellement le pont et demandez à de vraies personnes de le traverser. Peut-être que quelques personnes ont peur, peut-être que le vent semble différent de ce que l'ordinateur avait prédit, et peut-être que le pont oscille d'une manière que le modèle n'avait pas prévue.

L'article suggère que l'IASE est actuellement obsédée par le modèle informatique. Ils lancent des milliards de simulations (comme les « jeux vidéo » mentionnés plus haut) pour voir si l'IA est sûre. Mais les auteurs soutiennent que c'est risqué. Si vous ne testez votre pont que sur un ordinateur, vous pourriez manquer le fait que les vraies personnes paniquent quand le vent souffle, ou que le pont fait un bruit bizarre qui les effraie.

Le piège du « Human-Washing »

L'une des choses les plus intéressantes que l'article met en garde est ce que les auteurs appellent le « human-washing » (ou blanchiment humain). C'est comme le « green-washing », où une entreprise met une feuille sur une bouteille pour la faire paraître écologique sans l'être réellement.

Le « human-washing » se produit lorsque des chercheurs disent : « Hé, nous avons parlé à quelques personnes ! » juste pour cocher une case. Mais ils ne les ont pas vraiment écoutées, ou n'ont pas posé les bonnes questions. Ils ont simplement ajouté quelques humains à leur étude pour faire croire qu'ils faisaient de la vraie recherche, mais ils n'ont pas réellement changé leurs méthodes. Les auteurs disent que c'est dangereux car cela donne un faux sentiment de sécurité. C'est comme mettre un extincteur de façade sur un mur ; on a l'air d'être préparé, mais si un incendie se déclare, il ne fonctionnera pas.

Les barrières : Pourquoi ne le font-ils pas, tout simplement ?

Vous pourriez vous demander : « Si tout le monde est d'accord sur le fait que la recherche humaine est bonne, pourquoi n'en font-ils pas plus ? » L'article a identé trois grands murs qui les arrêtent :

1. Le mur de l'argent et du temps : Parler à de vrais humains est coûteux et lent. Les auteurs notent qu'une simulation informatique peut coûter moins de 1 000 $. Mais une étude sérieuse avec de vraies personnes ? Cela peut coûter 300 000 $ ou plus. De plus, cela prend des mois pour trouver les bonnes personnes, obtenir l'autorisation des comités d'éthique et mener les tests. C'est comme la différence entre dessiner un gâteau et réellement cuisiner un énorme gâteau pour une fête.
2. Le mur du mentorat : Beaucoup de jeunes chercheurs veulent étudier les humains, mais leurs patrons (mentors) leur disent de ne pas le faire. L'article partage des histoires d'étudiants dont les conseillers ont dit : « Ne faites pas ça, ce n'est pas de la « vraie » science », ou « Contentez-vous de rester sur le code ». Cela rend les jeunes scientifiques réticents à essayer la recherche humaine car ils craignent que cela ne nuise à leur carrière.
3. Le mur des « données désordonnées » : Les chercheurs techniques trouvent souvent les données humaines frustrantes. Les humains ne répondent pas toujours aux questions de la même manière. Ils mentent, ils se fatiguent ou disent des choses bizarres. Pour un informaticien qui aime les nombres parfaits, cela ressemble à un bug dans le système. Mais les auteurs soutiennent que ce côté « désordonné » est en fait la partie la plus importante des données, car c'est la vie réelle.

L'écart entre le « Vouloir » et le « Faire »

Les chercheurs ont interrogé 93 experts et en ont interviewé 17 de manière approfondie. Ils ont trouvé un énorme fossé. Presque tout le monde disait vouloir faire plus de recherche humaine. Ils étaient d'accord sur sa valeur. Mais quand on regardait ce que les gens faisaient réellement, les chiffres étaient beaucoup plus bas.

C'est comme une salle de sport où tout le monde dit : « Je veux vraiment être en forme et soulever des poids », mais quand on regarde l'équipement, personne ne soulève rien. Ils se contentent de lire des livres sur les poids. Le groupe Technique était le moins enclin à soulever les poids ; ils préféraient les livres (les simulations).

Que devrions-nous faire ?

L'article ne se contente pas de pointer le problème ; il propose quelques idées pour le résoudre :

• Arrêter le « Human-Washing » : Nous devons nous assurer que lorsque nous incluons des humains, nous le faisons correctement. Nous devons respecter leur temps et écouter ce qu'ils disent, et non les utiliser comme de simples accessoires.
• Changer l'argent : Les organismes de financement (ceux qui distribuent les subventions) doivent réaliser que la recherche humaine coûte plus cher. Ils devraient allouer plus d'argent à ces projets afin qu'ils ne soient pas écrasés par le prix élevé.
• Mélanger les équipes : Nous avons besoin de plus d'équipes où les sorciers du code et les experts de l'humain travaillent ensemble dès le début. Actuellement, ils travaillent souvent dans des pièces séparées. Les auteurs suggèrent que si un chercheur technique veut construire une IA sûre, il doit parler à un chercheur sociotechnique qui comprend comment les humains se comportent réellement.

L'essentiel

Cet article suggère que le domaine de la sécurité de l'IA est actuellement trop concentré sur les modèles informatiques parfaits et pas assez sur le monde réel et complexe des êtres humains. Bien que les simulations soient utiles, elles ne peuvent remplacer la vérité qui ne provient que de la discussion avec de vraies personnes. Si nous voulons construire une IA qui soit véritablement sûre, nous devons arrêter de traiter les humains comme des variables dans une équation mathématique et commencer à les traiter comme les experts de leur propre vie.

Les auteurs ne disent pas que les simulations sont mauvaises ; ils disent que compter uniquement sur les simulations, c'est comme essayer d'apprendre à nager en lisant un livre sur l'eau. Il faut se mouiller. Et pour l'instant, la communauté de la sécurité de l'IA reste principalement au sec, en train de lire des livres, en espérant que l'eau est sûre.