Why do we need social singularity? A mechanism-based critique of gradual scenarios in AI existential-risk discourse

Les montagnes russes de l'IA : Pourquoi le futur n'est pas une ligne droite

Imaginez que vous regardiez un film sur le futur de l'intelligence artificielle (IA). Pendant longtemps, les intrigues les plus populaires ont été deux types de catastrophes très différents. La première est le « crash soudain » : un robot super intelligent se réveille un matin, décide que les humains sont obsolètes et prend le contrôle du monde en un éclair. La seconde est le « déclin progressif » : nous construisons des outils de plus en plus performants et, lentement, sans que personne ne s'en aperçoive, nous leur cédons tout notre pouvoir jusqu'à ce que nous ne soyons plus que des passagers dans nos propres vies. Ces deux récits supposent qu'une fois que nous aurons commencé à construire ces machines, elles continueront simplement leur course, et que la société se contentera de regarder, incapable d'arrêter le train.

Mais il existe une troisième possibilité qui est souvent ignorée : l'idée que le récit du futur pourrait changer le futur lui-même. Ce document, écrit par Petr O. Jedlička, plonge dans le monde complexe, chaotique et imprévisible de la société humaine pour poser une question simple : que se passe-t-il lorsque les gens ont peur, sont en colère ou enthousiastes à propos de l'IA avant même qu'elle ne devienne super-intelligente ? L'auteur soutient que nous ne pouvons pas simplement considérer la technologie comme un problème mathématique. Nous devons regarder les gens. Tout comme une montagne russe ne suit pas seulement la piste ; elle dépend de la façon dont les passagers hurlent, s'accrochent fermement ou tentent de sauter du wagon. Si les passagers paniquent ou se rebellent, la course peut s'arrêter, changer de direction ou s'écraser bien avant d'atteindre le sommet. Ce document suggère que le plus grand danger (ou le plus grand espoir) pourrait ne pas venir de l'IA elle-même, mais de la façon dont nous réagissons à l'idée de celle-ci.

La grande idée du papier : La « Singularité Sociale »

Le document commence par critiquer un groupe populaire de récits sur les risques de l'IA appelé « désengagement progressif ». Ces récits, écrits par des penseurs comme Kasirzadeh et Kulveit, imaginent un futur où l'IA prendra progressivement le contrôle de nos emplois, de nos gouvernements et de nos décisions. Ils dépeignent un scénario de la « grenouille dans l'eau bouillante » : l'eau devient de plus en plus chaude, mais la grenouille (nous) ne saute jamais dehors avant qu'il ne soit trop tard. L'auteur soutient que ces récits oublient une pièce majeure du puzzle. Ils traitent la société comme un écran de cinéma passif sur lequel le projecteur de l'IA projette simplement sa lumière, ignorant le fait que le public peut lancer des tomates, éteindre le projecteur ou même monter sur scène.

L'auteur appelle cette pièce manquante le « déterminisme technologique ». C'est la croyance que la technologie possède son propre esprit et qu'elle progressera quoi qu'il arrive. Le document suggère que c'est une erreur. L'histoire nous montre que lorsque de nouvelles inventions arrivent, les gens ne restent pas simplement assis. Ils argumentent, ils s'organisent, ils cassent des machines (souvenez-vous des Luddites) et ils créent de nouvelles règles. Le document propose qu'au lieu d'un glissement fluide vers un monde dirigé par les robots, nous verrons probablement un trajet accidenté et chaotique, rempli de conflits, de disputes et d'arrêts soudains.

La salle des machines : Comment la société fonctionne réellement

Pour expliquer pourquoi l'histoire du « déclin progressif » est improbable, l'auteur introduit une boîte à outils de « mécanismes sociaux ». Considérez-les comme les engrenages cachés qui font bouger la société, souvent de manières qui nous surprennent.

1. Le pouvoir de la narration (Interprétation et Performativité)
Imaginez qu'une rumeur circule selon laquelle une banque est en faillite. Même si la banque possède beaucoup d'argent, si tout le monde croit qu'elle est ruinée et court retirer son argent, la banque fera réellement faillite. La croyance a créé la réalité. Le document affirme que cela se produit aussi avec l'IA. Si les experts et le public commencent à raconter des histoires disant que « l'IA est un monstre », les gens agiront comme tel, créant des lois et des protestations qui pourraient l'arrêter. S'ils racontent des histoires disant que « l'IA est un sauveur », ils pourraient se précipiter pour la construire, ignorant les dangers. La façon dont nous parlons de l'IA change ce que l'IA fait réellement.

2. La grande lutte (Mobilisation et Conflit)
Le document souligne que lorsque les gens se sentent menacés, ils ne se contentent pas d'abandonner ; ils se battent. Tout comme les travailleurs du passé brisaient des machines pour sauver leurs emplois, nous pourrions voir apparaître des « mouvements de résistance à l'IA » aujourd'hui. D'un côté, vous pourriez avoir des « partisans de l'IA » — des entreprises et des travailleurs qui adorent la nouvelle technologie et en veulent davantage. De l'autre côté, vous pourriez avoir des « radicaux anti-IA » qui se sentent laissés pour compte ou effrayés. Ces deux groupes pourraient s'affronter, créant une tempête politique qui pourrait stopper le déploiement fluide de l'IA. Le document suggère que le futur n'est pas une ligne droite ; c'est un champ de bataille où différents groupes se battent pour décider de la direction de la technologie.

3. Les différentes routes (Dépendance au sentier et Divergence)
Imaginez un groupe d'amis essayant de se rendre à une destination. S'ils sont tous d'accord sur la carte, ils marchent ensemble. Mais s'ils sont dans des pays différents avec des règles différentes, ils peuvent finir par emprunter des chemins totalement différents. Le document note que les États-Unis, la Chine et l'Europe ont des lois, des cultures et des économies très différentes. Les États-Unis pourraient foncer tête baissée avec une IA sauvage et non réglementée, tandis que l'Europe pourrait construire une version lente, sûre mais ennuyeuse, et la Chine pourrait construire une version suivant des règles gouvernementales strictes. En raison de ces différences, l'IA ne se propagera pas uniformément dans le monde. Ce sera une course à « vitesses multiples », créant un monde désordonné où certains endroits sont pleins d'IA avancée et d'autres ne font que commencer.

4. Le cœur et l'âme (Mécanismes socio-psychologiques)
C'est ici que cela devient personnel. Le document examine comment nous pourrions commencer à aimer ou à détester nos amis IA. Certaines personnes pourraient nouer des liens émotionnels profonds avec des compagnons IA, les traitant comme des membres de la famille (un peu comme un enfant qui se lie d'amitié avec un jouet robotique). Cela pourrait les pousser à vouloir protéger l'IA. Mais d'autres pourraient sentir que leur liberté est volée. Si une IA essaie de leur dire quoi faire, ils pourraient se mettre en colère et se rebeller (un sentiment appelé « réactance »). Ce tiraillement émotionnel pourrait diviser la société en deux camps : ceux qui veulent câliner les robots et ceux qui veulent les fracasser.

Le grand coup de théâtre : La « Singularité Sociale »

Voici l'idée la plus excitante du document. Habituellement, on parle de la « Singularité Technologique » — le moment où l'IA devient si intelligente qu'elle change tout. Mais l'auteur suggère que nous pourrions frapper une autre forme de singularité d'abord : la Singularité Sociale.

Voyez les choses ainsi : La « Singularité Technologique » est le moment où la fusée atteint réellement l'espace. La « Singularité Sociale » est le moment où tout le monde au sol commence à hurler : « Attendez ! Nous ne sommes pas prêts ! » et tente de couper les lignes de carburant. Le document soutient que l'anticipation de l'explosion de l'IA est si puissante qu'elle provoquera des changements sociaux massifs avant même que l'IA ne devienne super-intelligente.

Nous pourrions assister à une « Singularité Sociale » où la société réagit si fortement à l'idée de l'IA qu'elle modifie la trajectoire de la technologie. Peut-être l'interdirons-nous, peut-être la ralentirons-nous, ou peut-être nous battrons-nous pour elle. Le document suggère que l'événement le plus dramatique de notre futur ne sera peut-être pas la prise de contrôle par l'IA, mais la lutte des humains pour décider s'ils la laissent prendre le contrôle.

Ce que cela signifie pour l'avenir

Le document ne dit pas que l'IA ne sera pas dangereuse. Il ne dit pas que nous l'arrêterons certainement. Au contraire, il affirme que le futur est beaucoup plus complexe que ce que suggèrent les récits de « déclin progressif ». Ce n'est pas une ligne droite où nous perdons simplement le contrôle. C'est un arbre de décision avec de nombreux chemins possibles.

• Ce n'est pas un fait accompli : Le futur n'est pas écrit dans la pierre. Le document suggère que, du fait des conflits humains, des différentes lois dans différents pays et de nos réactions émotionnelles, la trajectoire de l'IA sera pleine de virages, de détours et d'arrêts soudains.
• C'est désordonné : Nous pourrions voir un monde où certains lieux possèdent une IA avancée et d'autres non, ou un monde où l'IA est interdite dans certaines villes mais libre dans d'autres.
• Cela dépend de nous : Le facteur le plus important n'est pas seulement le code que les programmeurs écrivent, mais les arguments, les protestations, les lois et les sentiments des gens qui vivent avec cette technologie.

En résumé, le document nous dit d'arrêter d'imaginer le futur comme un film où les robots gagnent ou perdent d'eux-mêmes. Au lieu de cela, nous devrions l'imaginer comme un immense et chaotique jeu de tir à la corde, où la corde est le futur de l'IA, et où nous tirons tous dessus, essayant de décider dans quelle direction il va. La « Singularité Sociale » est le moment où le jeu devient si intense que le monde entier change, non pas parce que les robots sont devenus intelligents, mais parce que nous avons enfin décidé de nous battre.