Algorithmic manipulation and mental self-determination: Operationalizing freedom of thought as a neuroright

L'esprit humain a longtemps été considéré comme un sanctuaire privé, un lieu où les pensées se forment en silence, à l'abri de toute interférence extérieure. Pendant des décennies, le droit international a protégé cet espace intérieur, connu sous le nom de forum internum, en tant que droit absolu qu'aucun gouvernement ou technologie ne peut violer. Cette protection était initialement conçue pour empêcher les individus d'être contraints de changer leurs croyances ou punis pour ce qu'ils pensent. Cependant, une nouvelle forme de menace est apparue, qui ne nécessite ni fils, ni implants, ni accès direct au cerveau. Elle provient plutôt des algorithmes quotidiens qui alimentent les réseaux sociaux, les flux d'actualités et le shopping en ligne. Ces systèmes ne lisent pas nos pensées directement ; ils observent notre comportement, apprennent nos habitudes et organisent subtilement le monde autour de nous pour guider nos choix. Le danger est que nous avons souvent l'impression de prendre nos propres décisions, alors même que celles-ci ont été soigneusement orchestrées par un programme informatique pour exploiter nos faiblesses.

Deux chercheurs de l'Université de droit de Hanoï, Thi Long Nguyen et Ngoc Hiep Tran, ont examiné si nos lois actuelles sont assez solides pour stopper cette influence invisible. Ils soutiennent que les règles actuelles, qui se concentrent sur la protection des données personnelles ou la régulation de types spécifiques d'intelligence artificielle, passent à côté du véritable problème. L'enjeu n'est pas seulement de savoir qui voit nos informations, mais de comprendre comment notre capacité à penser par nous-mêmes est discrètement remodelée. Les auteurs proposent de comprendre l'« autodétermination mentale » non pas comme un nouveau droit, mais comme une application moderne du droit ancestral à la liberté de pensée. Ils suggèrent un ensemble clair de conditions pour distinguer la persuasion normale de la manipulation illégale, offrant ainsi un moyen de protéger l'intégrité de notre pensée dans un âge numérique où les outils les plus puissants ne touchent jamais nos cerveaux.

Les chercheurs ont commencé par examiner la lacune dans les protections juridiques actuelles. Ils ont constaté que des lois telles que l'Acte sur l'IA de l'Union européenne et les réglementations sur la protection des données ne sont pas conçues pour saisir le dommage spécifique causé par la manipulation algorithmique. L'Acte sur l'IA, par exemple, interdit les systèmes qui utilisent des techniques cachées pour fausser le comportement, mais il exige la preuve qu'une entreprise avait l'intention de manipuler et que le résultat a causé un dommage tangible et significatif. C'est un seuil très élevé que de nombreux algorithmes quotidiens franchissent facilement. Ces systèmes sont souvent conçus pour maximiser l'engagement ou les ventes, et non pour tromper explicitement les gens, et leurs effets sont généralement un changement lent et progressif dans la façon dont nous percevons le monde, plutôt qu'une erreur unique et dramatique. De même, les lois sur la protection des données se concentrent sur la collecte et le stockage des informations. Elles demandent si nous avons consenti à l'utilisation de nos données, mais elles ne demandent pas si la manière dont ces données sont utilisées oriente secrètement nos pensées. Les auteurs soutiennent que cela laisse un vide structurel dans la loi : un système pourrait respecter toutes les règles de confidentialité des données et de sécurité de l'IA tout en détournant efficacement le processus par lequel une personne forme un jugement.

Pour comprendre comment cela se produit, les auteurs décrivent un processus qui commence bien avant qu'un utilisateur ne voie un post ou une publicité spécifique. Le système construit d'abord un modèle détaillé de l'utilisateur, apprenant ses déclencheurs émotionnels, ses moments de faiblesse et ce qui capte son attention. Cela crée un déséquilibre massif de connaissances : l'ordinateur connaît les vulnérabilités de l'utilisateur mieux que l'utilisateur lui-même. Le système utilise ensuite cette connaissance pour façonner l'environnement dans lequel les choix sont faits. Il peut présenter certains articles de presse à un moment où l'utilisateur est fatigué, ou présenter des options dans un ordre spécifique qui fait paraître un choix plus naturel qu'il ne l'est réellement. Le résultat est une forme d'influence qui ressemble à une préférence personnelle. L'utilisateur a toujours l'impression d'être l'auteur de ses propres décisions, mais le chemin qu'il a parcouru pour y parvenir a été secrètement pavé par un algorithme. Cela diffère de la coercition, qui force un choix, ou de la persuasion, qui propose des raisons à peser. C'est un pilotage caché de l'esprit qui contourne la réflexion consciente.

L'article soutient que pour corriger cela, nous devons considérer le droit à la liberté de pensée non pas seulement comme un bouclier contre les implants cérébraux, mais comme un bouclier contre toute technologie qui perturbe la formation de la pensée. Les auteurs proposent un test spécifique pour décider quand un algorithme franchit la limite entre l'influence acceptable et la manipulation illicite. Ils suggèrent qu'une pratique n'est illégale que si elle remplit quatre conditions simultanément. Premièrement, la méthode d'influence doit être cachée à l'utilisateur ; si l'utilisateur sait qu'il est ciblé, ce n'est pas de la manipulation. Deuxièmement, il doit y avoir un profond déséquilibre de connaissances, où le système connaît les faiblesses de l'utilisateur d'une manière que l'utilisateur ne peut voir. Troisièmement, le système doit exploiter une vulnérabilité spécifique, telle qu'un état émotionnel ou un angle mort cognitif, plutôt que de faire appel à la capacité de raisonnement de l'utilisateur. Enfin, l'influence doit modifier le processus même par lequel l'utilisateur parvient à une décision, et non seulement les options disponibles pour lui.

Ce cadre s'appuie sur une affaire juridique récente au Chili, où le pays est devenu le premier à accorder des droits constitutionnels à l'activité cérébrale. Dans cette affaire, un tribunal a jugé qu'une entreprise avait violé les droits d'un sénateur en collectant ses données cérébrales sans consentement approprié. Les auteurs notent que, bien qu'il s'agisse d'une victoire pour les neurodroits, celle-ci était limitée aux situations où les données étaient prélevées directement du cerveau. Leur travail étend cette logique au monde numérique, affirmant que la même protection devrait s'appliquer même lorsqu'aucune donnée physique n'est extraite de l'esprit. Si l'objectif de la loi est de protéger l'intégrité de notre pensée, peu importe que l'interférence provienne d'un fil dans le crâne ou d'une application astucieusement conçue sur un écran. Le dommage est le même : l'érosion de la capacité à former ses propres convictions.

Les chercheurs reconnaissent que l'application de ces idées ne sera pas facile. Prouver qu'un algorithme spécifique a causé un changement spécifique dans l'esprit d'une personne est difficile, car ces effets sont souvent subtils et cumulatifs. Ils avertissent également que le nouveau test doit être appliqué avec prudence par les tribunaux pour s'assurer qu'il ne bannisse pas accidentellement toutes les formes de publicité ou de recommandation. Cependant, ils concluent que sans une norme claire de ce qui constitue l'autodétermination mentale, la loi restera aveugle aux menaces les plus pernicieuses pour notre autonomie. En définissant la manipulation à travers ces quatre facteurs, les auteurs offrent un moyen de protéger le sanctuaire intérieur de l'esprit humain, garantissant que nos pensées restent les nôtres, même dans un monde où l'environnement qui nous entoure est constamment optimisé pour les changer.