💻 computer science

AI, Digital Platforms, and the New Systemic Risk

Cet article critique les définitions restrictives du risque systémique dans la législation européenne actuelle, telles que la loi sur l'IA et le DSA, en proposant un cadre global et multiniveau inspiré de la finance et de la théorie des systèmes complexes pour mieux répondre aux menaces émergentes comme les défaillances multi-agents, les discriminations à grande échelle et les hallucinations systématiques au sein des infrastructures hybrides plateformes-IA.

Auteurs originaux : Philipp Hacker, Lilian Edwards, Atoosa Kasirzadeh

Publié 2026-05-26

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Philipp Hacker, Lilian Edwards, Atoosa Kasirzadeh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez une ville. Autrefois, si une seule maison prenait feu, c'était une tragédie pour cette famille, mais le reste de la ville continuait de fonctionner. C'est ce que nous appelions « risque individuel ». Mais aujourd'hui, notre ville est construite sur une nouvelle fondation : un vaste réseau interconnecté de plateformes numériques et d'intelligence artificielle (IA).

Ce document soutient que nous faisons face à un nouveau type de danger appelé risque systémique. Ne le voyez pas comme un incendie dans une seule maison, mais comme une situation où une petite étincelle dans une partie de la ville pourrait déclencher une réaction en chaîne, provoquant la panne de tout le réseau électrique, l'arrêt de l'approvisionnement en eau et l'effondrement de toute la ville.

Voici une décomposition des idées principales du document à l'aide d'analogies simples :

1. Les anciennes règles ne conviennent pas à la nouvelle ville

Les auteurs examinent comment nous gérions autrefois les grandes catastrophes, notamment dans le domaine financier (comme l'effondrement bancaire de 2008). Dans la finance, les régulateurs ont appris que si une grande banque fait faillite, elle peut entraîner toute l'économie dans sa chute. Ils ont établi des règles pour empêcher cela.

Aujourd'hui, l'UE a tenté d'appliquer des règles similaires à l'IA et aux plateformes numériques avec deux nouvelles lois :

Le Digital Services Act (DSA) : C'est comme un code de conduite pour les « places de la ville » (réseaux sociaux, moteurs de recherche). Il stipule : « Si votre place est immense (45 millions de personnes), vous devez surveiller les grands problèmes tels que le contenu illégal, l'ingérence électorale ou les dommages causés aux enfants. »
Le AI Act (Loi sur l'IA) : C'est un code de conduite pour les « moteurs » (les modèles d'IA eux-mêmes). Il stipule : « Si votre moteur est le plus puissant jamais construit, vous êtes dangereux et devez être réglementé. »

Le Problème : Les auteurs soutiennent que le AI Act regarde la mauvaise chose. Il suppose que seuls les « moteurs les plus avancés » (les plus grands, les plus coûteux) peuvent provoquer un effondrement à l'échelle de la ville. Ils affirment que c'est comme penser qu'une seule centrale nucléaire massive peut provoquer une panne de courant, en ignorant le fait qu'un million de petits générateurs mal entretenus pourraient également provoquer une panne du réseau s'ils tombent tous en panne en même temps.

2. Les quatre niveaux de danger

Le document crée une nouvelle carte pour comprendre comment ces défaillances numériques se propagent. Il identifie quatre niveaux où les choses peuvent mal tourner :

Niveau 1 : Le moteur unique (Risque lié à un modèle unique). Imaginez qu'un modèle d'IA spécifique soit utilisé par presque tout le monde pour le recrutement, l'octroi de prêts et la rédaction d'articles de presse. Si ce seul modèle contient un bug ou un biais, tout le monde reçoit les mêmes mauvais conseils en même temps. C'est une catastrophe de « monoculture ».
Niveau 2 : La mentalité de troupeau (Risque lié à plusieurs modèles). Imaginez des milliers d'entreprises différentes utilisant toutes des modèles d'IA entraînés sur exactement les mêmes données. Si ces données sont défectueuses, toutes ces entreprises différentes commettront exactement la même erreur simultanément. C'est comme un troupeau de voitures qui dévient toutes vers la gauche en même temps parce qu'elles ont vu le même faux panneau routier.
Niveau 3 : Le moteur dans la place (Intégration modèle-plateforme). C'est lorsqu'un moteur d'IA est branché directement sur une plateforme de médias sociaux. L'IA rédige un message, et l'algorithme de la plateforme le diffuse instantanément à des millions de personnes. Le document utilise l'exemple d'une IA générant des images nuisibles qui deviennent ensuite virales. L'IA crée le poison, et la plateforme est le camion de livraison qui le répand partout.
Niveau 4 : Le moteur dans le gouvernement (Intégration modèle-institution). C'est lorsque l'IA est utilisée pour gérer les systèmes critiques de la ville, comme les prévisions policières ou les décisions judiciaires. Si l'IA est biaisée, cela ne blesse pas seulement une personne ; cela transforme tout le système judiciaire, emprisonnant des innocents ou refusant systématiquement des prêts à des groupes entiers de personnes.

3. Tester les règles avec des exemples réels

Les auteurs testent leur nouvelle carte contre trois problèmes spécifiques pour voir si les lois actuelles les détectent :

Discrimination (Biais) :
- Loi actuelle : Le AI Act stipule que seuls les modèles « les plus avancés » sont risqués. Mais les auteurs disent que même des modèles plus anciens et plus petits peuvent discriminer des millions de personnes s'ils sont utilisés partout.
- Verdict : Les lois actuelles pourraient manquer cela car elles se concentrent trop sur la « intelligence » du modèle, plutôt que sur sa diffusion large.
Hallucinations (Mensonges) :
- Loi actuelle : Le AI Act se concentre sur les risques à « fort impact ». Mais les auteurs soulignent que les mensonges de l'IA (hallucinations) sont en réalité moins fréquents dans les modèles les plus récents et les plus avancés, mais qu'ils sont encore très courants dans les modèles légèrement plus anciens.
- Verdict : Si la loi ne réglemente que les modèles « les plus intelligents », elle pourrait ignorer les modèles qui mentent réellement le plus. Si une IA raconte un mensonge avec assurance à un million de personnes, c'est un risque systémique, même si l'IA n'est pas la « plus intelligente ».
Changement climatique (Environnement) :
- Loi actuelle : Le AI Act définit le risque comme quelque chose qui nuit au « marché de l'Union » (l'économie).
- Verdict : Les auteurs soutiennent que c'est une erreur. Brûler d'énormes quantités d'énergie pour entraîner l'IA nuit à la planète, ce qui nuit à tout le monde, pas seulement à l'économie. On ne peut pas mettre un prix sur une planète habitable. La loi actuelle se concentre trop sur l'argent et manque la catastrophe environnementale.

4. La solution : Une meilleure carte

Le document conclut que nous devons changer notre façon de penser le risque.

Arrêtez de regarder uniquement l'IA la « plus intelligente » : Le risque ne dépend pas de la puissance d'un modèle, mais de sa connectivité. Une petite IA utilisée par une banque, un hôpital et une école est plus dangereuse qu'une super-IA utilisée uniquement pour écrire des blagues.
Regardez la « Ville », pas seulement le « Moteur » : Nous devons réglementer la façon dont l'IA et les plateformes fonctionnent ensemble. Une sortie biaisée d'une IA est mauvaise, mais une sortie biaisée d'une IA amplifiée par un algorithme de médias sociaux pour atteindre des millions de personnes est une catastrophe systémique.
Prenez soin des gens, pas seulement des marchés : Les lois doivent protéger les droits fondamentaux (comme l'équité et la vérité) et l'environnement, et pas seulement la stabilité du marché boursier.

En bref : Le document soutient que nos règles actuelles sont comme essayer d'arrêter une inondation en ne vérifiant que les plus grands barrages, tout en ignorant les milliers de petites fissures dans les digues qui provoquent en réalité la montée des eaux. Nous avons besoin d'un nouveau cadre qui examine l'ensemble du système interconnecté pour empêcher la ville numérique de s'effondrer.

Résumé technique : IA, plateformes numériques et le nouveau risque systémique

Énoncé du problème
L'intelligence artificielle (IA) est de plus en plus intégrée aux infrastructures numériques, sociales et institutionnelles, fusionnant avec les plateformes pour former des structures hybrides. Cette intégration a donné naissance au « risque systémique » — un défi critique mais sous-théorisé où des défaillances localisées peuvent se propager en cascades jusqu'à provoquer des perturbations structurelles. Bien que la législation européenne récente, notamment la Loi européenne sur l'IA et le Règlement sur les services numériques (DSA), fasse référence au risque systémique, l'article soutient que ces cadres reposent sur des caractérisations étroites, ambiguës ou contradictoires. La Loi sur l'IA, en particulier, restreint le risque systémique aux « capacités à fort impact » des modèles d'IA à usage général (GPAI) les plus « avancés », souvent définis par des seuils de calcul (par exemple, $10^{25}$ opérations flottantes par seconde). Cette approche risque de négliger les risques systémiques découlant de systèmes plus petits mais profondément intégrés, de modèles non-frontières, et de préjudices qui ne se manifestent pas strictement sous forme de perturbations du marché (par exemple, discriminations à grande échelle, hallucinations et dégradation environnementale). Le DSA, bien qu'il soit plus performant pour identifier certains risques, manque d'une définition unifiée et ne parvient pas à prendre pleinement en compte l'interaction entre les modèles d'IA et les architectures de plateformes.

Méthodologie
Les auteurs emploient un cadre d'analyse multidisciplinaire s'inspirant de la finance, de la théorie des systèmes complexes et de la cybersécurité. La méthodologie se déroule en quatre étapes distinctes :

Synthèse historique et théorique : L'article examine l'évolution des définitions du risque systémique dans la réglementation financière (post-crise de 2008) et la théorie des systèmes complexes afin d'identifier les conditions minimales communes aux définitions fondamentales.
Développement d'un cadre conceptuel : Sur la base des résultats historiques, les auteurs formulent un cadre à quatre critères pour spécifier les risques systémiques liés à l'IA et aux plateformes :
- Échelle et portée : L'étendue des dommages attendus à travers le système.
- Nature du préjudice (collectif) : L'émergence de préjudices dépassant la somme des impacts individuels (défaillance structurelle).
- Irréversibilité : Le potentiel de dommages à long terme et non récupérables.
- Complexité/Imprévisibilité : La présence d'interconnexions permettant des effets en cascade et non contenus.
Taxonomie des niveaux de risque : Les auteurs catégorisent les risques systémiques en quatre niveaux de manifestation :
- Modèle unique : Défaillances résultant de l'adoption généralisée d'un modèle centralisé unique (effet de monoculture).
- Multi-modèles : Défaillances synchronisées à travers plusieurs modèles (comportement de troupeau).
- Intégration modèle-plateforme : IA intégrée dans des plateformes à grande échelle créant des boucles de rétroaction (par exemple, algorithmes de recommandation amplifiant les préjudices).
- Intégration modèle-institution : IA intégrée dans la gouvernance, l'application de la loi ou la finance, créant des vulnérabilités structurelles.
Analyse juridique comparative et tests de cas : Le cadre est appliqué pour évaluer le DSA et la Loi sur l'IA. Les auteurs testent l'adéquation de ces cadres juridiques face à trois exemples controversés : discriminations à grande échelle, hallucinations de l'IA (pollution informationnelle) et impacts environnementaux.

Contributions clés

Une définition rigoureuse du risque systémique : L'article dépasse l'approche du « on le reconnaît quand on le voit » en établissant un cadre structuré fondé sur l'échelle, le préjudice collectif, l'irréversibilité et la complexité.
Critique de la limitation « frontière » de la Loi sur l'IA : Les auteurs démontrent que lier le risque systémique exclusivement aux modèles les plus « avancés » est conceptuellement erroné. Ils soutiennent que des risques tels que la discrimination et les hallucinations peuvent être systémiques indépendamment de l'avancement du modèle, et que les seuils basés sur le calcul ne parviennent pas à capturer les risques provenant de modèles hérités ou plus petits, mais profondément intégrés dans les infrastructures critiques.
Identification des lacunes réglementaires : L'analyse révèle que le Code de pratique de la Loi sur l'IA marginalise largement les droits fondamentaux (par exemple, la discrimination) et les risques environnementaux dans sa liste de « risques systémiques spécifiés », se concentrant plutôt sur des préoccupations traditionnelles de sécurité de l'IA (par exemple, CBRN, cyber-offensive). De plus, l'exigence d'un « impact significatif sur le marché de l'Union » est critiquée comme un paradigme obsolète inadapté aux préjudices non économiques tels que l'érosion démocratique ou le changement climatique.
Analyse des systèmes hybrides : L'article met en lumière le risque d'« intégration modèle-plateforme », où l'interaction entre les modèles d'IA et les mécanismes de distribution des plateformes (par exemple, les algorithmes de recommandation) crée des risques émergents que ni le DSA ni la Loi sur l'IA ne traitent adéquatement de manière isolée.

Résultats et constatations

Discrimination à grande échelle : Les auteurs constatent que, bien que les preuves empiriques sur la relation entre la taille du modèle et les biais soient mitigées, l'échelle du déploiement et l'irréversibilité de l'exclusion structurelle rendent la discrimination à grande échelle un risque systémique clair. L'accent mis par la Loi sur l'IA sur les modèles les plus « avancés » crée une lacune réglementaire pour la discrimination causée par des systèmes moins avancés mais largement déployés.
Hallucinations : L'article identifie un paradoxe : les taux d'hallucination diminuent souvent avec l'avancement du modèle, pourtant l'impact des hallucinations peut augmenter en raison de la persuasivité des modèles avancés. Le cadre actuel de la Loi sur l'IA peine à catégoriser les hallucinations comme un risque systémique car elles ne sont pas spécifiques aux modèles les plus « avancés » en termes de fréquence, créant ainsi une lacune réglementaire potentielle pour la propagation de la désinformation.
Impacts environnementaux : Les auteurs soutiennent que la dégradation environnementale due à la consommation énergétique de l'IA qualifie de risque systémique en raison de son échelle, de son interconnectivité (boucles de rétroaction énergie-eau-climat) et de son irréversibilité. Cependant, la définition centrée sur le marché de la Loi sur l'IA rend difficile la classification de ces préjudices non économiques comme risques systémiques.
DSA vs Loi sur l'IA : Le DSA s'avère plus « résistant au futur » concernant la restriction aux modèles les plus « avancés », mais il manque d'une définition cohérente. La Loi sur l'IA offre une définition formelle mais est contrainte par son accent sur les modèles de pointe et les impacts de marché. L'article conclut que le DSA fait un meilleur travail d'identification des catégories de risques systémiques que la Loi sur l'IA, mais que tous deux échouent à traiter les dynamiques spécifiques des systèmes hybrides IA-plateforme.

Portée et affirmations
L'article prétend fournir une « fondation conceptuelle et une boîte à outils de diagnostic pertinente pour les politiques » afin de régir l'interaction entre l'IA et les plateformes. Sa pertinence réside dans :

Élargissement de la portée : Proposer que les évaluations des risques systémiques doivent aller au-delà des capacités de pointe et des effets de marché pour inclure les préjudices collectifs, les droits fondamentaux et la durabilité environnementale.
Réforme des politiques : Recommander que la Loi européenne sur l'IA soit réformée pour découpler les obligations relatives au risque systémique des seuils de modèles les plus « avancés » et pour intégrer explicitement les préjudices collectifs et les impacts non marchands dans la définition du risque systémique.
Coordination réglementaire : Plaidoyer pour une « analyse des risques réciproque » où le DSA et la Loi sur l'IA ne sont pas traités comme des régimes en silo, mais comme des cadres interactifs nécessaires à la gestion des systèmes hybrides. Les auteurs affirment que sans une telle coordination, les défaillances localisées de l'IA et des plateformes s'escaladeront de plus en plus en perturbations structurelles que les réglementations actuelles ne peuvent contenir.

L'article adopte une position modeste, reconnaissant que, bien qu'il offre un cadre et des outils de diagnostic, la mise en œuvre de ces réformes nécessite de naviguer dans des défis politiques et techniques complexes, notamment la nécessité d'une coordination entre différents régimes réglementaires et la difficulté de mesurer les risques émergents dans des systèmes complexes.

1. Les anciennes règles ne conviennent pas à la nouvelle ville

2. Les quatre niveaux de danger

3. Tester les règles avec des exemples réels

4. La solution : Une meilleure carte

Résumé technique : IA, plateformes numériques et le nouveau risque systémique

Articles similaires