Open Veins of Algorithmic Auditing: Why AI Assessment Lags Behind Its Deployment in the Global South
S'appuyant sur une décennie de pratique de l'audit dans les pays du Sud, cet article soutient que l'écart critique entre le déploiement rapide de l'IA et sa gouvernance est engendré non pas par un manque de capacité, mais par un déficit de financement, exhortant les bailleurs de fonds du développement et les organisations philanthropiques à imposer des évaluations indépendantes pour remédier aux failles systémiques telles que les indicateurs de substitution invalides et les biais structurels.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où des robots invisibles prennent de grandes décisions concernant la vie des gens : décider si un enfant a besoin d'aide, si un patient est malade ou si un agriculteur obtient un prêt. Ces robots sont alimentés par l'Intelligence Artificielle (IA). Mais voici le piège : ce n'est pas parce qu'un robot est intelligent qu'il est juste, sûr ou même qu'il fonctionne comme ses créateurs le prétendent. Pour le découvrir, nous avons besoin d'« audits d'IA ». Considérez un audit comme un mécanicien inspectant une voiture avant que vous ne l'achetiez, ou un enseignant corrigeant un examen pour voir si les réponses sont réellement exactes. Dans les parties riches du monde (le « Nord global »), il y a beaucoup de mécaniciens et d'enseignants pour vérifier ces robots d'IA. Mais dans les parties en développement du monde (le « Sud global »), les robots tournent à plein régime sans que personne ne les vérifie. Ce document pose une question simple mais urgente : que se passe-t-il lorsque nous laissons ces robots puissants prendre des décisions de vie ou de mort dans des endroits où personne n'est autorisé à regarder sous le capot ?
Le grand fossé de l'audit : des robots qui tournent sans contrôle dans le Sud
Ce document, écrit par des experts de la Fondation Eticas, raconte l'histoire d'un déséquilibre massif. Alors que l'IA est installée dans les hôpitaux, les écoles et les bureaux gouvernementaux à travers l'Afrique, l'Amérique latine et l'Asie à une vitesse fulgurante, les personnes censées vérifier si ces systèmes sont sûrs sont presque totalement absentes.
Les auteurs ont découvert que, bien que des milliards de dollars soient injectés dans la construction de l'IA dans ces régions, il y a moins de vingt rapports publiés par des experts indépendants testant réellement comment ces systèmes fonctionnent dans le monde réel. Pour mettre cela en perspective : le Royaume-Uni possède à lui seul plus d'auditeurs d'IA que l'ensemble du Sud global réuni. C'est comme construire mille nouveaux ponts dans un pays mais n'avoir qu'un seul ingénieur disponible pour vérifier s'ils sont sûrs, et cet ingénieur est occupé à vérifier des ponts dans un autre pays.
Ce que les rares contrôles effectués ont révélé
Les auteurs n'ont pas seulement compté les contrôles manquants ; ils en ont réellement effectué quelques-uns. Ils ont examiné des systèmes au Brésil, en Argentine et dans d'autres pays, et ce qu'ils ont trouvé était effrayant, mais aussi très clair.
1. Le piège du « détecteur de pauvreté »
Dans un cas, un gouvernement a utilisé une IA pour décider quels enfants étaient à risque et avaient besoin de services sociaux. Le système était censé trouver des enfants dont les droits étaient violés. Mais lorsque les auditeurs ont regardé de plus près, ils ont réalisé que le robot ne cherchait pas réellement l'abus. Il cherchait la pauvreté. Parce que les données sur lesquelles il avait été entraîné provenaient de quartiers pauvres, l'IA a décidé que la pauvreté était la même chose que le risque. C'était comme un détecteur de fumée qui ne se déclenche que lorsque vous faites griller du pain, ignorant l'incendie réel. Le système évaluait des millions d'enfants, dont beaucoup n'avait même jamais vu auparavant, sur la base d'une idée erronée de ce que le « risque » représentait.
2. Le mensonge du « 94 % de précision »
Dans un autre exemple, un hôpital au Brésil utilisait une IA pour prédire quels patients allaient tomber malades. Le système affirmait être précis à 94 %. Cela semble incroyable, n'est-ce pas ? Mais les auditeurs ont découvert que ce chiffre était un tour de passe-passe. L'IA était si douée pour prédire que la plupart des gens iraient bien qu'elle obtenait un score élevé, même si elle manquait les personnes spécifiques qui étaient réellement en danger. C'était comme une application météo qui dit « Il ne pleuvra pas » chaque jour. Elle est techniquement exacte 99 % du temps parce qu'il pleut rarement, mais elle est inutile lorsqu'une tempête approche. Les auditeurs ont découvert que le système ne parvenait pas à avertir les médecins concernant de jeunes femmes qui étaient réellement en danger.
3. Le mythe de la « boîte noire »
Le document soutient également que nous n'avons pas besoin de voir le code secret du robot (la « boîte noire ») pour savoir s'il est cassé. Vous n'avez pas besoin d'être un mécanicien pour savoir qu'une voiture est en panne si elle ne démarre pas ou si elle sent le caoutchouc brûlé. Les auditeurs ont découvert qu'en observant simplement ce que l'IA faisait — qui elle aidait et qui elle ignorait — ils pouvaient repérer les problèmes. Le problème n'était pas que le code était trop difficile à comprendre ; le problème était que personne ne surveillait les résultats.
Pourquoi cela arrive-t-il ? (Ce n'est pas un problème de « capacité »)
Vous pourriez penser : « Peut-être que les pays du Sud global n'ont pas assez de personnes intelligentes ou d'argent pour vérifier ces robots. » Le document répond : Non, ce n'est pas ça.
Les auteurs ont découvert qu'ils pouvaient effectuer ces contrôles. Ils les ont faits avec de petites équipes et de petits budgets. Le problème n'est pas que le travail est impossible ; le problème est que personne ne le paie.
Pensez-y comme à une école. Si le directeur (le gouvernement) n'exige pas qu'un enseignant soit évalué, et que le conseil scolaire (les bailleurs de fonds) ne paie pas pour un correcteur, l'enseignant ne sera peut-être jamais contrôlé. Dans le Sud global, les personnes qui construisent ces systèmes d'IA sont souvent financées par de grandes banques internationales ou des organisations caritatives. Mais ces bailleurs de fonds demandent généralement : « Avez-vous promis d'être gentils ? » Ils ne disent pas : « Montrez-nous la preuve que votre système fonctionne réellement. »
Parce que personne ne force les constructeurs à montrer leur travail, et que personne ne paie pour l'inspection, les inspections n'ont jamais lieu. C'est un problème de financement, pas un problème de talent.
La solution : Mettre le contrôle dans le contrat
Le document se termine par une solution claire et simple. Les personnes qui ont le pouvoir de réparer cela sont les bailleurs de fonds.
Si une banque ou une organisation caritative donne de l'argent pour construire un système d'IA, elle devrait en faire une règle : « Vous ne pouvez pas obtenir cet argent à moins qu'un expert indépendant ne vérifie votre système au préalable. » Et ils ne devraient pas seulement vérifier le code ; ils devraient vérifier les résultats. Le système a-t-il réellement aidé les personnes qu'il était censé aider ?
Les auteurs suggèrent cinq règles simples pour ces bailleurs de fonds :
- Imposer le contrôle : Faire des audits indépendants une condition pour obtenir des fonds.
- Vérifier les résultats, pas seulement les mathématiques : Regarder comment le système affecte les personnes réelles, et pas seulement si le code est bon.
- Publier les conclusions : Ne pas laisser les résultats secrets. Si un système est défectueux, le public doit le savoir.
- Construire des équipes locales : Former des personnes dans ces pays pour effectuer les contrôles, afin qu'elles n'aient pas à dépendre d'experts venant de loin.
- Partager les outils : Rendre les listes de contrôle et les méthodes accessibles à tous.
L'essentiel
Le document soutient que nous sommes à la croisée des chemins. Nous pouvons continuer à laisser les systèmes d'IA fonctionner dans le Sud global sans supervision, ce qui signifie que les erreurs continueront de frapper les personnes qui peuvent le moins se permettre de les subir. Ou bien, nous pouvons changer les règles du jeu. En faisant des contrôles indépendants une condition de financement, nous pouvons transformer ces « veines ouvertes » de données et de prise de décision en quelque chose de sûr, de juste et de responsable.
Les outils pour réparer cela existent déjà. Les experts sont prêts. Tout ce qui manque, c'est la décision de payer pour l'inspection. Comme le disent les auteurs, la prochaine décennie sera retenue soit comme le moment où le Sud global a continué à construire des systèmes qu'il ne pouvait pas contrôler, soit comme le moment où il a enfin commencé à les tenir responsables. Ce choix appartient à ceux qui signent les chèques.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.