Who Evaluates AI's Social Impacts? Mapping Coverage and Gaps in First and Third Party Evaluations
Cet article analyse 186 sources d'évaluation de première main et 248 sources de tierce partie pour révéler une lacune critique de gouvernance où les développeurs fournissent des rapports d'impact social parcimonieux et superficiels tandis que les évaluateurs indépendants proposent des évaluations plus larges mais incomplètes, appelant finalement à des politiques qui imposent la transparence et renforcent les écosystèmes d'évaluation indépendante.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez le monde de l'Intelligence Artificielle (IA) comme une cuisine immense et trépidante où des chefs (les développeurs) créent chaque jour de nouvelles recettes surpuissantes (les modèles d'IA). Ces recettes sont si puissantes qu'elles peuvent écrire des histoires, résoudre des problèmes mathématiques et même générer des images. Mais avant que ces recettes ne soient proposées au public, nous devons savoir : sont-elles sûres ? Ont-elles bon goût pour tout le monde, ou rendent-elles certaines personnes malades ? Consomment-elles trop d'électricité ?
Ce document, intitulé « Qui évalue les impacts sociaux de l'IA ? », est comme un groupe de critiques gastronomiques et d'inspecteurs sanitaires essayant de comprendre qui vérifie réellement la sécurité et l'équité de ces recettes. Ils ont examiné 186 rapports officiels rédigés par les chefs eux-mêmes (Tierce partie interne / First-Party) et 248 rapports rédigés par des critiques extérieurs et des testeurs indépendants (Tierce partie externe / Third-Party).
Voici ce qu'ils ont trouvé, décomposé en termes simples :
1. Les chefs sont mauvais pour rédiger leurs propres rapports de santé
Lorsqu'un chef sort un nouveau plat, il distribue généralement une « Fiche de modèle » (comme une étiquette nutritionnelle). Les chercheurs ont constaté que ces étiquettes sont souvent vagues, incomplètes ou totalement absentes.
- Le Problème : Les chefs sont très doués pour dire : « Ce plat cuit vite ! » (performance technique), mais ils sont très discrets sur le fait que : « Ce plat peut être épicé pour certaines personnes » (biais) ou « Ce plat utilise beaucoup d'eau pour sa préparation » (coût environnemental).
- La Tendance : Par le passé, les chefs étaient un peu plus ouverts sur ces questions. Mais récemment, les rapports sur des sujets tels que les coûts environnementaux et les biais se sont en réalité dégradés. Les chefs semblent minimiser ces sujets, peut-être parce qu'ils ne veulent pas paraître mauvais ou parce qu'ils pensent que c'est trop complexe à expliquer.
2. Les critiques indépendants font le plus gros du travail
Puisque les chefs ne rédigent pas de bons rapports, les critiques extérieurs (évaluateurs tiers) sont intervenus.
- La Bonne Nouvelle : Ces testeurs indépendants font un bien meilleur travail. Ils trouvent les parties « épicées » (le biais), vérifient si la nourriture est sûre pour tout le monde (contenu nocif) et mesurent comment le plat performe pour différents groupes de personnes.
- La Limite : Les critiques peuvent seulement goûter la nourriture ; ils ne peuvent pas voir l'intérieur de la cuisine. Ils ne savent pas exactement combien d'électricité le four a utilisée, combien les ingrédients ont coûté, ni comment le personnel de cuisine (les humains qui préparent les données) a été traité. Seuls les chefs connaissent ces secrets.
3. Les ingrédients « manquants »
Les chercheurs ont examiné sept domaines spécifiques d'« impact social » (la façon dont l'IA affecte la société). Voici l'état de chacun :
- Contenu sensible (Toxicité) : C'est le domaine le plus rapporté. Tout le monde s'inquiète que l'IA dise des choses méchantes, donc les chefs et les critiques en parlent beaucoup.
- Biais et Équité : Il y a certains rapports ici, mais la situation s'aggrave avec le temps. Les chefs commencent à dire : « C'est trop difficile à mesurer » ou « C'est trop politique en ce moment ».
- Coûts Environnementaux : C'est un énorme fossé. Les chefs rapportaient autrefois la quantité d'énergie utilisée par leurs modèles, mais ce reporting a chuté brutalement. C'est comme si un restaurant refusait de vous dire combien d'eau il gaspille.
- Travail et Droits de l'Homme : C'est le plus grand angle mort. Presque personne ne rend compte de la situation des personnes qui étiquettent les données ou modèrent le contenu. C'est comme si le restaurant ne mentionnait jamais les conditions de travail des plongeurs.
- Vie privée et Coût : Ces aspects sont rarement détaillés.
4. Pourquoi les chefs cachent-ils la vérité ?
Les chercheurs ont interrogé des personnes au sein des entreprises pour comprendre pourquoi. Ils ont trouvé deux raisons principales :
- La Peur : Si un chef admet que son plat a un défaut, cela pourrait nuire à sa réputation ou lui attirer des ennuis juridiques. Alors, il garde le silence.
- Les Incitations : Les chefs ne font le travail difficile de test que si cela les aide à vendre leur plat ou si le gouvernement les y oblige. S'il n'y a pas de profit dans la transparence, ils ne le font pas.
5. Le biais du « Chef Célèbre »
L'étude a également remarqué que les critiques extérieurs se concentrent principalement sur les chefs les plus célèbres (comme ceux des États-Unis et de la Chine) car leurs plats sont populaires.
- Le Résultat : Les plus petits chefs ou ceux de régions moins célèbres ne reçoivent presque aucune attention. Leurs « recettes » pourraient être tout aussi dangereuses, mais personne ne les vérifie car ils ne sont pas tendance.
L'essentiel
L'article soutient que nous ne pouvons pas faire confiance à l'IA pour être sûre simplement en lisant les étiquettes que les entreprises écrivent elles-mêmes.
- Le Fossé : Il existe un énorme trou dans nos connaissances concernant l'impact de l'IA sur l'environnement, sur les personnes qui la construisent et sur la vie privée des utilisateurs.
- La Solution : Nous avons besoin de nouvelles règles (politiques) qui obligent les chefs à être honnêtes. Nous devons également construire un meilleur système où les critiques indépendants peuvent obtenir les données nécessaires pour faire leur travail, et nous devons protéger ceux qui parlent pour qu'ils ne soient pas punis pour cela.
En résumé : Les chefs cachent les parties désordonnées de la cuisine, et les inspecteurs indépendants font de leur mieux pour jeter un coup d'œil à l'intérieur, mais ils ne peuvent pas tout voir sans l'aide des chefs.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.