Bye Bye Perspective API: Lessons for Measurement Infrastructure in NLP, CSS and LLM Evaluation
Cet article critique la dépendance structurelle de la recherche en TAL et sur les LLM à l'égard de l'API propriétaire Perspective, désormais en cours de fermeture, en soulignant comment ses mises à jour opaques et son opérationnalisation unique de la toxicité ont engendré des résultats irreproductibles, et appelle à l'établissement d'une infrastructure de mesure indépendante, valide et reproductible pour prévenir de futurs risques épistémiques similaires.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez Internet comme une immense place de village chaotique où des millions de personnes crient, se disputent et partagent des histoires chaque seconde. Pour empêcher cette place de sombrer dans le chaos total, les chercheurs avaient besoin d'un moyen de repérer automatiquement les cris méchants, haineux ou toxiques.
Pendant près d'une décennie, toute la ville a compté sur un seul outil gratuit, appelé Perspective API, pour accomplir cette tâche. C'était comme un « Compteur de Toxicité » universel appartenant à une entreprise technologique (Jigsaw de Google). Tout le monde l'utilisait pour mesurer le degré d'impolitesse des gens, évaluer à quel point les nouveaux chatbots IA étaient « sûrs » et étudier les comportements en ligne.
Maintenant, les propriétaires du compteur l'éteindront à la fin de l'année 2026. Cet article soutient que, si la perte de l'outil est triste, le vrai problème est que l'ensemble de la communauté de recherche a construit sa maison sur des fondations qu'elle ne possédait pas, ne comprenait pas et ne pouvait pas réparer.
Voici la décomposition de l'argument de l'article à l'aide d'analogies simples :
1. Le compteur « Boîte Noire »
Imaginez que vous achetiez une balance pour peser vos courses. Vous lui faites confiance car elle est gratuite et tout le monde l'utilise. Mais vous réalisez :
- Les propriétaires changent les poids : Tous les quelques mois, l'entreprise remplace secrètement les ressorts internes de la balance sans vous le dire. Un jour, un sac de pommes de 5 livres pèse 5 livres ; le lendemain, il pèse 6 livres, mais la balance indique toujours « 5 ».
- Les instructions sont vagues : L'entreprise dit : « Cela mesure la « méchanceté ». » Mais elle n'explique jamais ce qu'est la méchanceté. Est-ce une voix forte ? Un mot grossier ? Un type spécifique d'insulte ? Ils vous donnent simplement un nombre entre 0 et 1 et disent : « Vous décidez ce qui est trop élevé. »
- Le contexte manque : La balance ne pèse que la pomme isolément. Elle ne sait pas si la pomme a été jetée sur quelqu'un (toxique) ou si quelqu'un plaisantait à propos d'une pomme (non toxique). Elle traite chaque phrase comme si elle flottait dans le vide.
2. Le piège « Circulaire »
Parce que le compteur était si facile à utiliser, les chercheurs ont commencé à l'utiliser pour entraîner d'autres ordinateurs à devenir des machines détectrices de méchanceté.
- La boucle : Ils utilisaient l'API Perspective pour étiqueter des données (par exemple : « Cette phrase est toxique »). Ensuite, ils entraînaient de nouveaux modèles d'IA sur ces données. Enfin, ils testaient ces nouveaux modèles en voyant s'ils étaient d'accord avec l'API Perspective.
- Le problème : C'est comme un étudiant qui passe un examen, utilise ensuite la clé de correction pour se noter lui-même, puis prétend être un génie parce qu'il a eu 100 %. Ils ne mesuraient pas la « toxicité » ; ils mesuraient simplement « à quel point vous êtes d'accord avec la définition actuelle de la toxicité de Google ».
3. Les biais cachés
Parce que le compteur ne comprenait ni le contexte ni la culture, il commettait des erreurs constantes que les chercheurs ne pouvaient ni voir ni corriger :
- Punir les victimes : Il signalait souvent des mots utilisés par des groupes marginalisés (comme des insultes réappropriées ou des termes LGBTQ+) comme « toxiques » parce qu'il ne savait pas qui les disait ni pourquoi.
- Manquer la vraie haine : Il manquait les discours de haine subtils et codés parce qu'il ne cherchait que des mots grossiers de surface.
- Biais linguistique : Il était beaucoup plus strict avec le texte allemand qu'avec le texte anglais, non pas parce que l'allemand est plus grossier, mais parce que les personnes ayant entraîné le modèle avaient des biais culturels différents.
4. Le choc de la « Fermeture Soudaine »
Lorsque l'entreprise a annoncé qu'elle fermerait l'API, elle n'a laissé derrière elle ni manuel, ni sauvegarde, ni historique des versions.
- Le résultat : Tous les articles de recherche rédigés au cours de la dernière décennie qui reposaient sur cet outil sont désormais « irreproductibles ». Si vous essayez de refaire la même expérience aujourd'hui, vous ne pouvez pas obtenir les mêmes résultats car la « règle » qu'ils utilisaient pour mesurer n'existe plus. C'est comme essayer de mesurer la hauteur d'un bâtiment avec une règle qui a été fondue.
5. L'avertissement : Ne remplacez pas simplement le compteur
Les auteurs mettent en garde contre la solution la plus simple – utiliser simplement un nouvel outil propriétaire d'une autre grande entreprise technologique (comme OpenAI) – qui est un piège.
- Le risque : Ces nouveaux outils sont aussi des « boîtes noires ». Ils pourraient être encore moins transparents, entraînés sur des données collectées auprès de travailleurs exploités, et mis à jour sans préavis. Si nous remplaçons simplement une boîte noire par une autre, nous ne faisons que répéter les mêmes erreurs.
La solution : Construisons notre propre règle
L'article appelle la communauté de recherche à cesser de traiter la mesure comme un « service » fourni par quelqu'un d'autre. Au lieu de cela, elle doit construire sa propre infrastructure. Ce nouveau système doit avoir :
- Open Source : Tout le monde peut voir comment cela fonctionne et vérifier les mathématiques.
- Conscience du contexte : Il doit savoir qui parle, à qui il s'adresse et l'historique de la conversation.
- Contribution communautaire : La définition de la « toxicité » ne devrait pas être décidée par une seule entreprise ; elle devrait impliquer les communautés qui sont mesurées.
- Transparence : Nous devons savoir exactement comment les données ont été étiquetées et qui a fait l'étiquetage.
En bref : L'article soutient que s'appuyer sur un seul outil secret et corporatif pour mesurer le comportement humain était une erreur. La fermeture de cet outil est un signal d'alarme. Les chercheurs doivent cesser d'être des utilisateurs passifs d'outils corporatifs et commencer à construire leurs propres moyens ouverts, équitables et transparents pour mesurer ce qui compte.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.