Position: Every Ground Truth is a Human Construction, not an Objective Truth

Résumé Technique : Toute vérité de terrain est une construction humaine, et non une vérité objective

Énoncé du problème
L'article traite d'une méprise fondamentale dans la recherche et le développement en apprentissage automatique (ML) : le traitement des ensembles de données de « vérité de terrain » (ground truth) comme des mesures neutres, objectives et préexistantes de la réalité. Les auteurs soutiennent que les vérités de terrain ne sont pas des faits naturellement donnés, mais sont au contraire des constructions humaines résultant d'un agencement complexe de décisions, de technologies et de processus sociaux. Cet oubli conduit à la « boîte noire » des choix critiques concernant les sources de données, les ontologies d'étiquetage et les méthodes d'observation. Par conséquent, la communauté du ML échoue souvent à reconnaître la contingence (la nature de ce qui « aurait pu être autrement ») de ces ensembles de données, ce qui entraîne des applications de modèles inappropriées, une surestimation de la précision et un manque de transparence concernant les limites de la fiabilité des modèles. L'article souligne que traiter les vérités de terrain comme des vérités universelles ignore leur ancrage situationnel, ce qui peut causer de graves impacts négatifs lorsque les modèles sont déployés dans des contextes différents de ceux dans lesquels les données ont été construites.

Méthodologie et cadre analytique
Plutôt que de proposer une nouvelle méthode algorithmique ou de mener une expérience empirique spécifique, cet article emploie un cadre d'analyse conceptuel et critique ancré dans les Études de Science et Technologie (STS) et le Travail Collaboratif Soutenu par Ordinateur (CSCW). Les auteurs :

1. Recadrent le concept : Ils adoptent la définition de Jaton (2017) de l'établissement de la vérité de terrain comme une pratique de définition des problèmes et des cibles, déplaçant l'accent de la « découverte » vers la « construction ».
2. Catégorisent les sites de construction : Les auteurs analysent quatre « sites de construction » distincts où les vérités de terrain sont générées pour illustrer la variabilité du processus de construction :
   • Mesure directe : Même les données basées sur des capteurs impliquent des choix concernant l'équipement, le placement, le moment et les métadonnées.
   • Interprétation d'experts : Les étiquettes d'experts (par exemple, en imagerie médicale) sont sujettes à une variabilité inter et intra-experts, à la négociation et au contexte spécifique de la formation et de l'institution de l'expert.
   • Consensus de la foule : Les étiquettes issues du crowdsourcing impliquent des méthodes d'agrégation (par exemple, le vote majoritaire) qui occultent souvent la variation humaine de l'étiquetage (HLV) et la subjectivité culturelle.
   • Données synthétiques : Les simulations et l'IA générative créent des « vérités connues » qui sont intrinsèquement fabriquées et dépendent des paramètres et des modèles utilisés pour les générer.
3. Analysent la communication et la collaboration : L'article examine la « construction du sens », arguant que les vérités de terrain fiables nécessitent une compréhension partagée et une négociation entre les praticiens du ML, les experts du domaine et les étiqueteurs, plutôt qu'une simple capture de données.

Contributions clés
L'article apporte plusieurs contributions théoriques et pratiques au discours sur le ML :

• Changement théorique : Il pose que les vérités de terrain sont « situées » et « contingentes », rejetant la notion d'une vérité objective singulière et universelle. Il introduit le concept de « fiabilité située », définie comme une fiabilité qui n'est valide que dans un contexte spécifique, plutôt qu'une mesure quantitative générique.
• Déconstruction de l'« Oracle » et du « Capteur » : Les auteurs contestent la vision des experts humains comme des « oracles » infaillibles ou des « capteurs » neutres, démontant que l'étiquetage par l'expert est un processus social sujet à la négociation et à l'incertitude.
• Identification des voies de construction : En cartographiant les points de décision (par exemple, qui définit l'ontologie, comment les observations sont faites, quelles sources sont utilisées), l'article fournit un cadre pour comprendre comment différentes voies produisent différentes vérités de terrain pour une même tâche.
• Critique des pratiques actuelles : L'article critique l'absence de vocabulaire standardisé et de documentation pour les limites de la vérité de terrain, notant que les pratiques actuelles échouent souvent à capturer la provenance et les choix de construction qui affectent la performance des modèles.

Résultats et conclusions
En tant qu'article de position, ce travail ne présente pas de résultats expérimentaux mais synthétise la littérature existante et des études de cas pour démontrer les conséquences de l'ignorance de la nature construite des vérités de terrain :

• Dérive contextuelle : L'article cite des exemples où des ensembles de données de référence (par exemple, MNIST, UCI Adult) ont été appliqués bien au-delà de leur contexte de construction d'origine, menant à des conclusions trompeuses ou à des chutes de performance (par exemple, une chute de 47 % de la performance d'un modèle d'IRM due à un prétraitement non documenté).
• Impact des choix de construction : Il illustre comment des décisions spécifiques, telles que la réduction de la résolution d'image dans MNIST en raison des limites matérielles des années 1990, ont durablement contraint les capacités des modèles ultérieurs.
• La variation comme information : L'analyse suggère que la variation de l'étiquetage humain (HLV) est souvent traitée comme un bruit à éliminer, alors qu'elle devrait être reconnue comme une donnée informative reflétant la complexité du phénomène modélisé.
• Nécessité interdisciplinaire : Les conclusions indiquent que la création de vérités de terrain fiables nécessite une collaboration interdisciplinaire, car les praticiens du ML seuls ne peuvent souvent pas interpréter les nuances spécifiques au domaine requises pour un étiquetage précis.

Signification et revendications
Les auteurs affirment que reconnaître les vérités de terrain comme des constructions humaines est essentiel pour améliorer la fiabilité, la transparence et la responsabilité des systèmes de ML.

• Amélioration de la fiabilité : En adoptant une perspective de « fiabilité située », la communauté peut mieux comprendre où, quand et comment les modèles peuvent être utilisés en toute sécurité, évitant l'adoption non critique de solutions inadaptées.
• Transparence accrue : Sortir la construction de sa « boîte noire » permet une meilleure documentation des limitations, permettant aux chercheurs d'évaluer la validité d'un ensemble de données pour leur cas d'utilisation spécifique.
• Collaboration interdisciplinaire : Reconnaître le travail social et technique impliqué dans l'établissement de la vérité de terrain favorise de meilleurs partenariats entre les chercheurs en ML, les experts du domaine et les sciences sociales.
• Réforme éducative : L'article plaide pour l'intégration de réflexions critiques sur la construction des données et la collaboration interdisciplinaire dans l'enseignement du ML afin de préparer les chercheurs aux complexités des données du monde réel.

En fin de compte, l'article appelle à un changement de mentalité au sein de la communauté du ML : passer d'une vision de la collecte de données comme une observation passive de faits à une vision de la collecte comme un processus actif, intentionnel et collaboratif de construction de données. Ce changement est présenté non pas comme un fardeau, mais comme une étape nécessaire vers la création de systèmes d'IA plus robustes et éthiquement sains.