Data Annotations as Pedagogical Hints: From Subjective Labels to Critical Thinking

Résumé technique : Les annotations de données comme indices pédagogiques

Énoncé du problème
L'enseignement de l'apprentissage automatique repose fréquemment sur des ensembles de données pré-étiquetés, ce qui rend invisible pour les étudiants la subjectivité inhérente de l'annotation humaine. Cette approche pédagogique risque de cultiver un « faux sentiment d'objectivité », où les apprenants supposent que les étiquettes de données représentent une vérité de terrain unique plutôt que le produit d'un jugement humain. Par conséquent, les étudiants pourraient ne pas apprécier la diversité interprétative et la contestabilité des résultats algorithmiques, ce qui pourrait mener à une perspective trop confiante et préjudiciable concernant les biais et l'équité de l'IA. Alors que la recherche s'est orientée vers une vision de l'accord entre annotateurs comme un signal significatif plutôt que comme du bruit (le « paradigme du désaccord »), les pratiques éducatives restent largement ancrées dans le « paradigme de l'accord », traitant le désaccord comme une erreur à minimiser.

Méthodologie
Les auteurs ont mené une étude de cas dans deux institutions : la Fontys University of Applied Sciences (Pays-Bas, niveau licence) et l'IT University of Copenhagen (Danemark, niveau master). L'intervention a consisté à intégrer une tâche d'annotation de données manuelle dans des cours de science des données existants.

• Conception de la tâche : Les étudiants ont annoté des images de lésions cutanées pour la « couverture de poils » en utilisant une échelle ordinale à 3 points (aucun, un peu, beaucoup). Cette tâche a été choisie pour sa subjectivité inhérente ; contrairement à une classification objective (ex. chat vs chien), juger la densité de poils nécessite d'interpréter des caractéristiques visuelles telles que l'épaisseur et la densité, ce qui génère naturellement un désaccord.
• Procédure : L'intervention comprenait deux parties :
  1. Travail individuel : Les étudiants ont exploré un ensemble de données provenant de l'archive ISIC via des notebooks Jupyter afin de comprendre la variabilité de l'annotation et les mesures d'accord.
  2. Travail de groupe : Des groupes d'étudiants ont utilisé Label Studio pour annoter 100 à 200 images. Ils devaient documenter leurs décisions et comparer les étiquettes pour analyser le désaccord entre les annotateurs.
• Collecte de données : Un sondage a été administré à 43 étudiants après l'activité. Il comprenait :
  • Des auto-évaluations rétrospectives pré/post-activité sur la familiarité avec quatre concepts clés (subjectivité, mesures d'accord, biais, qualité des données).
  • Des items sur une échelle de Likert mesurant cinq construits : Ambiguïté de l'annotation, Qualité des données, Biais et Équité, Barrières de mise en œuvre et Efficacité pédagogique.
  • Des questions ouvertes pour une analyse thématique qualitative.
• Analyse : Les données quantitatives ont été analysées par des statistiques descriptives et le $\kappa$ de Fleiss pour mesurer l'accord réel entre les annotateurs. Les données qualitatives ont fait l'objet d'une analyse thématique (cadre de Braun & Clarke) pour identifier des modèles dans les réflexions des étudiants.

Contributions clés

1. Intervention pédagogique : Un cadre pratique utilisant l'annotation de lésions cutanées pour enseigner les concepts d'IA responsable, spécifiquement la relation entre le jugement humain et le comportement du modèle.
2. Perspectives pédagogiques : Des preuves empiriques issues de deux institutions démontrant que l'annotation manuelle sert d'« indice pédagogique » efficace, faisant passer la compréhension des étudiants d'un état d'esprit traditionnel de « vérité de terrain unique » à un état d'esprit « conscient de la subjectivité ».
3. Recommandations de conception : Des enseignements pratiques pour concevoir des devoirs basés sur l'annotation qui relient le jugement humain au comportement du modèle, en insistant sur la nécessité de présenter le désaccord comme une opportunité d'apprentissage plutôt que comme un défaut.

Résultats

• Gains de familiarité : La familiarité auto-déclarée avec la subjectivité, le biais et la qualité des données a augmenté de manière substantielle. Aucun étudiant ne se trouvait encore au niveau de familiarité le plus bas après l'intervention.
• Perception de la subjectivité : La plupart des étudiants ont reconnu que l'interprétation personnelle affecte les annotations et que la création de données d'entraînement est complexe. Ils ont lié les caractéristiques visuelles (ex. les poils) aux potentiels problèmes de classification des modèles.
• Efficacité pédagogique : Les étudiants ont jugé l'activité d'annotation plus efficace que les cours magistraux traditionnels pour comprendre le biais. L'activité a augmenté la motivation à apprendre les concepts de l'IA.
• L'illusion du consensus : Un résultat critique est apparu : les étudiants ont rapporté des niveaux élevés de consensus de groupe dans les sondages, bien que les scores objectifs de $\kappa$ de Fleiss indiquent seulement un accord modéré (moyenne $\kappa \approx 0,62$). Cela suggère que les étudiants perçoivent la convergence comme un succès, échouant à reconnaître que le désaccord persistant reflète la complexité du domaine.
• Réaction des étudiants au désaccord : Bien que les étudiants aient reconnu la subjectivité, leur principale suggestion d'amélioration était de « rendre les annotations plus cohérentes » grâce à des directives plus claires ou un calibrage. Cela indique qu'ils voient le désaccord comme un problème à résoudre (un bug) plutôt que comme une caractéristique intrinsèque de la tâche.
• Barrières : Les principaux inconvénients signalés étaient l'inconfort émotionnel lié à la vue d'images médicales et la répétitivité du processus d'étiquetage.

Signification et affirmations
L'article soutient que l'annotation manuelle de données est un outil pédagogique vital pour démystifier la « boîte noire » de la préparation des données. Il démontre que l'engagement des étudiants dans le processus d'annotation les aide à intérioriser le fait que le jugement humain façonne le comportement du modèle et que le désaccord reflète la complexité du domaine, et non simplement du bruit.

Cependant, les auteurs adoptent une position modeste quant à l'intériorisation immédiate de ces concepts. Ils notent une « tension pédagogique productive » : bien que les étudiants acquièrent une conscience de la subjectivité, ils cherchent souvent instinctivement à l'éliminer par de meilleures directives. L'article conclut que la lutte avec l'incohérence est la leçon elle-même. Par conséquent, la signification ne réside pas seulement dans la capacité de l'activité à générer des données, mais dans sa capacité à exposer l'écart entre le « paradigme de l'accord » (courant dans l'éducation) et le « paradigme du désaccord » (courant dans la recherche moderne). Les auteurs suggèrent que les itérations futures doivent explicitement présenter le désaccord comme une caractéristique, et non comme un bug, et atténuer les barrières émotionnelles et techniques pour garantir que les objectifs d'apprentissage soient atteints.