DIPSER: A Dataset for In-Person Student Engagement Recognition in the Wild
Cet article présente DIPSER, un jeu de données inédit et complet pour la reconnaissance de l'engagement des étudiants en situation réelle, qui combine de manière unique des données de caméras RGB multi-vues, des métriques de capteurs de montres connectées et divers labels validés par des experts afin de faciliter l'analyse de l'attention et des émotions des étudiants dans divers contextes éducatifs.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez essayer de comprendre comment un étudiant se sent ou à quel point il est concentré pendant un cours. Habituellement, les enseignants doivent deviner en jetant un coup d'œil rapide. Cet article présente un nouvel outil appelé DIPSER, qui agit comme un « super-observateur » haute technologie conçu pour capturer exactement ce qui se passe dans une vraie salle de classe, et non dans une fausse.
Voici une décomposition de ce que les chercheurs ont construit, en utilisant des analogies simples :
1. Le dispositif « Œil tout-puissant »
Imaginez la salle de classe comme une scène. Par le passé, les chercheurs étudiaient souvent les étudiants depuis leur salon (cours en ligne) ou dans des laboratoires scientifiques stériles où des acteurs faisaient semblant d'être des étudiants.
DIPSER est différent. Il a été filmé dans une véritable salle de classe universitaire avec de vrais étudiants. Pour obtenir une image complète, ils ont mis en place un « essaim de surveillance » :
- La vue grand angle : Ils ont suspendu des caméras en hauteur (comme un agent de sécurité regardant vers le bas) pour voir toute la salle, les postures des étudiants et leurs interactions entre eux.
- La vue rapprochée : Chaque étudiant avait sa propre caméra dédiée sur son bureau, zoomant sur son visage pour capturer les micro-expressions (comme un sourcil levé ou une moue).
- La montre « pouls » : Chaque étudiant portait une montre connectée. Celle-ci agit comme un tracker de fitness, enregistrant leur fréquence cardiaque, leurs mouvements (gyroscope) et la rapidité de leurs agitations (accéléromètre).
2. Le système de notation « cinq étoiles »
Comment savoir si les caméras et les montres disent la vérité ? Les chercheurs ne se sont pas contentés de faire confiance aux ordinateurs ; ils ont utilisé un « panel de juges ».
Pour chaque étudiant, ils ont recueilli cinq avis différents sur le niveau de concentration ou l'état émotionnel de l'étudiant à chaque seconde :
- La propre voix de l'étudiant : Après le cours, l'étudiant a revu la vidéo et s'est noté lui-même.
- Quatre juges experts : Quatre experts humains différents ont regardé les séquences et ont donné leurs propres notes.
Ils ont combiné ces éléments pour créer une étiquette « référence absolue » pour chaque seconde de la vidéo. Si un étudiant a déclaré s'ennuyer et que les experts étaient d'accord, les données sont marquées comme « ennui ».
3. La pièce « neuf scènes »
Les données ne consistaient pas en un seul long cours ennuyeux. Les chercheurs ont filmé les étudiants en train de réaliser neuf types d'activités scolaires différentes, comme des scènes d'une pièce de théâtre :
- Lire des actualités.
- Brainstormer des idées.
- Écouter un cours traditionnel.
- Passer un quiz sur leur téléphone.
- Présenter des projets.
- Jouer avec des robots.
- Concevoir des jeux éducatifs.
Cette variété est comparable à tester une voiture sur une autoroute, un chemin de terre et un circuit de course pour voir comment elle gère différentes conditions.
4. La bibliothèque massive
Le résultat est une immense bibliothèque numérique contenant plus de 1,3 million d'images et près de 52 heures de vidéo.
- Elle inclut la vidéo brute.
- Elle inclut les données de la montre connectée (battements de cœur, mouvements).
- Elle inclut des données « pré-emballées » où les ordinateurs ont déjà encadré les visages, estimé les âges et deviné les émotions, épargnant ainsi du temps aux autres chercheurs.
5. Pourquoi cela compte (selon l'article)
Les auteurs soutiennent que les jeux de données précédents étaient comme des « tests d'entraînement » (en ligne ou dans des faux laboratoires) qui ne reflétaient pas la vie réelle.
- Réalisme : Cela a été filmé « dans la nature » (une vraie salle de classe).
- Diversité : Il inclut des étudiants de différents horizons (notant spécifiquement des sujets caucasiens dans cette version, bien qu'ils prévoient d'ajouter plus de diversité plus tard).
- Profondeur : C'est la première fois que l'on combine vidéo, capteurs de montres connectées et plusieurs experts humains dans un cadre de salle de classe réel.
La conclusion
L'article présente DIPSER comme un nouveau jeu de données massif et hautement détaillé. C'est une boîte à outils pour les informaticiens qui souhaitent apprendre aux machines à comprendre l'attention et les émotions humaines dans des contextes scolaires réels. Les auteurs ont rendu ces données disponibles aux autres chercheurs afin qu'ils puissent développer de meilleurs outils d'IA, à condition que ces outils soient utilisés pour des études académiques et non pour la vente de produits.
Note : L'article se concentre entièrement sur la création et la validation de ce jeu de données. Il ne prétend pas que ce système est actuellement utilisé pour noter les étudiants, diagnostiquer des conditions médicales ou modifier la gestion des écoles ; il s'agit strictement d'une ressource pour la recherche.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.