DIPSER: A Dataset for In-Person Student Engagement Recognition in the Wild
Dieser Beitrag stellt DIPSER vor, einen neuartigen und umfassenden Datensatz für die Erkennung des persönlichen Schülerengagements unter realen Bedingungen, der multimodale RGB-Kameradaten, Smartwatch-Sensormetriken und diverse von Experten validierte Labels einzigartig kombiniert, um die Analyse von Schüleraufmerksamkeit und -emotionen in verschiedenen Bildungskontexten zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu verstehen, wie sich ein Schüler fühlt oder wie konzentriert er während einer Unterrichtsstunde ist. Normalerweise müssen Lehrkräfte basierend auf einem schnellen Blick raten. Diese Arbeit stellt ein neues Werkzeug namens DIPSER vor, das wie ein hochtechnischer „Superbeobachter" funktioniert und genau das erfasst, was in einem echten Klassenzimmer passiert, nicht in einem künstlichen.
Hier ist eine Aufschlüsselung dessen, was die Forscher entwickelt haben, unter Verwendung einfacher Analogien:
1. Das „Allsehende Auge"-Setup
Stellen Sie sich das Klassenzimmer als eine Bühne vor. In der Vergangenheit untersuchten Forscher Schüler oft von ihren Wohnzimmern aus (Online-Unterricht) oder in sterilen Wissenschaftslaboren, wo Schauspieler die Rolle von Schülern spielten.
DIPSER ist anders. Es wurde in einem echten Universitätsklassenzimmer mit echten Schülern gefilmt. Um das vollständige Bild zu erhalten, richteten sie eine „Überwachungs-Schwarm"-Einrichtung ein:
- Die Weitwinkelansicht: Sie hielten Kameras hoch auf (wie ein Sicherheitsbeamter, der herabschaut), um den gesamten Raum, die Körperhaltungen der Schüler und ihre Interaktionen miteinander zu sehen.
- Die Nahaufnahme: Jeder einzelne Schüler hatte eine eigene dedizierte Kamera auf seinem Tisch, die auf sein Gesicht heranzoomte, um winzige Mimiken (wie eine hochgezogene Augenbraue oder eine Stirnrunzelung) zu erfassen.
- Die „Puls"-Überwachung: Jeder Schüler trug eine Smartwatch. Diese fungiert wie ein Fitness-Tracker und zeichnet die Herzfrequenz, die Bewegung (Gyroskop) und das Wackeln (Beschleunigungsmesser) auf.
2. Das „Fünf-Sterne"-Bewertungssystem
Wie weiß man, ob die Kameras und Uhren die Wahrheit sagen? Die Forscher verließen sich nicht nur auf Computer; sie nutzten eine „Richterbank".
Für jeden Schüler sammelten sie fünf verschiedene Meinungen darüber, wie konzentriert oder emotional der Schüler zu einem bestimmten Zeitpunkt war:
- Die eigene Stimme des Schülers: Nach dem Unterricht sah sich der Schüler das Video an und bewertete sich selbst.
- Vier Expertenrichter: Vier verschiedene menschliche Experten sahen sich das Filmmaterial an und gaben ihre eigenen Bewertungen ab.
Sie kombinierten diese zu einem „Goldstandard"-Label für jede Sekunde des Videos. Wenn ein Schüler angab, sich gelangweilt zu fühlen, und die Experten zustimmten, wurde die Daten als „langweilig" markiert.
3. Das „Neun-Szenen"-Spiel
Die Daten waren nicht nur ein langer, langweiliger Vortrag. Die Forscher filmten die Schüler, wie sie neun verschiedene Arten von Schulaktivitäten durchliefen, wie Szenen in einem Stück:
- Nachrichten lesen.
- Ideen brainstormen.
- Einen traditionellen Vortrag hören.
- Einen Quiz auf ihren Handys machen.
- Projekte präsentieren.
- Mit Robotern spielen.
- Bildungs-Spiele entwerfen.
Diese Vielfalt ist vergleichbar mit dem Testen eines Autos auf einer Autobahn, einer Schotterstraße und einer Rennstrecke, um zu sehen, wie es unter verschiedenen Bedingungen funktioniert.
4. Die massive Bibliothek
Das Ergebnis ist eine massive digitale Bibliothek mit über 1,3 Millionen Bildern und fast 52 Stunden Videomaterial.
- Sie enthält das Rohvideo.
- Sie enthält die Smartwatch-Daten (Herzschläge, Bewegungen).
- Sie enthält „vorgepackte" Daten, bei denen Computer bereits Gesichter umrahmt, Alter geschätzt und Emotionen erraten haben, was anderen Forschern Zeit spart.
5. Warum dies wichtig ist (laut der Arbeit)
Die Autoren argumentieren, dass frühere Datensätze wie „Übungstests" (Online oder gefälschte Labore) waren, die das echte Leben nicht widerspiegelten.
- Realismus: Dies wurde „in freier Wildbahn" (in einem echten Klassenzimmer) gefilmt.
- Vielfalt: Es enthält Schüler unterschiedlicher Hintergründe (in dieser Version werden spezifisch kaukasische Probanden erwähnt, obwohl geplant ist, später mehr Vielfalt hinzuzufügen).
- Tiefe: Es ist das erste, das Video, Smartwatch-Sensoren und mehrere menschliche Experten in einem echten Klassenzimmer kombiniert.
Das Fazit
Die Arbeit stellt DIPSER als neuen, massiven und hochdetaillierten Datensatz vor. Es ist ein Werkzeugkasten für Informatiker, die Maschinen beibringen möchten, menschliche Aufmerksamkeit und Emotionen in realen Schulumgebungen zu verstehen. Die Autoren haben diese Daten anderen Forschern zur Verfügung gestellt, damit sie bessere KI-Werkzeuge entwickeln können, sofern diese Werkzeuge für akademische Studien und nicht für den Verkauf von Produkten verwendet werden.
Hinweis: Die Arbeit konzentriert sich ausschließlich auf die Erstellung und Validierung dieses Datensatzes. Sie behauptet nicht, dass dieses System derzeit verwendet wird, um Schüler zu benoten, medizinische Zustände zu diagnostizieren oder den Schulbetrieb zu verändern; es ist strikt eine Ressource für die Forschung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.