DIPSER: A Dataset for In-Person Student Engagement Recognition in the Wild
本論文では、多視点 RGB カメラデータ、スマートウォッチのセンサー指標、および多様な専門家検証ラベルを独自に組み合わせ、さまざまな教育コンテキストにおける学生の注意と感情の分析を可能にする、対面型学生のエンゲージメント認識のための新規かつ包括的な野外データセット「DIPSER」を提案する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
学生の感情や授業中の集中力がどのようになっているかを理解しようと想像してみてください。通常、教師はさっと一瞥するだけで推測するしかありません。この論文は、DIPSERという新しいツールを紹介しています。これは、架空のものではなく実際の教室で何が起こっているかを正確に捉えるように設計された、ハイテクな「スーパー・オブザーバー」のようなものです。
以下に、研究者が構築したものを簡単な比喩を用いて解説します。
1. 「全知の眼」のセットアップ
教室をステージだと考えてください。過去、研究者はよく自宅（オンライン授業）や、俳優が学生役を演じる無菌的な科学実験室から学生を研究していました。
DIPSERは異なります。これは本物の大学生と本物の教室で撮影されました。全体像を捉えるために、彼らは「監視の群れ」を設置しました。
- 広角ビュー: 部屋全体、学生の姿勢、そして学生同士の相互作用を見るために、カメラを高い位置（見下ろす警備員のように）に設置しました。
- クローズアップビュー: 学生一人ひとりの机に専用カメラを設置し、眉をひそめるや眉を上げるなどの微細な表情を捉えるために顔にズームインしました。
- 「脈拍」ウォッチ: 学生全員がスマートウォッチを着用しました。これはフィットネストラッカーのように機能し、心拍数、どの程度動いたか（ジャイロスコープ）、そしてどの程度小刻みに動いたか（加速度計）を記録します。
2. 「五つ星」評価システム
カメラやウォッチが真実を伝えているとどうやってわかるのでしょうか？研究者はコンピュータだけに頼らず、「審査員パネル」を使用しました。
各学生について、任意の瞬間における集中力や感情の度合いについて5 つの異なる意見を集めました。
- 学生自身の声: 授業後、学生はビデオを振り返って自己評価を行いました。
- 4 人の専門家審査員: 4 人の異なる人間の専門家が映像を見て、独自の評価を行いました。
これらを組み合わせて、ビデオのすべての瞬間に対する「ゴールドスタンダード」のラベルを作成しました。学生が退屈していたと述べ、専門家が同意した場合、そのデータは「退屈」としてマークされます。
3. 「九つのシーン」の劇
データは単一の退屈な講義の映像ではありませんでした。研究者は学生が9 つの異なる種類の学校活動を経験する様子を撮影しました。まるで劇のシーンのように：
- ニュースを読む。
- アイデアをブレインストーミングする。
- 伝統的な講義を聴く。
- スマホでクイズを受ける。
- プロジェクトを発表する。
- ロボットと遊ぶ。
- 教育用ゲームをデザインする。
この多様性は、車が異なる条件にどのように対処するかを見るために、高速道路、未舗装路、そしてレーストラックで車をテストするようなものです。
4. 巨大なライブラリ
その結果、130 万枚以上の画像と約 52 時間のビデオを含む巨大なデジタルライブラリが生まれました。
- 生映像が含まれています。
- スマートウォッチのデータ（心拍、動き）が含まれています。
- コンピュータがすでに顔を囲むボックスを描き、年齢を推定し、感情を推測した「パッケージ済み」データが含まれており、他の研究者の時間を節約しています。
5. これが重要な理由（論文によると）
著者らは、以前のデータセットは現実を反映していない「練習テスト」（オンラインまたは架空のラボ）のようだったと主張しています。
- リアリズム: これは「野生の状態で（実際の教室で）」撮影されました。
- 多様性: 異なる背景を持つ学生が含まれています（このバージョンでは特に白人の被験者に言及していますが、後ほど多様性を追加する計画です）。
- 深さ: これは、実際の教室環境でビデオ、スマートウォッチのセンサー、複数の人間の専門家を組み合わせた最初のものです。
結論
この論文は、DIPSERを新しい、巨大で、非常に詳細なデータセットとして提示しています。これは、現実世界の学校環境における人間の注意と感情を理解する機械を教えたいとするコンピュータ科学者向けのツールボックスです。著者らは、このデータが製品販売ではなく学術研究のために使用されることを条件に、他の研究者がより良い AI ツールを構築できるよう、このデータを公開しました。
注：この論文は完全にこのデータセットの作成と検証に焦点を当てています。このシステムが現在、学生の成績評価、医療状態の診断、または学校運営の変更のために使用されていると主張しているわけではありません。これは厳密に研究のためのリソースです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。