기술 요약: 대면 학생 참여 인식을 위한 DIPSER 데이터셋

문제 제기

자연스러운 환경 ("야외") 에서 학생의 주의를 평가하기 위해 딥러닝 알고리즘을 적용하는 것은 고품질 멀티모달 데이터셋의 부족으로 인해 방해받고 있습니다. 기존 자원들은 종종 다음과 같은 중대한 한계를 겪고 있습니다:

• 문맥적 인공성: BAUM-1 과 같은 많은 데이터셋은 배우가 등장하는 실험실 환경에서 촬영되어 감정을 과장하고 실제 교실의 예측 불가능성이 결여되어 있습니다.
• 원격 제한: DAISEE 와 EmotiW 와 같은 대표적인 데이터셋은 온라인 세션 기록에 의존합니다. 이러한 데이터셋은 학생들의 물리적 상호작용, 자세, 그리고 환경적 문맥을 포착할 수 있는 능력이 부족합니다.
• 센서 결핍: 현재 데이터셋들은 종종 관성 측정 장치 (IMU) 데이터 (예: 심박수, 가속도계, 자이로스코프) 를 생략하여 생리학적 지표와 주의력 간의 상관관계 연구를 방해합니다.
• 인구통계학적 및 시간적 제약: 기존 수집 자료들은 종종 제한된 민족적 다양성 (예: 주로 인도계 또는 아시아계 대상) 과 짧은 비디오 길이 (종종 5 분 미만) 를 특징으로 하여, 일반화 가능성과 지속적인 참여 분석을 제한합니다.

방법론

이 논문은 알리칸테 대학교의 실제 교실 환경에서 촬영된 포괄적인 멀티모달 데이터셋인 DIPSER(대면 학생 참여 인식을 위한 데이터셋) 를 소개합니다.

실험 설계

• 환경: 교육학부 내의 표준 교실에서 데이터를 수집했으며, 세 개의 기존 학생 그룹 (두 개의 유아교육 학부 그룹과 하나의 석사 과정 그룹) 이 참여했습니다.
• 세션: 전통적인 강의와 뉴스 읽기부터 브레인스토밍, 로봇 공학 실험, 그리고 협력적 설계 과제에 이르기까지 아홉 가지 별도의 실험 활동이 수행되었습니다.
• 지속 시간: 각 세션은 5 분 동안 기록되어 기존 데이터셋들보다 더 실질적인 시간적 창을 제공합니다.

데이터 수집 설정

캡처 인프라는 여러 소스로부터의 데이터 흐름을 관리하기 위해 Raspberry Pi Model 4-B 유닛을 기반으로 한 중앙 집중식 시스템을 활용했습니다:

• 시각 데이터:
  • 문맥 카메라: 최대 여섯 대의 고해상도 (1280 × 720 픽셀) RGB 카메라가 약 9 fps 로 일반적인 교실 환경과 학생의 자세를 촬영했습니다.
  • 개별 카메라: 각 학생은 미세 표정을 약 10 fps 로 포착하기 위해 얼굴에 초점을 맞춘 전용 카메라 (640 × 480 픽셀) 를 할당받았습니다.
• 센서 데이터: 각 참여자는 Samsung Galaxy Watch 5 를 착용하여 로컬 Wi-Fi 네트워크를 통해 Raspberry Pis 로 IMU 데이터 (선형 가속도, 자이로스코프, 조도 센서, 회전 벡터) 와 심박수 (심박수) 를 전송했습니다.
• 동기화: 강제 밝기 변화를 통해 검증된 0.5 초 미만의 불일치로 카메라 타임스탬프와 센서 데이터가 정렬되도록 하는 맞춤형 동기화 프로토콜이 사용되었습니다.

라벨링 및 주석

• 기준 진실 (Ground Truth): 주의력 및 감정 라벨은 네 명의 전문가 평가자와 학생 한 명당 한 번의 자기 평가를 포함한 엄격한 과정을 통해 생성되었습니다.
  • 주의력: 1~5 척도로 측정 (1 = 낮음, 5 = 최대).
  • 감정: Pekrun 과 Goldberg 의 척도에 기반하여 아홉 가지 범주 (즐거움, 희망, 자부심, 안도, 분노, 불안, 수치심, 절망, 지루함) 로 분류되었습니다.
• 전처리: 데이터셋에는 YOLO, MiVOLO, MediaPipe, DeepFace 와 같은 도구를 사용하여 생성된 바운딩 박스 (얼굴/신체), 인구통계학적 추정치 (연령/성별/민족성), 얼굴/손 메쉬, 시선 추정, 그리고 머리 자세가 포함된 처리된 파일이 포함되어 있습니다.

주요 기여

1. 멀티모달 통합: DIPSER 는 단일 대면 교육 환경 내에서 고해상도 RGB 비디오 (문맥 및 개별), IMU 센서 데이터, 그리고 상세한 주의력/감정 라벨을 결합한 최초의 데이터셋입니다.
2. 규모와 다양성: 이 데이터셋은 1,311,761 장의 이미지로 구성되어 있으며, 압축되지 않은 기록 총계는 3,080.73 분입니다. 이는 서구 교육 환경의 백인 대상과 같은 소외된 민족성과 다양한 교육 수준을 포함합니다.
3. 포괄적인 주석: 원시 데이터 외에도 사전 계산된 바운딩 박스, 메쉬 랜드마크, 그리고 다중 평가자 라벨을 포함한 광범위한 메타데이터가 릴리스에 포함되어 머신러닝 연구에 즉시 적용할 수 있도록 합니다.
4. 실제 세계 타당성: 실험실 기반 또는 온라인 데이터셋과 달리 DIPSER 는 학생의 이동, 협력, 그리고 다양한 교실 역학을 포함하는 "야외" 상호작용의 복잡성을 포착합니다.

결과 및 기술적 검증

이 논문은 데이터셋의 신뢰성에 대한 정성적 및 정량적 검증을 제시합니다:

• 동기화: 카메라와 센서 타임스탬프 간의 시간 불일치가 무시할 수 있을 정도로 작음 (<0.5 초) 을 확인했습니다.
• 완전성: 데이터셋이 생체 지표 및 감정 상태 포함하여 의도된 모든 속성을 포착함을 확인했습니다.
• 일관성: 데이터 수집 방법은 세션 전반에 걸쳐 균일했으며, 시스템 고장으로 인한 중요한 데이터 부재는 예상된 무작위 변이성을 제외하고 발생하지 않았습니다.
• 데이터 무결성: 모든 세션에 걸쳐 일관된 데이터 유형과 형식을 보장하여 효율적인 검색을 위해 데이터셋 구조가 검증되었습니다.

중요성

저자들은 DIPSER 를 감성 컴퓨팅 및 교육 데이터 마이닝 분야를 발전시키는 데 중요한 자원으로 위치시킵니다. 생리학적 센서의 부재, 실험실 환경의 인공성, 그리고 온라인 전용 기록의 한계와 같은 이전 데이터셋의 결함을 해결함으로써 DIPSER 는 다음을 가능하게 합니다:

• 실제 교실 시나리오로 일반화될 수 있는 딥러닝 모델의 훈련.
• 생리학적 지표 (심박수, 이동) 와 인지 상태 (주의력, 감정) 간의 상관관계에 대한 조사.
• 다양한 교육적 문맥과 인구통계학적 그룹에 걸친 학생 참여 분석.

이 데이터셋은 CC-BY 라이선스 하에 공개적으로 제공되며, 헬싱키 선언 및 알리칸테 대학교 윤리 위원회 승인을 준수하여 데이터가 오직 학술 및 연구 목적으로만 사용되도록 보장하는 엄격한 윤리 지침이 적용됩니다.