Classroom Behavior Monitoring with YOLO An Empirical Study in Higher Education Settings

교실을 분주한 주방이라고 상상해 보세요. 보통 헤드 셰프(교사)는 요리사들(학생들)이 채소를 다듬고 있는지, 레시피를 읽고 있는지, 아니면 그냥 창밖을 멍하니 바라보고 있는지 알기 위해 자신의 눈과 직관에 의존해야 합니다. 때때로 셰프는 지치기도 하고, 무언가를 놓치기도 하며, 그들의 의견은 때때로 추측에 불과할 수도 있습니다.

이 논문은 마치 기술에 능숙한 수셰프들이 주방을 관찰하고, 지치거나 편향되지 않은 채로 정확히 무슨 일이 일어나고 있는지 셰프에게 알려줄 수 있는 초스마트 로봇 카메라 시스템을 설치하기로 결정한 것과 같습니다.

이 프로젝트의 내용을 쉬운 용어로 정리하면 다음과 같습니다:

1. 문제점: "사람의 눈은 지친다"

저자들은 학생들을 관찰하는 것이 매우 힘든 작업이라는 점에 주목했습니다. 만약 교사가 하루 종일 누가 집중하고 있고 누가 휴대폰을 확인하는지 추적하려 한다면, 세부 사항을 놓치거나 불공평해질 수 있습니다. 그들은 단순히 영상을 녹화하는 것을 넘어, 보이는 것을 실제로 '이해'할 수 있는 보안 카메라처럼 명확하고 객적인 그림을 얻을 수 있는 방법을 원했습니다.

2. 해결책: "스마트한 눈" (컴퓨터 비전)

그들은 **컴퓨터 비전(Computer Vision)**이라는 기술을 사용하여 시스템을 구축했습니다. 이것은 컴퓨터에게 눈을 달아주고 특정 행동을 인식하도록 훈련된 뇌를 주는 것이라고 생각하면 됩니다.

• 데이터셋 (레시피 북): 그들은 단순히 무엇을 찾을지 추측하지 않았습니다. 베트남 은행 아카데미(Banking Academy of Vietnam)에서 촬영한 13개의 실제 수업 영상을 활용했습니다. 그들은 영상을 프레임 단위로 관찰하며 컴퓨터에게 무엇을 찾아야 하는지 수동으로 가르쳤습니다. 그리고 일종의 행동 메뉴처럼 9가지 특정 행동 목록을 만들었습니다:
  • 좋은 행동: 칠판 보기, 손 들기, 노트 읽기, 수업을 위해 컴퓨터 사용하기.
  • 나쁜 행동: 음식 먹기, 대화하려고 몸 돌리기, 휴대폰 사용하기, 또는 단순히 주의가 산만해진 모습.
  • 중립: 교사를 보거나 식별할 수 없는 것을 보는 경우.

3. 훈련: 최고의 "탐정" 선택하기

그들은 어떤 AI 모델(탐정)이 이러한 행동을 포착하는 데 가장 적합한지 확인하기 위해 여러 가지 다른 모델을 테스트했습니다. 기존의 오래된 모델과 더 새롭고 빠른 모델들을 비교했습니다.

• 우승자: YOLOv11 모델이 챔피언이었습니다. "YOLO"는 "You Only Look Once(한 번만 본다)"의 약자로, 이는 이 모델이 믿을 수 없을 정도로 빠르고 순식간에 사물을 포착할 수 있다는 뜻입니다.
• 점수: YOLOv11은 약 **79%**의 정확도를 기록했습니다. 이는 컴퓨터가 학생의 휴대폰 사용을 목격했을 때, 100번 중 79번은 정확했다는 것을 의미합니다. 이 모델은 "휴대폰 사용"이나 "음식 먹기" 같은 행동을 포착하는 데는 뛰어났지만, 더 미묘한 행동을 포착하는 데는 다소 어려움이 있었습니다.

4. 결과: 카메라가 본 것

이 로봇 눈을 훈련시킨 후, 그들은 실제 수업을 1시간 이상 관찰하게 했습니다. 그 결과는 다음과 같습니다:

• "휴대폰 vs 노트북" 대결: 학생들이 가장 많이 하고 있었던 행동은 컴퓨터를 사용하는 것(28%)이었습니다. 하지만 "주의가 산만해진" 모든 행동(고개를 돌리거나, 휴대폰을 쓰거나, 혹은 단순히 불분명한 상태 등)을 모두 합치면, 절반 이상의 시간 동안 학생들은 수업에 완전히 집중하지 못하고 있었습니다.
• "집중도 곡선": 시스템은 마치 롤러코스터와 같은 패턴을 발견했습니다.
  • 학생들은 시작 단계에서는 괜찮았습니다.
  • 처음 10분이 지난 후부터 집중력이 떨어지기 시작했습니다.
  • 큰 하락 지점: 집중력이 가장 크게 떨어지는 시점은 수업의 마지막 10분 동안이었습니다. 이는 마치 처음에 전력 질주를 했다가 중간에 속도가 줄어들고, 결승선 직전에 완전히 멈춰버리는 러너와 같습니다.
• 연관성: 컴퓨터는 학생들이 수업을 위해 컴퓨터를 사용할 때 주의가 산만해질 가능성이 낮다는 것을 발견했습니다. 하지만 고개를 돌리거나 알 수 없는 것을 보고 있을 때는 확실히 주의를 기울이지 않고 있었습니다.

5. 결론: 교사를 위한 새로운 도구

이 논문은 이 "스마트 카메라" 시스템이 효과적이라고 결론짓습니다. 이 시스템은 사람이 하루 종일 화면을 쳐다보지 않고도 학교 측에 학급의 참여도를 정확히 알려줄 수 있습니다.

• 현재 할 수 있는 것: 학교 행정가들이 큰 그림을 볼 수 있도록 도와줍니다. 이제 그들은 "우리 학생들은 매 강의 마지막 10분에 집중력을 잃는구나. 수업을 마무리하는 방식을 바꿔야겠다"라고 말할 수 있습니다.
• 아직 할 수 없는 것: 저자들은 이 시스템이 완벽하지 않다는 점을 인정합니다. 특정하고 까다로운 행동을 식별하는 데 때때로 어려움을 겪으며, 더 좋아지기 위해서는 더 많은 데이터가 필요합니다. 또한, 아직 실시간(라이브)으로 작동하게 만드는 방법을 찾아내지 못했으며, 학생들의 개인정보 보호 문제에도 매우 주의해야 한다고 언급했습니다.

요약하자면: 저자들은 학생들이 공부를 하고 있는지 아니면 딴짓을 하고 있는지를 포착하는 법을 배운 로봇 눈을 만들었습니다. 이 시스템은 학생들이 수업 끝 무렵에 지친다는 것과 휴대폰 사용이 큰 방해 요소라는 것을 밝혀냈습니다. 이 도구는 교사들에게 교실의 역동성을 이해할 수 있는 새로운 객관적 방법을 제공합니다.