🤖 machine learning

Attention-Guided Dual-Stream Learning for Group Engagement Recognition: Fusing Transformer-Encoded Motion Dynamics with Scene Context via Adaptive Gating

이 논문은 개별 학생의 운동 역학과 전체 장면의 맥락을 어댑티브 게이트를 통해 융합하는 'DualEngage'라는 이중 스트림 프레임워크를 제안하여 교실 내 그룹 참여도를 96.21% 의 높은 정확도로 인식하는 방법을 제시합니다.

원저자: Saniah Kayenat Chowdhury, Muhammad E. H. Chowdhury

게시일 2026-04-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Saniah Kayenat Chowdhury, Muhammad E. H. Chowdhury

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 교실 안에서 학생들이 수업에 얼마나 집중하고 있는지 (참여도) 를 자동으로 알아내는 새로운 인공지능 시스템을 소개합니다. 이 시스템의 이름은 'DualEngage' 입니다.

기존의 방법들은 주로 "한 명 한 명의 얼굴 표정"만 보거나 "온라인 수업"에만 맞춰져 있어서, 실제 교실처럼 여러 명이 모여서 활동하는 복잡한 상황을 제대로 파악하지 못했습니다. DualEngage 는 이 문제를 해결하기 위해 두 가지 눈을 동시에 뜨는 방식을 사용합니다.

이 시스템을 이해하기 쉽게 한 팀의 축구 경기에 비유해서 설명해 드릴게요.

🏫 DualEngage: 교실 참여도를 보는 '두 개의 눈'

이 시스템은 교실이라는 경기장에서 일어나는 일을 볼 때, 두 가지 다른 관점을 동시에 분석합니다.

1. 첫 번째 눈: "선수 개개인의 움직임"을 쫓는 스카우트 (주 스트림)

이 부분은 각 학생 하나하나의 몸짓과 움직임에 집중합니다.

어떻게 하나요? 카메라로 학생들을 하나씩 찾아내고 (감지), 그들이 어떻게 움직이는지 추적합니다. 이때 단순히 얼굴만 보는 게 아니라, 광학 흐름 (Optical Flow) 기술을 써서 학생들의 손, 몸, 머리가 어떻게 움직이는지 아주 미세한 움직임까지 포착합니다. 마치 축구 스카우트가 "저 선수는 공을 차기 위해 어떻게 다리를 움직였지?"라고 세부적으로 분석하는 것과 같습니다.
왜 중요할까요? 어떤 학생은 열심히 손을 들고, 다른 학생은 몸을 앞뒤로 흔들며 집중할 수 있습니다. 이 시스템은 Transformer(변환기) 라는 기술을 써서, "이 학생이 10 초 동안 어떻게 움직였는지"의 시간 흐름에 따른 패턴을 학습합니다.
중요한 특징 (주의 집중 풀링): 모든 학생을 똑같이 취급하지 않습니다. 마치 감독이 "오늘은 A 선수의 움직임이 가장 열정적이니, 그 학생의 행동을 더 중요하게 봐야겠다"라고 판단하듯, 가장 활발하게 움직이는 학생들의 신호에 더 높은 점수를 매겨 전체적인 분위기를 판단합니다.

2. 두 번째 눈: "경기장 전체의 분위기"를 보는 감독 (부 스트림)

이 부분은 교실 전체의 광경을 한 번에 봅니다.

어떻게 하나요? 개별 학생을 쫓는 게 아니라, 교실 전체 영상을 통째로 봅니다. 학생들이 서로 어떻게 상호작용하는지, 선생님과 학생들의 리듬이 맞는지, 전체적인 교실의 에너지가 어떤지 파악합니다.
왜 중요할까요? 가끔은 학생들 individually(개별적으로) 가 크게 움직이지 않아도, 전체적으로 조용하고 집중된 분위기 (예: 시험 시간이나 강연 중) 일 수 있습니다. 반대로, 학생들이 제자리에서 가만히 있어도 서로 눈치만 보고 있을 수도 있죠. 이 '전체적인 맥락'을 파악하는 것이 중요합니다.

3. 두 눈의 합작: "스마트한 판단" (게이트 퓨전)

이 두 가지 정보가 만나서 최종 결론을 내립니다. 여기서 가장 멋진 부분은 적응형 게이트 (Adaptive Gating) 라는 기술입니다.

비유: 마치 현명한 코치가 상황에 따라 판단을 바꿉니다.
- 상황 A: 학생들이 너무 조용해서 개별적인 움직임이 거의 없을 때? → 코치는 "개별 움직임은 별로야, 대신 전체 분위기 (두 번째 눈) 를 더 믿자"라고 판단합니다.
- 상황 B: 학생들이 활발하게 움직이고 상호작용할 때? → 코치는 "전체 분위기보다 각 선수의 구체적인 행동 (첫 번째 눈) 이 더 중요해"라고 판단합니다.
이 시스템은 입력된 영상에 따라 두 정보의 비중을 자동으로 조절합니다. 그래서 어떤 상황에서도 가장 정확한 판단을 내릴 수 있습니다.

📊 결과가 어땠나요?

이 시스템은 중국 해양대학교에서 만든 실제 교실 데이터 (OUC-CGE) 로 테스트했습니다.

성적: 학생들의 참여도를 '높음', '중간', '낮음'으로 분류할 때 약 96% 의 정확도를 달성했습니다.
기존 방법과의 차이: 기존에는 얼굴 표정만 보거나 한 명만 봤는데, 이 시스템은 "개인의 움직임"과 "전체 분위기"를 합쳐서 그룹 전체의 참여도를 훨씬 정확하게 파악했습니다.

💡 요약하자면

이 논문은 "학생들이 수업에 집중하고 있는지 알기 위해서는, 얼굴 표정만 보는 게 아니라 '개인의 몸짓'과 '교실 전체의 분위기'를 동시에 보고, 상황에 따라 어느 쪽을 더 믿을지 똑똑하게 판단해야 한다" 는 아이디어를 제시합니다.

마치 축구 경기에서 개별 선수의 플레이와 팀 전체의 전술을 동시에 분석해야 승패를 예측할 수 있는 것처럼, DualEngage 는 교실이라는 복잡한 공간에서 학생들의 진정한 참여도를 찾아내는 똑똑한 AI 입니다.

논문 요약: 그룹 참여도 인식을 위한 주의 기반 이중 스트림 학습

1. 문제 정의 (Problem)

배경: 그룹 활동에서의 학생 참여도 (Engagement) 는 학습 성과와 직접적인 연관이 있으며, 행동적, 정서적, 인지적 차원으로 나뉩니다.
현황 및 한계:
- 기존 자동 참여도 인식 방법은 주로 온라인 수업 환경이나 개별 학생 수준에 초점을 맞추고 있습니다.
- 얼굴 표정이나 자세 (Pose) 기반 방법은 가림 (Occlusion), 조명 변화, 카메라 각도 등에 민감하며, 복잡한 그룹 역학 (Group Dynamics) 을 포착하지 못합니다.
- 개별 학생의 행동만 분석하면 그룹 전체의 동기화 (Synchrony) 나 집단적 참여 패턴을 놓칠 수 있습니다.
목표: 교실 환경의 비디오를 기반으로 **그룹 수준 (Group-level)**의 참여도 (높음, 중간, 낮음) 를 정확하게 인식하는 새로운 프레임워크 개발.

2. 제안 방법론: DualEngage (Methodology)

저자들은 개별 학생의 운동 역학 (Motion Dynamics) 과 전체 장면의 맥락 (Scene Context) 을 결합하는 이중 스트림 (Dual-Stream) 아키텍처인 DualEngage를 제안했습니다.

주요 스트림 (Primary Stream - 개인 수준 운동 분석):
1. 탐지 및 추적: OpenMMLab 라이브러리를 사용하여 비디오 프레임별 학생을 탐지 (Faster R-CNN) 하고 추적 (Deep SORT) 하여 개별 학생의 클립을 생성합니다.
2. 광학 흐름 (Optical Flow) 추출: RAFT (Recurrent All-Pairs Field Transforms) 네트워크를 사용하여 개별 학생의 밀집 광학 흐름 (Dense Optical Flow) 을 추출합니다. 이는 포즈 추정보다 가림이나 미세한 움직임에 더 강건합니다.
3. 시간적 모델링 (Temporal Modeling): 추출된 운동 흐름을 Transformer Encoder에 입력하여 장기적인 시간적 의존성 (Long-range dependencies) 을 학습합니다.
4. 주의 풀링 (Attention Pooling): 모든 학생을 동등하게 처리하는 평균 풀링 대신, 행동적으로 중요한 학생에게 더 높은 가중치를 부여하는 주의 풀링 메커니즘을 적용하여 단일 운동 표현 벡터를 생성합니다.
보조 스트림 (Secondary Stream - 장면 수준 맥락 분석):
- 전체 비디오 클립을 입력으로 받아 사전 학습된 3D ResNet-18을 사용하여 공간 - 시간 (Spatiotemporal) 특징을 추출합니다.
- 이는 개별 학생의 움직임이 아닌, 그룹 전체의 동기화, 교사의 템포, 집단적 상호작용 등을 포착합니다.
적응형 게이트 퓨전 (Adaptive Gated Fusion):
- 두 스트림의 출력을 단순히 연결 (Concatenation) 하는 대신, Softmax 게이트 퓨전을 도입합니다.
- 입력 데이터의 맥락에 따라 각 스트림의 기여도를 동적으로 가중치 ( $\alpha, \beta$ $α, β$ ) 하여 조정합니다.
  - 예시: 개별 운동이 모호할 때는 장면 맥락 스트림의 가중치를 높이고, 개별 행동 패턴이 뚜렷할 때는 운동 스트림의 가중치를 높입니다.
- 최종적으로 분류 헤드를 통해 참여도 수준 (높음, 중간, 낮음) 을 예측합니다.

3. 주요 기여 (Key Contributions)

새로운 이중 스트림 아키텍처: 개별 운동 역학과 집단적 장면 맥락을 결합하여 그룹 참여도를 모델링하는 최초의 시도 중 하나입니다.
Transformer 기반 운동 모델링: RAFT 를 통한 밀집 광학 흐름 추출과 Transformer 인코더를 활용한 개별 학생의 시간적 행동 패턴 학습.
참여도 인식 주의 풀링 (Engagement-aware Attention Pooling): 모든 학생을 동등하게 취급하지 않고, 행동적으로 가장 중요한 학생의 신호를 강조하는 어텐션 풀링 메커니즘 도입.
맥락 기반 적응형 퓨전: 개별 운동 신호가 불명확한 경우를 보완하기 위해, 두 스트림의 기여도를 동적으로 조절하는 Softmax 게이트 퓨전 제안.
포괄적인 실험 검증: OUC-CGE 데이터셋을 활용한 5 교차 검증 및 각 구성 요소의 기여도를 분석한 상세한 제거 실험 (Ablation Study) 수행.

4. 실험 결과 (Results)

데이터셋: 중국 해양대학교 (Ocean University of China) 가 개발한 OUC-CGE (Classroom Group Engagement) 데이터셋 사용 (약 6,700 개의 10 초 클립, 3 가지 참여도 레이블).
성능 지표 (5-fold Cross-Validation 평균):
- 정확도 (Accuracy): $0.9621 \pm 0.0161$
- Macro-averaged F1 Score: $0.9530 \pm 0.0204$
- Macro-Recall: $0.9561 \pm 0.0165$ (소수 클래스 포함 모든 클래스에서 높은 회복력)
제거 실험 (Ablation Study) 결과:
- 단일 스트림 (운동만 또는 장면만) 은 성능이 현저히 저하됨 (정확도 약 0.53~0.62).
- Transformer 인코더 제거 시 성능 급감 (시간적 의존성 학습의 중요성 입증).
- LSTM 이나 1D CNN 보다 Transformer 기반 모델이 우수함.
- 주의 풀링과 게이트 퓨전을 제거한 모델보다 제안된 모델이 모든 지표에서 최상위 성능을 기록함.

5. 의의 및 결론 (Significance)

기술적 의의: 기존의 얼굴/자세 중심 접근법의 한계를 극복하고, **운동 (Motion)**과 **장면 맥락 (Scene Context)**을 통합하여 복잡한 교실 환경의 그룹 참여도를 효과적으로 인식할 수 있음을 입증했습니다.
실용적 가치: 교실 내 대규모 학생 그룹의 참여도를 실시간으로 모니터링하고, 학습 효과를 극대화하기 위한 피드백 시스템 구축에 기여할 수 있습니다.
한계 및 향후 과제: RAFT 기반 광학 흐름 추정의 높은 계산 비용과 가림 (Occlusion) 상황에서의 추적 불안정성이 존재합니다. 향후 시선 (Gaze) 정보나 교사의 행동, 자세 데이터 등을 추가로 통합하여 저운동 (Low-motion) 상황에서의 모호성을 해결할 필요가 있습니다.

이 논문은 그룹 활동 인식 분야에서 운동 신호를 명시적으로 활용하고, 개별 및 집단적 특징을 적응적으로 융합하는 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.