Ordered Network Analysis of Epistemic Emotions during Collaborative Problem Solving

기술 요약: 협력적 문제 해결 과정 중 인식적 정서의 순서 네트워크 분석

문제 제기
협력적 문제 해결(Collaborative Problem Solving, CPS) 상황에서 인식적 정서(예: 혼란, 좌절, 호기심)의 역동성을 이해하는 것은 적응형 학습 시스템을 개발하는 데 매우 중요하다. 그러나 이러한 상태를 정확하게 식별하는 것은 '골드 스탠다드(gold-standard)'라 할 수 있는 정답(ground truth)의 부재로 인해 여전히 어려운 과제로 남아 있다. 전통적인 측정 방식들은 상당한 트레이드오프에 직면한다. 사고 구술법(think-aloud protocols)이나 생리적 센서는 자연스러운 상호작용을 방해할 위험이 있고, 로그 데이터는 짧은 과제 수행 중 발생하는 정서적 과정을 포착하기에는 세밀함이 부족할 수 있다. 또한, 사후 회상 보고(retrospective self-reports)는 회상 편향과 시간적 부정확성의 문제를 안고 있다. 결과적으로 연구자들은 정서적 상태를 독립적인 것으로 취급하여 서술적 요약에 의존하는 경향이 있으며, 이는 상태 간의 순차적 전이와 공존을 간과하게 된다. 따라서 시간적으로 성긴 소규모 교육 데이터셋에서도 인식적 상태의 순서화된 흐름을 탐색하기 위해 단순 기술 통계를 넘어설 수 있는 방법론적 필요성이 존재한다.

연구 방법론
본 연구는 9개 그룹(그룹당 3명, 총 27명)의 참가자들이 수행한 짧고 상황적인 CPS 과제("Weights Task")를 통해 수집된 정서 상태를 분석한다. 상호작용의 흐름을 방해하지 않으면서 내부 상태를 포착하기 위해, 연구진은 사후 매개 회상(Retrospective Cued-Recall, RCR) 절차를 채택하였다. 참가자들은 협업 영상을 다시 보며 인터랙티브 설문 도구를 사용하여 정서 상태를 보고하였다. 보고는 다음 두 가지 유형으로 분류되었다:

1. 자발적 보고(Self-caught): 참가자가 어느 시점에서든 자발적으로 시작한 보고.
2. 프롬프트 기반 보고(Probe-caught): 일정 시간(60초) 동안 활동이 없을 때 자동으로 트리거된 보고.

참가자들은 미리 정의된 7가지 정서 상태(혼란, 호기심, 좌절, 몰입 저하, 낙관, 놀람, 갈등) 중에서 선택하였다.

정서 보고의 시간적 구조를 분석하기 위해 저자들은 **순서 네트워크 분석(Ordered Network Analysis, ONA)**을 활용하였다. 분석 창(analytic window) 내에서 시간적 순서를 무시하는 일반적인 인식 네트워크 분석(ENA)과 달리, ONA는 시간적 순서를 통합하여 이전에 보고된 상태와 나중에 보고된 상태 사이의 방향성 관계를 모델링한다.

• 데이터 구조: 각 정서 보고를 하나의 데이터 라인으로 취급하였으며, 그룹을 분석 단위로, 참가자의 응답 시퀀스를 하나의 "대화(conversation)"로 간見하였다.
• 윈도잉(Windowing): 단기적 지속성과 전이를 포착하기 위해 2개의 이벤트를 포함하는 이동 창(moving window)을 사용하였다. 민감도 분석 결과, 윈도우 크기가 2, 3, 4일 때 모두 결과가 견고함을 확인하였다.
• 비교 모델: 연구진은 다음을 비교하기 위해 ONA 모델을 구축하였다:
  • 보고 메커니즘 (자발적 보고 vs. 프롬프트 기반 보고).
  • 과제 수행 시간 그룹 (빠른 그룹 vs. 느린 그룹, 중앙값 분할을 통해 결정).
    차이 네트워크(difference networks)를 사용하여 그룹 간 연결 가중치의 대조를 시각화하였으며, 클래스 불균형(프롬프트 기반 64%, 자발적 보고 36%)을 고려하여 보고 메커니즘별로 별도의 네트워크를 구축하였다.

주요 결과

1. 안정적인 인식적 핵심(Stable Epistemic Core): 모든 조건에서 ONA는 호기심, 낙관, 혼란을 연결하는 안정적인 핵심 구조를 드러냈다. 이 상태들은 가장 강력한 순서적 연결과 자기 전이(self-transitions)를 보였으며, 이는 CPS에서의 정서적 경험이 급격한 전환보다는 단기적 지속성을 특징으로 함을 나타낸다.
2. 과제 수행 시간(속도)의 영향:
   • 빠른 그룹: 호기심과 낙관 사이의 전이를 중심으로 한 순서적 구조를 보였다. 몰입 저하(Disengagement)는 낙관 이후에 나타나는 주변부 상태로 나타났다. 이는 정서적 마찰이 줄어든 더 매끄러운 조율을 시사한다.
   • 느린 그룹: 혼란, 갈등, 좌절 사이의 양방향 전이가 유의미하게 강하게 나타났다. 특히, 느린 그룹은 빠른 그룹에 비해 혼란에서 갈등으로 전이될 가능성이 훨씬 높았다. 이는 느린 그룹이 지속적인 인식적 투쟁과 갈등 중심의 정서를 경험했음을 의미한다.
3. 보고 메커니즘의 영향:
   • 프롬프트 기반 보고: 핵심 인식 상태(호기심, 낙관, 혼란) 사이의 강한 자기 루프(self-loops)를 특징으로 하며, 이는 진행 중인 상태에 대한 지속적인 샘플링을 시사한다.
   • 자발적 보고: 좌절, 놀람, 갈등과 같은 고각성(high-arousal) 상태를 포함하는 더 분산된 전이를 보였다. 상태 간의 관계 또한 변화하였는데, 예를 들어, 호기심과 혼란 사이의 연결은 전체 데이터셋과 비교했을 때 역전된 양상을 보였으며, 혼란은 몰입 저하와 더 가깝게 나타났다.

의의 및 주장
본 논문은 ONA가 기술적 요약을 넘어 지속성과 전이 패턴을 밝혀냄으로써 방법론적 진보를 제공한다고 주장한다. 연구 결과는 세 가지 주요 통찰을 제공한다:

• 정서적 조직화: 협력의 속도는 단순히 수행 품질의 대리 지표가 아니라, 정서적 및 인식적 조직화의 차이를 반영한다. 빠른 그룹은 더 매끄러운 조율을 달성하는 반면, 느린 그룹은 지속적인 투쟁에 참여한다.
• 정서의 구별된 역할: 본 연구는 혼란(느린 그룹에서 생산적 투쟁 및 갈등과 연결됨)과 몰입 저하(빠른 그룹에서 일시적인 상태로 나타남) 사이의 중요한 차이를 강조한다.
• 도구의 효과: 보고 메커니즘(자발적 vs. 프롬프트 기반)의 선택은 관찰되는 정서 구조를 유의미하게 형성한다. 프롬프트 기반 보고는 핵심 인식 상태의 안정성을 강조하는 반면, 자발적 보고는 인지된 정서적 변화와 고각성 돌발 상황을 포착한다.

AI 시스템에 대한 시사점
저자들은 CPS를 지원하도록 설계된 AI 시스템이 고립된 정서 신호나 요약 통계에 기반하여 개입을 트리거하는 수준을 넘어서야 한다고 제안한다. 대신, AI 시스템은 시간 경과에 따른 정서 상태의 **국소적 궤적(local trajectories)**을 모니터링해야 한다. 구체적으로, 적응형 시스템은 "생산적 투쟁"(침묵이 유지될 수 있음)과 "투쟁 없는 몰입 저하"(개입이 필요할 수 있음)를 구분할 수 있도록 설계되어야 하며, 혼란과 몰입 저하가 협력적 궤적을 형성하는 데 있어 서로 다른 역할을 한다는 점을 인식해야 한다.

한계점
저자들은 작은 표본 크기, 인구통계학적 편향(주로 남성), 그리고 고정된 레이블 사용의 한계를 인정한다. 또한, RCR 방식의 특성상 회상 편향과 시간적 부정확성이 발생할 수 있다. 본 연구는 모든 그룹이 과제를 성공적으로 완료했기 때문에 정서 구조와 학습 성과 또는 솔루션 품질 간의 상관관계를 도출하지 않았다. 향후 연구에서는 자기 보고를 생리적 신호와 삼각 측량(triangulate)하고, ONA로 도출된 정서 조직과 학습 성과 간의 관계를 조사할 것을 제안한다.