기술 요약: GroupAffect-4

문제 제기

기존 감성 컴퓨팅 및 사회적 신호 처리 코퍼스는 일반적으로 단일 참여자 또는 이인 (dyadic) 환경에서의 인간 상호작용을 포착합니다. 이러한 데이터셋은 귀중한 통찰력을 제공하지만, 세 가지 수준에서 동시에 발생하는 결합된 과정으로서 공존하는 그룹 내 감성 분석을 지원하는 경우는 드뭅니다:

1. 개인 내 (Within-person): 생리학적 상태, 주의, 그리고 인지적 부하.
2. 개인 간 (Between-person): 성격, 신뢰, 그리고 협상 입장.
3. 그룹 수준 (Group-level): 발언권 균형, 조정, 그리고 집단적 결과.

현재 문헌은 종종 필요한 신호 (참여자별 생리학적 데이터, 안구 운동, 오디오, 자기 보고, 작업 결과, 성격) 를 별도의 데이터셋 전통에 걸쳐 분할합니다. 모든 이러한 양식을 단일 동기화된 4 인 그룹 환경에서 결합하여 수준 간 분석 (예: 생리적 각성이 주관적 지배성을 추적하는지, 또는 생리학과 무관하게 오디오 중첩이 인지적 요구를 예측하는지 테스트) 을 가능하게 하는 공개적으로 기술된 코퍼스가 부족합니다.

방법론

데이터셋 설계 및 참여자

GroupAffect-4는 4 인 그룹 10 세션 ($N=40$명의 고유한 참여자) 으로 구성된 다중 양식 코퍼스입니다. 이 연구는 덴마크의 GN Advanced Science 단일 사이트에서 수행되었으며, 참여자는 내부 직원 및 대학 네트워크에서 모집되었습니다. 코호트의 평균 연령은 35.4 세 (표준편차 9.2) 이며, 대부분은 낯선 사람들입니다 (7 점 척도에서 세션 전 친밀도 평점 평균 1.68).

실험 프로토콜

각 세션은 약 70 분간 지속되었으며, 교차 평형을 적용하지 않은 고정된 순서를 따랐습니다:

• T0 (자유 대화 기준선): 센서 안정화를 위한 5 분의 비구조적 대화.
• T1 (숨겨진 프로필 의사결정): 비대칭 정보를 가진 채용 결정에 대한 합의를 요구하는 그룹 추론 작업.
• T2 (미니 협상): 상호의존적 이익을 포함하는 작업으로, 그룹이 워크숍 주제와 형식을 협상합니다.
• T3 (아이디어 생성): 아이디어를 생성하고 선택하기 위해 명목 그룹 기법 (NGT) 을 사용하는 창의적 작업.
• T4 (공공재 게임): 토큰 기여를 통해 협력적 긴장과 사회적 비교를 측정하는 마이크로 게임.

데이터 수집 및 양식

참여자들은 다음 장비로 계측되었습니다:

• 생리학: 광용적맥파 (PPG), 피부전도활동 (EDA), 피부 온도, 그리고 IMU 를 약 25Hz 로 기록하는 EmotiBit 손목 센서.
• 안구 추적: 50Hz 로 헤드 상대 장면 프레임 시선 및 동공 직경을 기록하는 Tobii Pro Glasses 3.
• 오디오: 48kHz 로 기록된 근접 대화용 DPA 4060 래플 마이크.
• 자기 보고: 예정된 간격으로 수집된 쾌락 (Valence), 각성 (Arousal), 지배성 (Dominance) (VAD) 을 위한 태블릿 기반 자기 평가 만인 (Self-Assessment Manikin, SAM) 프로브 및 작업 후 설문지.
• 성격: 세션 전 Big-Five Inventory (BFI-44) 점수.
• 동기화: 모든 양식은 공통 Lab Streaming Layer (LSL) 시간 기준을 통해 동기화되었으며, 오디오에는 하드웨어 클록 드리프트 보정이 적용되었습니다.

처리 및 벤치마크

배포는 Croissant 메타데이터를 갖춘 BIDS 에서 영감을 받은 구조를 따릅니다. 저자는 세 가지 분석 수준에 걸쳐 15 개의 벤치마크 목표를 정의하고, 테스트 폴드의 참여자가 훈련 데이터와 상호작용 맥락을 공유하지 않도록 보장하기 위해 **Leave-One-Group-Out Cross-Validation (LOGO-CV)**을 사용하여 실행 가능성 기준선을 수립했습니다.

• 수준 1 (개인 내 상태): 작업 레이블, 쾌락, 각성, 지배성, 정신적 요구, 참여도, 만족도, 그리고 신뢰를 예측.
• 수준 2 (개인 간 특성): BFI 성격 특성 (외향성, 개방성, 성실성) 및 기여 수준을 예측.
• 수준 3 (그룹 역학): 발언 지니 계수 (불평등) 및 발언 중첩 비율을 예측.

전처리에는 품질 게이팅, 타당성 확인, 윈소라이제이션, 그리고 개인 내 robust z-score 정규화 (수준 1 용) 또는 절대 특성 유지 (수준 2 용) 가 포함되었습니다.

주요 결과

데이터 품질 및 커버리지

데이터셋은 높은 신호 무결성을 보여줍니다:

• 생리학: 예상 행의 91.0% 관찰; PPG/EDA/온도의 76.0% 사용 가능성.
• 안구 추적: 행의 98.0% 관찰; 시선 87.2% 및 동공 95.4% 사용 가능성.
• 오디오: 사용 가능성에 대한 95% 통과율.
• 자기 보고: 작업 후 항목에 대한 전체 완성도 98.9%.

벤치마크 성능

• 작업 분류 (B0): 64.1% 정확도 달성 (26.5% 기준선 대비), 작업이 행동적으로 구별 가능함을 확인.
• 개인 내 상태:
  • 정신적 요구 (B3a): 가장 강력한 신호 (AUC 0.719) 로, 주로 단일 오디오 특성인 *중첩 비율 (overlap fraction)*에 의해 주도됨. 이는 그룹 내 인지적 부하가 대부분 대화권 현상임을 시사.
  • 쾌락 (B1a): 중간 성능 (AUC 0.657).
  • 각성 (B1b) 및 지배성 (B2): 우연 수준에 가까운 성능으로, 각각 회고적 프로브와 생리적 반응 피크 간의 시간적 불일치 및 특성 제한에 기인.
  • 신뢰 (B3d): 전체적으로 우연 수준에 가깝지만, T4 의 협력적 맥락으로 제한될 때 AUC 0.679 로 향상되어 신뢰 신호가 맥락 의존적임을 나타냄.
• 개인 간 특성 (수준 2): 모든 성격 벤치마크 (B4a–B4c) 가 우연 수준 근처 또는 이하로 수행됨. 저자는 신호 부족이 아니라 작은 테스트 폴드 크기 (4 명) 로 인해 AUC 추정이 불안정하기 때문이라고 귀인함. 전체 샘플 상관관계는 연관성이 존재함을 시사 (예: 동공 $\times$ 성실성 $r=0.51$) 하지만, 현재 설계는 이를 강력하게 예측할 수 없음.
• 그룹 역학 (수준 3): 발언 불평등 (B6a, B6b) 및 중첩 (B7) 에 대한 벤치마크는 작업 창 집계 (task-window aggregates) 를 사용하는 단순한 기준선을 이기지 못함. 그러나 원시 발언 비율 표준 편차에 대한 이진 분류기는 AUC 0.952 를 달성하여 신호는 존재하지만 작업 창 수준에서 집계될 때 손실됨을 확인.

교차 양식 보완성

분석은 동공 직경과 손목 생리학 사이에 거의 0 에 가까운 상관관계 ($|r| < 0.10$) 를 보여, 서로 다른 정보를 제공함을 확인함. 오디오 및 동공 특성이 인지 상태 감지를 위한 지배적 예측 변수로 발견되었으며, 생리학은 주로 각성 민감성 목표에 기여함.

중요성 및 주장

이 논문은 GroupAffect-4 를 대규모 코퍼스가 아닌 엄격한 데이터셋 특성화를 위해 설계된 소형 고밀도 자원으로 위치시킵니다. 주요 기여점은 다음과 같습니다:

1. 통합: 동기화된 4 인 환경에서 웨어러블 생리학, 자전적 시선, 근접 대화 오디오, 현장 자기 보고, 명시적 작업 결과, 그리고 성격 측정을 결합한 최초의 공개 기술 데이터셋.
2. 동기화: 비디오/오디오에 대한 10ms 미만의 정렬 및 오디오 드리프트에 대한 선형 보정을 제공하는 긴밀하게 동기화된 다중 양식 스택으로, 분할된 데이터셋에서는 테스트 불가능한 수준 간 관계 연구 가능.
3. 실행 가능성 기준선: 데이터셋이 개인 내 상태 (특히 오디오 역학을 통한 정신적 요구) 의 의미 있는 평가를 지원하지만, 작은 코호트 크기로 개인 간 특성 및 그룹 수준 역학 예측에는 현재 한계가 있음을 확립.
4. 투명성: 배포에는 데이터시트, Croissant 메타데이터, 품질 보고서, 그리고 개방형 처리 스크립트가 포함되어 FAIR 원칙과 책임 있는 AI 가이드라인 (예: 재식별 방지를 위해 데이터 사용 계약 하에 원시 오디오 게이팅) 을 준수.

저자는 이 데이터셋이 공존하는 그룹 감성 연구의 기초 자원으로 기능하며, 소규모 그룹에서 다중 양식 신호로 현재 달성 가능한 것에 대한 투명한 시각을 제공하고 향후 방법론적 또는 데이터 규모 개선이 필요한 부분을 강조한다고 결론지음.