기술 요약: WELD – 최초의 자연주의적 장기 소규모 팀 직장 감정 데이터셋

1. 문제 제기

감성 컴퓨팅은 통제된 실험실 환경 내에서 크게 발전했으나, 이러한 시스템을 실제 세계의 장기 조직 맥락에 적용하는 데에는 여전히 중요한 격차가 존재합니다. 기존 공개 데이터셋은 복잡한 직장 내 감정 역학을 연구하는 것을 방해하는 네 가지 구조적 한계를 가지고 있습니다:

1. 기간: 대부분의 데이터셋은 짧은 클립 (수 초에서 수 분) 또는 수 주에 불과한 자기 보고식으로 구성되어 있어, 안정적인 개인 기준선, 계절적 주기, 또는 조직적 사건의 인과적 영향을 모델링하는 데 필요한 수 개월에서 수 년에 이르는 시간 범위를 충족하지 못합니다.
2. 환경: 자연주의적 '야외 (in-the-wild)' 데이터는 종종 희소하거나, 반응성과 참여자 부담을 피하기 위해 필요한 연속적이고 수동적인 감지 프로토콜이 부족합니다.
3. 사회적 구조: 종단적 코퍼스는 일반적으로 서로 다른 조직의 무관한 개인들을 집계하므로, 감정 전염, 이원적 결합, 또는 경계된 사회적 집단 내의 체제 동기화와 같은 팀 수준의 역학을 연구하는 것이 불가능합니다.
4. 개인정보 보호 및 윤리: 연구 목적으로 직장에 수동 감지 (예: 카메라) 를 배포하는 것은 종종 직원의 개인정보와 동의에 관한 기관 심사 기준을 충족하지 못합니다.

이전에는 장기, 자연주의적 직장 환경, 안정적인 소규모 팀 구조, 그리고 완전한 수동 감지라는 요구 사항을 동시에 충족하는 데이터셋이 존재하지 않았습니다.

2. 방법론 및 데이터셋 구축

데이터 수집

WELD 데이터셋은 2021 년 11 월부터 2024 년 5 월까지 (30.1 개월) 단일 중국 소프트웨어 개발 회사에서 수집되었습니다.

• 참가자: 동의한 49 명의 직원. 엄격한 포함 기준 (활동 일수 $\ge$60 일) 을 충족한 22 명의 개인이 주요 분석 코호트를 구성했으며, 27 명의 단기 근속자는 온보딩 연구를 위해 유지되었습니다.
• 감지 프로토콜: 시스템은 오픈 플랜 사무실의 기존 천장 장착 IP 카메라 (1080p, 25 fps) 를 활용했습니다. 특수 하드웨어, 웨어러블, 또는 설문조사는 사용되지 않았습니다.
• 처리 파이프라인: 원시 비디오 스트림은 온프레미스에서 처리되었습니다. 파이프라인에는 다음이 포함되었습니다:
  • 얼굴 감지 (RetinaFace).
  • 내부적으로 훈련된 임베딩 모델을 통한 신원 매칭.
  • 아시아인 얼굴에 대해 미세 조정된 상업용 7 클래스 감정 인식 (FER) 모델 (ResNet-50 백본) 을 사용한 감정 인식.
  • 근무 시간 (08:00–20:00) 동안 얼굴당 10 초에 한 번씩 최대 샘플링이 수행되었습니다.

민감도 제거 및 윤리

개인정보 보호 문제를 해결하기 위해 데이터 파이프라인은 네 가지 민감도 수준으로 세분화되었으며, 공개된 것은 가장 낮은 수준뿐입니다:

• L0 (원시 비디오): 조직을 절대 떠나는 일이 없습니다.
• L1 (얼굴 컷/임베딩): 온프레미스에 저장되며 90 일 후 암호화되어 삭제됩니다.
• L2 (프레임별 확률): 내부 가명 (pseudonyms) 에 연결됨; 5 년간 보관되지만 공개되지 않습니다.
• L3 (공개 배포): 무작위화된 가명 (P01–P49) 에 연결된 시간당 집계된 확률. 이미지, 인구통계, 역할 레이블, 또는 직접 식별자는 포함되지 않습니다.

윤리 준수는 갱신 가능하고 철회 가능한 동의 절차, 최소 위험과 고용 영향 부재에 기반한 IRB 면제 결정, 그리고 재식별, 감시 훈련, 또는 상업적 사용을 금지하는 엄격한 데이터 사용 계약 (DUA) 을 통해 보장되었습니다.

데이터셋 통계

• 총 레코드: 프레임별 7 클래스 얼굴 표정 확률 벡터 733,780 개.
• 코호트: 49 명의 직원 (엄격한 분석 코호트 내 22 명).
• 기간: 대상자당 최대 30.1 개월.
• 클래스: 일곱 가지 감정 확률 (행복, 슬픔, 분노, 혐오, 공포, 놀람, 중립) 과 파생된 쾌불쾌 (valence) 및 각성 (arousal) 점수.

3. 주요 기여

1. 유례없는 최초: WELD 는 장기 (수 개월에서 수 년), 자연주의적 야외 환경, 안정적인 소규모 팀 구조, 그리고 완전한 수동 감지를 결합한 최초의 데이터셋입니다.
2. 개인정보 보호 프로토콜: 재식별 위험 감사 (연결 공격 성공률이 우연과 구별 불가능함) 를 뒷받침하는 네 단계 민감도 제거 체계로, 집계되고 가명화된 확률만 공개합니다.
3. 포괄적 평가 세트: 이 논문은 감정 인식 복제, 일별/주별 주기 회복, 사건 주도 변화 감지, 이직 예측, 그리고 FER 편향 감사를 위한 다섯 가지 하류 작업에 대한 기준 베이스라인을 제공합니다.
4. 방법론적 교정:
   • 이직 예측: 이직 예측을 위한 이진 AUC(0.79) 가 근속 기간으로 인한 누출에 의해 과대평가됨을 입증합니다. 생존 분석 (Cox PH) 은 일치 지수 (concordance index) 가 0.52 로 나타나 순수한 감정 특징이 이직에 대한 예측 가치가 미미함을 시사합니다.
   • 인과 추론: 2022 년 상하이 봉쇄 효과에 대한 단순 비교가 기존 추세에 의해 교란됨을 보여줍니다. 엄격한 중단 시계열 및 순열 검정은 그룹 쾌불쾌에 유의미한 부정적 인과 효과가 없음을 드러냅니다.
5. FER 공정성 감사: 상용 FER 모델에서 체계적인 "아시아인 중립 얼굴에 대한 분노" 편향을 문서화합니다. 여기서 평균 "분노" 확률 (0.194) 은 서구 벤치마크 (FER2013/AffectNet) 의 사전 확률보다 약 4 배 높습니다.

4. 주요 결과 및 발견

분산 분해

일일 쾌불쾌에 대한 1 형 순차적 ANOVA 는 분산의 원인을 다음과 같이 밝힙니다:

• 월별 계절성: 29.8%
• 안정적인 개인 간 차이: 19.3%
• 처리 파이프라인 전환 (V2/V3): 7.6%
• 요일: 3.3%
• 개인 내 잔차: 40.1%
  이는 향후 모델에 대해 설명 가능한 분산의 성능 상한이 약 60% 임을 확립합니다.

감성 현상 복제

• 주말 효과: 평일 대비 주말에 쾌불쾌가 +43.1% 상대적으로 증가합니다.
• 일주기 리듬: 12:00 에 정점, 13:00(점심 후) 에 골을 이루며, 진폭은 약 0.09 쾌불쾌 단위입니다.
• 봉쇄 영향: 단순 비교는 중간 규모의 효과 감소 ($d=-0.40$) 를 시사했으나, 엄격한 인과 추론 (ITS, SARIMA 반사실) 은 유의미한 부정적 효과가 없음을 발견했으며, 이 감소는 기존 하향 추정에 기인한다고 결론지었습니다.

잠재적 감정 체제

가우시안 은닉 마르코프 모델 (HMM) 은 여섯 가지 감정 체제를 식별했습니다. 놀라운 발견은 비대칭적 지속성입니다: 부정적 체제 (예: "적대적", "억제된") 는 긍정적 "기쁜" 체제 (3 일) 보다 56 배 더 길게 (1618 일) 지속됩니다. 가장 부정적인 상태에서 가장 긍정적인 상태로의 전환은 중간 단계를 거치지 않고는 사실상 불가능합니다.

시간적 주기성

Lomb-Scargle 주기도는 24 시간 (일주기), 7.7 일 (주간), 그리고 25~46 일 (잠재적 프로젝트 또는 급여 주기) 에서의 다중 스케일 주기성을 확인합니다.

전염 네트워크

감정 전염 네트워크는 희소합니다.

• 그랜저 인과성: 밀도 2.7% (296 쌍 중 8 개의 방향성 엣지).
• 전이 엔트로피: 밀도 8.1% (24 개의 방향성 이원).
• 두 방법은 서로 다른 엣지 세트를 감지하여 선형 및 비선형 메커니즘이 서로 다른 의존성을 포착함을 시사합니다.

이직 예측

초기 근속 기간 특징 (첫 30 일) 을 사용하여:

• 이진 분류 (AUC): 0.79 (그래디언트 부스팅). 저자들은 이 높은 점수를 "근속 기간 유발 누출" (단기 근속 개인이 이직 클래스에 과대표되며 독특한 초기 감정 프로필을 가짐) 에 기인합니다.
• 생존 분석 (C-index): 0.52. 이는 위험 노출 시간을 통제할 때 감정 특징만으로는 이직에 대한 예측력이 거의 없음을 나타냅니다.

5. 중요성 및 주장

이 논문은 WELD 가 두 가지 이전에 불가능했던 과학적 사용 사례를 가능하게 함으로써 감성 컴퓨팅 분야에서 중요한 틈새를 채운다고 주장합니다:

1. 장기 개인 내 역학: 수년에 걸친 안정적인 감정 기준선, 체제 변화, 그리고 생활 사건의 예측 가능성을 연구합니다.
2. 팀 수준 관계 역학: 경계된 동거 사회적 집단 내의 감정 전염 및 네트워크 위상을 분석합니다.

저자들은 WELD 가 단순히 더 큰 데이터셋이 아니라 이 분야의 방법론적 교정임을 강조합니다. 이는 다음과 같은 것을 제공합니다:

• 방어 가능한 베이스라인: 그룹 쾌불쾌 예측을 위해 단순한 지속성 모델이 종종 복잡한 딥러닝 모델보다 우수함을 확립합니다 (RMSE 0.039).
• 공정성 벤치마크: 아시아인 중립 얼굴에 대한 FER 편향을 정량화하여 상용 분류기 감사를 위한 도구를 제공합니다.
• 윤리적 프레임워크: 엄격한 개인정보 보호 제약 하 (4 단계 접근, 원시 이미지 미공개) 에서 수동적이고 장기적인 직장 감지가 가능함을 입증합니다.

이 논문은 이러한 축 (장기, 자연주의적 환경, 소규모 팀 구조, 수동 감지) 의 결합이 야외에서의 엄격하고 인과적이며 관계적인 감성 연구를 위한 핵심 촉진제이며, 향후 모델은 이 작업에서 식별된 정량적 상한과 방법론적 주의 사항 (예: 생존 대 이진 지표) 을 존중해야 한다고 결론지었습니다.