🧬 biology

Short-Term Affective Change in Immersive Installations: A Multimodal Analysis of EEG and PANAS

이 연구는 기초 자기 보고식 정서(PANAS)가 뇌파(EEG) 유도 지표보다 몰입형 설치 예술에서의 단기적 정서 변화를 더 안정적이고 일관되게 예측한다는 것을 발견하였으며, 이는 생리학적 데이터가 제한적이거나 해석하기 어려울 때 검증된 자기 보고 방식이 여전히 실용적인 기준이 될 수 있음을 시사한다.

원저자: Yizhen Wang, Xiaowei Chen

게시일 2026-08-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yizhen Wang, Xiaowei Chen

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

인간의 감정은 정지된 스냅샷이 아니라, 우리가 하루를 보내는 동안 변화하고 요동치는 흐르는 전류와 같습니다. 정동 과학(affective science) 분야에서 연구자들은 가상 현실이나 상호작용형 예술 설치물과 같은 몰입형 경험을 하는 동안 이러한 내부 상태가 어떻게 변하는지 이해하기 위해 오랫동안 노력해 왔습니다. 우리는 누군가에게 지금 기분이 어떤지 쉽게 물어볼 수 있지만, 특정 경험이 시작부터 끝까지 그들의 기분을 어떻게 변화시킬지 예측하는 것은 훨씬 더 어려운 난제입니다. 과학자들은 사람이 스스로 인지하기도 전에 이러한 정서적 변화를 드러내는 생물학적 징후를 찾고자, 두피에 부착된 전극을 통해 측정되는 뇌 활동에 주목해 왔습니다. 이 연구를 이끄는 핵심 질문은 이러한 뇌의 전기 신호가 사람이 스스로 말할 수 있는 것보다 그 사람의 감정적 여정에 대해 더 많은 것을 말해줄 수 있는지 여부입니다.

한 연구팀은 몰입형 다감각 예술 설치물을 체험한 30명의 집단을 조사함으로써 이 아이디어를 테스트하고자 했습니다. 이 환경은 참가자들이 실제 세계의 환경처럼 자유롭게 움직이고 상호작용할 수 있도록 설계되어, 정적인 실험실보다는 훨씬 더 매력적이고 상호작용적인 공간이었습니다. 설치물에 들어가기 전, 각 참가자는 흥분되었는지, 화가 났는지, 혹은 주의 집중 상태인지와 같이 현재의 기분을 평가하는 표준 설문지를 작성했습니다. 또한 이들은 센서 캡을 통해 뇌 활동을 기록했습니다. 세션이 끝난 후, 그들은 동일한 설문지를 다시 작성했습니다. 연구진은 각 개인의 긍정적 또는 부정적 기분이 정확히 얼마나 변했는지 확인하기 위해 '전'과 '후'의 점수 차이를 계산했습니다. 또한 세션 전 수집된 뇌 데이터를 분석하여, 초기 신경 패턴이 발생할 정서적 변화의 크기를 예측할 수 있는지 확인했습니다.

연구진은 기분 변화를 예측하기 위해 컴퓨터 모델을 구축하는 방식으로 이 문제에 접근했습니다. 그들은 어떤 방식이 가장 효과적인지 알아보기 위해 세 가지 다른 유형의 정보를 테스트했습니다. 첫 번째 유형은 설문지를 통한 자기 보고식 감정에만 의존했습니다. 두 번째 유형은 뇌파의 강도와 뇌의 좌우 활동 균형을 구체적으로 살펴보는 뇌 활동 데이터만을 사용했습니다. 세 번째 유형은 설문지 답변과 뇌 데이터를 결합했습니다. 연구진은 머신러닝 기법, 즉 데이터 속의 패턴을 찾는 법을 배우는 일종의 컴퓨터 프로그램을 사용하여, 출발점을 바탕으로 한 개인의 기분 변화를 얼마나 정확하게 추측할 수 있는지 확인했습니다.

결과는 명확하면서도 다소 놀라운 답을 제시했습니다. 뇌 데이터에만 의 reliance한 모델들은 가장 불안정한 성능을 보였으며, 개인의 기분이 개선될지 악화될지를 안정적으로 예측하지 못했습니다. 실제로 특정 알고리즘의 경우, 뇌 신호만을 사용한 모델은 음수의 테스트 세트 R² 값을 나타냈는데, 이는 단순한 기준점 예측보다도 성능이 낮음을 의미합니다. 뇌 데이터와 설문지 답변을 결합했을 때도 설문지만을 사용했을 때보다 결과가 유의미하게 개선되지 않았습니다. 가장 일관되고 정확한 예측은 자기 보고식 감정만을 사용한 모델에서 나왔습니다. 구체적으로, 초기 불안감이나 동요 수준은 부정적인 기분이 얼마나 감소할지를 보여주는 강력한 지표였습니다. 만약 누군가가 세션을 시작할 때 매우 불안하거나 화가 난 상태였다면, 해당 설치물은 그들이 이후에 더 차분함을 느끼도록 돕는 데 더 효과적이었습니다. 긍정적인 감정의 증가를 예측하는 것은 모든 방법에서 훨씬 더 어려웠지만, 자기 보고식이 가장 신뢰할 수 있는 가이드였습니다.

이러한 발견은 복잡한 실제 환경에서, 한 개인의 정서적 궤적을 이해하는 데 있어 그 사람의 주관적인 감정 묘사가 현재로서는 뇌파의 요약본보다 더 유용한 도구임을 시사합니다. 뇌 데이터는 특히 전두엽 부분의 활동 균형과 관련하여 기분 변화와 완만한 이변량 연관성을 보였으나, 이러한 신호들은 너무 미약하고 노이즈가 많아 단독으로는 유용하게 쓰이기 어려웠습니다. 연구진은 움직임과 주의 전환이 허용되는 설치물의 몰입형 특성이 뇌 기록에 많은 배경 소음을 유입시켜, 감정과 관련된 특정 신호를 분리해 내는 것을 어렵게 만들었을 것이라고 언급했습니다.

이 연구는 뇌 활동을 측정하는 것이 강력한 도구이긴 하지만, 특히 역동적인 환경에서 단기적인 정서 변화를 추적하려 할 때 아직 사람에게 기분을 묻는 것을 대체할 수는 없다고 결론짓습니다. 자기 보고식 감정은 뇌 데이터가 따라잡을 수 없는 안정적이고 일관된 기준점을 제공했습니다. 이것이 뇌 데이터가 쓸모없다는 뜻은 아니며, 오히려 뇌 데이터가 사람이 의식적으로 보고할 수 있는 것과 항상 완벽하게 일치하지 않는 정서적 경험의 다른 측면들을 포착하고 있음을 의미합니다. 현재로서는 몰입형 경험이 한 사람의 기분을 어떻게 변화시키는지 이해하고자 할 때, 가장 직접적이고 신뢰할 수 있는 경로는 그 사람의 목소리에 귀를 기울이는 것입니다.

기술 요약: 몰입형 설치 예술에서의 단기 정동 변화

문제 정의
본 연구는 몰입형 다감각 경험 내에서 발생하는 단기적인 정동(affective) 변화를 특성화하는 과제를 다룬다. 정동 컴퓨팅(affective computing)은 흔-히 정적인 정서 상태를 인식하는 데 집중하지만, 참여 세션 과정 중에 정동이 어떻게 전이되는지를 이해하는 데에는 공백이 존재한다. 특히 자기 보고 측정법(PANAS와 같은)과 생리적 지표(특히 뇌파, EEG) 사이에는 방법론적 긴장이 존재한다. EEG는 신경 역학에 접근할 수 있는 통로를 제공하지만, 생태적으로 가변적인 몰입 환경에서 (사전-사후 전이와 같은) '변화'를 예측하는 데 있어 주관적 기저 보고와 비교했을 때 그 효용성이 불분명하다. 또한, 긍정적 및 부정적 정동의 변화가 유사한 예측 경로를 따르는지, 아니면 한쪽이 더 다루기 용이한지에 대해서도 불확실하다.

연구 방법론
본 연구는 EEG, VR, AIGC가 통합된 몰입형 예술 치료 설치물에 참여한 30명(원래 50명 중 일부)의 공개된 다중 모달 데이터셋을 활용하여 이차 분석을 수행하였다.

데이터 소스: 사전 및 사후 PANAS 점수와 원시 EEG 기록(Emotiv Flex, 123 Hz, 10–10 배치).
결과 변수: 두 가지 연속적 타겟을 차이 점수(difference scores)로 정의하였다:
- $\Delta$ Positive = Positive $_{post}$ − Positive $_{pre}$
- $\Delta$ Negative = Negative $_{post}$ − Negative $_{pre}$
예측 변수 세트: 기저(세션 전) 데이터를 사용하여 세 가지 특징 구성을 구축하였다:
1. PANAS 전용: 기저 긍정 및 부정 점수.
2. EEG 전용: 글로벌 및 전두엽 파워(theta, alpha, beta), 전두엽 알파 비대칭(F4–F3), 밴드 비율(theta/beta, alpha/beta), 그리고 상대적 파워 측정을 포함한 기저 스펙트럼 특징.
3. 하이브리드(Hybrid): PANAS와 EEG 특징의 결선.
모델링 전략: 선형 회귀(Linear Regression), 의사결정 나무(Decision Tree), 랜덤 포레스트(Random Forest, RF) 알고리즘을 사용한 지도 학습 회귀를 채택하였다. 성능은 70:30 훈련/테스트 분할과 5-겹 교차 검증을 통해 MSE, MAE, 결정 계수( $R^2$ )로 평가되었다. 특징 중요도 분석을 허용하기 위해 탐색적 모델로서 랜덤 포레스트를 주요 모델로 선택하였다.

주요 결과

예측 성능: PANAS 전용 모델이 두 결과 모두에서 가장 안정적이고 높은 성능을 보였다. $\Delta$ Negative의 경우, PANAS 전용 선형 회귀 모델이 가장 높은 테스트 세트 $R^2$ (0.462)를 달성했으며, 그 뒤를 PANAS 전용 의사결정 나무(0.358)와 랜덤 포레스트(0.335)가 이었다. 반면, EEG 전용 모델은 일관되게 음수의 테스트 세트 $R^2$ 값(예: $\Delta$ Negative에 대한 RF의 -0.469)을 나타냈으며, 이는 단순 평균 예측보다 성능이 낮음을 의미한다. 하이브리드 모델은 PANAS 전용 모델보다 일관되 된 우위를 보이지 못했으며, 어떤 경우에는 EEG 특징을 추가하는 것이 오히려 성능을 저하시켰다.
정동의 비대칭성: 부정적 정동의 변화( $\Delta$ Negative)를 예측하는 것이 긍정적 정동의 변화( $\Delta$ Positive)를 예측하는 것보다 유의미하게 더 성공적이었다. $\Delta$ Positive의 경우, 모든 모델(PANAS 전용 포함)이 음수의 테스트 세트 $R^2$ 를 생성하였으며, 이는 이 데이터셋에서 단기적인 긍정적 정동 변화가 예측하기 더 어렵다는 것을 시사한다.
특징 중요도: 랜덤 포레스트 모델에서 기저 자기 보고 부정적 정동이 $\Delta$ Negative의 지배적인 예측 변수였으며, 압도적인 차이로 1위를 차지했다. $\Delta$ Positive의 경우, 중요도가 더 분산되어 있었다. EEG 특징들(특히 전두엽 알파 비대칭, theta/beta 비율, alpha/beta 비율)이 보완적인 정보를 제공하기는 했으나, 자기 보고만큼 강력하게 모델을 주도하지는 못했다.
상관관계: 이변량 분석 결과, EEG 특징과 정동 변화 사이에는 완만한 연관성(예: $\Delta$ Positive와 theta/beta 비율, $\Delta$ Negative와 글로벌 alpha)이 나타났으나, 기저 PANAS 항목(예: "초조함", "속상함")이 이후의 부정적 정동 변화와 더 강한 상관관계를 보였다.

주요 기여

효능 비교: 본 연구는 몰입형 설치 예술 내의 단기 정동 전이 맥락에서, 기저 자기 보고 정동이 휴식 상태의 EEG 스펙트럼 요약보다 더 일관되고 견고한 예측 변수라는 경험적 근거를 제공한다.
다중 모달 타당성: 다중 모달 정동 모델링의 타당성을 입증하는 동시에, 생리적 데이터가 노이즈가 많거나 거칠 경우 특징을 결합하는 것이 반드시 예측 정확도를 높이는 것은 아님을 보여준다.
소규모 샘플에서의 해석 가능성: 해석 가능한 머신러닝(Random Forest)의 활용 가치를 검증하였다. 이는 예측력이 제한적인 경우에도, 복잡한 딥러닝 구조의 과적합 위험 없이 데이터의 상대적 기여도를 명확히 할 수 있음을 보여준다.
정동 차원의 차별화: 연구 결과는 부정적 정동의 감소가 긍정적 정동의 증가보다 기저 측정치에 의해 더 용이하게 특성화될 수 있다는 비대칭성을 시사한다.

의의 및 주장
저자들은 이러한 발견이 자기 보고와 EEG에 대한 경쟁적 관점보다는 상호 보완적인 관점을 지지한다고 주장한다. 움직임에 의한 아티팩트, 환경적 가변성 또는 거친 스펙트럼 요약으로 인해 생리적 데이터가 제한될 수 있는 몰입형 또는 응용 환경에서, 검증된 자기 보고 측정법(PANAS와 같은)은 모델링을 위한 실질적이고 신뢰할 수 있는 기준점을 제공한다.

본 논문은 EEG 특징의 낮은 성능이 EEG 자체가 정동 연구에 무익하다는 것을 의미하는 것이 아니라, 특정 신경 정보(휴식 상태의 스펙트럼 파워)가 자연스러운 맥락에서 갖는 한계를 반영하는 것이라고 강조한다. 결론적으로, 다중 모달 모델링은 가능하지만, 생리적 데이터를 해석하기 어렵거나 생태적으로 가변적인 조건에서 단기 정동 전이를 특성화하고자 할 때는 부담이 적고 해석 가능한 자기 보고를 우선시해야 한다고 제언한다.

기술 요약: 몰입형 설치 예술에서의 단기 정동 변화

유사한 논문