A Minimalist Brain-Computer Musical Interface for Real-Time Emotion-Driven Sonification: System Design and Preliminary Evaluation

기술 요약: 실시간 감정 기반 소니피케이션을 위한 미니멀리스트 뇌-컴퓨터 음악 인터페이스

문제 제기
기존의 뇌-컴퓨터 음악 인터페이스(BCMI)는 종종 밀집된 EEG 전극 어레이, 복잡한 실험실 설정 또는 계산 비용이 많이 드는 머신러닝 파이프라인에 의존하여 휴대성과 접근성을 제한한다. 또한, 전두엽 알파 비대칭(Frontal Alpha Asymmetry, FAA) 가설은 전전두엽 신경 활동과 정서적 유의성(valence, 접근-회피 동기) 사이의 연결을 설명하는 잘 확립된 모델이지만, 폐쇄 루프(closed-loop)의 실시간 맥락에서 자발적 제어 신호로서의 신뢰성은 아직 충분히 탐구되지 않았다. 본 논문은 미니멀한 2채널 EEG 구성이 실시간 감정 기반 음악 생성에 효과적으로 지원될 수 있는지, 그리고 사용자가 특정 정서 상태(행복 vs 슬픔)를 유도하기 위해 이 신호를 자발적으로 조절할 수 있는지에 대한 과제를 다룬다.

연구 방법론
본 연구는 22명의 건강한 참가자를 대상으로 피험자 내 반복 측정 실험 설계를 채택하였다. 시스템 아키텍처는 네 가지 주요 서브시스템으로 통합된다:

1. 하드웨어: 무선 BITalino (r)evolution Plugged Kit BT 센서를 사용하여 두 개의 전전두엽 전극(AF7 및 AF8)으로부터 1000Hz로 EEG 신호를 획득하였으며, 참조 전극은 A2를 사용하였다.
2. 신호 처리: Python 기반의 멀티스레딩 애플리케이션이 신호를 실시간으로 처리하였다. 전력 스펙트럼 밀도(PSD)는 Welch 방법을 사용하여 계산되었으며, 이를 통해 알파(8–13 Hz) 및 베타(14–29 Hz) 파워를 추출하였다. 정서적 유의성은 AF7과 AF8 사이의 알파 파워 차이를 기반으로 정규화된 점수를 산출하는 비대칭 전두엽 활동 가설(AFAH)을 사용하여 추정되었다.
3. 음악 생성: Ehrlich 등의 연구를 변형한 확률적 규칙 기반 엔진이 연속적인 유의성 추정치를 음악적 파라미터에 매핑하였다. 높은 유의성은 장조 모드(예: 리디안, 아이오니안), 빠른 템포, 높은 리듬 밀도, 높은 음역대를 트리거하였다. 낮은 유의성은 단조 모드(예: 프리지안, 로크리안), 느린 템포, 희소한 텍스처, 낮은 음역대를 트리거하였다. 시스템은 서양 화성 전통의 4마디 I–IV–V–I 코드 진행을 생성하였다.
4. 폐쇄 루프 통합: 시스템은 Lab Streaming Layer(LSL) 프로토콜을 통해 작동하며, EEG 데이터, 이벤트 마커, MIDI 출력을 Ableton Live 11과 동기화하였다. 참가자들은 자신의 신경 활동에 의해 생성된 음악을 들으면서 "행복" 또는 "슬픔" 상태를 유도하라는 청각적 지시를 받았다.

실험은 참가자당 16회의 시행(행복 8회, 슬픔 8회)으로 구성되었으며, 각 시행은 무음 베이스라인, 청각적 지시, 그리고 30초간의 음악 피드백 단계로 이루어졌다. 데이터 분석에는 음악 교육, 연기 경험, 약물 복용과 같은 참가자 수준의 공변량을 통제하면서, 타겟 정서와 시간이 예측된 정서 신호에 미치는 영향을 평가하기 위해 선형 혼합 효과 모델(LMM)을 활용하였다.

주요 기여
본 논문은 세 가지 주요 기여를 제시한다:

1. 시스템 아키텍처: 2채널 전전두엽 EEG 구성, 무선 생체 신호 획득, 상용 디지털 오디오 워크스테이션(DAW)과 통합된 파라미터화 가능한 생성 음악 엔진을 사용하는 완전히 명시된 재현 가능한 BCMI 프레임워크를 제시한다.
2. 매핑 공식화: 연속적인 유의성 추정치를 특정 화성 모드, 템포, 리듬 밀도, 음역대 및 음량으로 변환하는 과정을 정의하는 상세한 감정-음악 매핑을 기술한다.
3. 경험적 평가: AFAH 기반 접근 방식의 한계를 실시간 폐쇄 루프 맥락에서 규명하는 예비적 실험 평가(N=22)를 수행하며, 지시된 정서 상태를 구별하는 시스템의 능력에 대한 귀무 가설(null findings)을 명시적으로 보고한다.

결과
실험 결과, 시스템의 신경 피드백 신호는 지시된 "행복" 또는 "슬픔" 정서 상태를 신뢰성 있게 구별하지 못했다.

• 주요 효과: 선형 혼합 효과 분석 결과, 타겟 정서의 유의미한 주효과($p = .124$)가 나타나지 않았으며, 타겟 정서와 시간 사이의 유의미한 상호작용($p = .666$)도 발견되지 않았다. 예측된 정서 신호의 궤적은 조건 간에 상당 부분 중첩되었다.
• 분산 분해: 실험적 조작(타겟 정서)은 전체 신호 분산의 단 **0.40%**만을 설명하였다. 나머지 대부분의 분산은 설명되지 않았거나(잔차 76.45%), 시행 간 변동(16.98%)에 기인하였다.
• 개인차: 참가자 수준의 공변량이 실험적 조작보다 더 많은 분산을 설명하였다. 구체적으로, 정식 음악 교육은 신호와 양의 상관관계($p = .005$)를 보였으나, 정식 연기 교육은 음의 상관관계($p = .026$)를 보였다.

의의 및 주장
저자들은 이러한 결과가 BCMI 개념 전반의 실패로 해석되어서는 안 되며, 오히려 자발적 폐쇄 루프 맥락에서 AFAH 기반 접근 방식의 한계에 대한 투명한 경험적 특성화로 해석되어야 한다고 명시한다. 본 논문의 주장은 다음과 같다:

• 방법론적 기준: 본 연구는 향에 의한 패러다임에서 검증된 이론적 모델과 능동적 폐쇄 루프 상호작용에서의 성능 사이의 격차를 강조함으로써, 향후 방법론적 개선을 위한 필수적인 경험적 기준을 설정한다. 전두엽 알파 비대칭은 사용자가 정서 조절과 음악적 감상을 동시에 수행할 때 자발적인 정서 조절을 감지하는 민감도가 부족할 수 있음을 시사한다.
• 설계 함의: 결과는 수동적 패러다임에서 검증된 이론적 모델과 능동적 폐쇄 루프 상호작용 사이의 간극을 보여준다. 높은 비율의 설명되지 않은 분산은 강건한 정서적 소니피케이션을 위해 다중 모드 생체 신호 통합(예: EEG와 전기 피부 활동 또는 심박 변이도 결합)이 필요할 수 있음을 시사한다.
• 사용자 특이성: 개인차(음악성, 연기 경험)의 유의미한 영향은 향후 정서적 BCMI 시스템을 위한 개인화된 교정 전략의 필요성을 강화한다.
• 오픈 사이언스: 본 논문은 시스템 아키텍처, 소프트웨어 구현 및 완전한 실험 데이터셋을 공개하여, 감성 컴퓨팅 커뮤니티의 재현과 확장을 용이하게 함으로써 해당 분야의 재현 가능한 토대를 제공한다.