Exploring EEG and Eye Movement Fusion for Multi-Class Target RSVP-BCI

이 논문은 다중 클래스 RSVP-BCI 시스템의 성능을 향상시키기 위해 EEG 와 안구 운동 (EM) 신호를 융합한 'MTREE-Net'을 제안하고, 이를 검증하기 위해 43 명의 참가자로부터 수집된 EEG 와 EM 데이터를 포함한 공개 데이터셋을 구축했습니다.

핵심

🎬 1. 상황 설정: "빠르게 지나가는 사진 속 숨은그림찾기"

상상해 보세요. 스크린에 사진들이 초당 10 장씩 아주 빠르게 지나가고 있습니다. 그중에서 '사람'이나 '자동차'처럼 특정 물체가 숨어있을 때, 우리 뇌는 무의식적으로 반응합니다.

• 기존 기술 (단일 모드): 연구자들은 그동안 뇌파 (EEG) 만을 보고 "아, 사람 사진이 나왔다!"라고 추측했습니다. 하지만 이건 '사람'과 '자동차'가 섞여 있을 때 구별하기가 매우 어렵습니다. 뇌파가 비슷하게 반응하기 때문이죠. 마치 두 가지 다른 악기 소리가 거의 똑같이 들릴 때, 어떤 악기인지 구별하기 힘든 것과 비슷합니다.

🔍 2. 새로운 아이디어: "눈동자도 함께 봐라!"

이 연구팀은 **"뇌만 보는 게 아니라, 눈동자의 움직임도 함께 보자!"**라고 생각했습니다.

• 뇌파 (EEG): "무언가에 놀랐다!"라는 뇌의 전기 신호.
• 눈동자 (Eye Movement): "무언가에 집중해서 눈이 움직이거나 동공이 커졌다!"라는 신호.

이 두 가지를 합치면, 마치 수사관이 단서 (뇌파) 하나만 믿지 않고, 현장의 발자국 (눈동자) 도 함께 분석해서 범인을 더 정확히 잡는 것과 같습니다.

🤖 3. 개발한 기술: "MTREE-Net" (두 뇌를 가진 탐정)

연구팀은 이 두 가지 정보를 완벽하게 융합하는 인공지능 모델인 MTREE-Net을 만들었습니다. 이 모델은 세 가지 핵심 장치를 가지고 있습니다.

① "서로 도와주는 파트너" (Dual-Complementary Module)

• 비유: 뇌파는 '지식'이 많지만, 눈동자 데이터는 '지식'이 적습니다. 보통 지식이 많은 친구가 지식이 적은 친구를 무시하고 혼자 일하면, 지식이 적은 친구는 발전이 안 됩니다.
• 해결: 이 모델은 두 친구가 서로의 정보를 주고받게 합니다. 뇌파가 눈동자 데이터를 도와주고, 눈동자 데이터가 뇌파를 도와주게 해서 두 정보 모두를 더 선명하게 만들어줍니다.

② "중요도 조절기" (Contribution-Guided Reweighting)

• 비유: 어떤 사건을 해결할 때, 뇌파가 80% 기여하고 눈동자가 20% 기여한다고 가정해 봅시다. 그런데 인공지능이 "둘 다 똑같이 중요해!"라고 하면 오히려 혼란이 옵니다.
• 해결: 이 모델은 **"지금 이 순간에는 뇌파가 더 중요해, 눈동자는 조금만 봐"**라고 실시간으로 가중치를 조절합니다. 누가 더 정확한 답을 내는지 계산해서, 그쪽의 말을 더 귀담아듣는 똑똑한 시스템입니다.

③ "스승과 제자" (Hierarchical Self-distillation)

• 비유: "사람"과 "자동차"를 구분하는 건 어렵지만, "사람/자동차 vs 아무것도 아님"을 구분하는 건 쉽습니다.
• 해결: 먼저 **'무언가 vs 아무것도 아님'**을 구분하는 쉬운 시험 (이진 분류) 을 통과한 스승이, **'사람 vs 자동차'**를 구분하는 어려운 시험 (삼원 분류) 을 보는 제자를 가르칩니다. 이렇게 하면 헷갈려서 '아무것도 아님'을 '사람'으로 잘못 아는 실수를 크게 줄일 수 있습니다.

📊 4. 실험 결과: "완벽한 팀워크"

연구팀은 43 명의 참가자를 대상으로 실험을 했습니다.

• 결과: 기존에 뇌파만 썼을 때보다, 뇌파 + 눈동자를 함께 썼을 때 정확도가 압도적으로 높았습니다.
• 특이사항: 특히 '사람'과 '자동차'를 헷갈리지 않고 정확히 찾아내는 능력이 크게 향상되었습니다. 마치 안개 낀 날에 등불 (뇌파) 만 켜고 다니다가, 등불과 함께 **레이더 (눈동자)**까지 켜서 길을 찾은 것과 같습니다.

💡 5. 결론: 왜 중요한가요?

이 연구는 **"뇌만으로는 부족할 때, 눈동자라는 추가 단서를 활용하면 훨씬 더 똑똑한 뇌-컴퓨터 인터페이스 (BCI) 를 만들 수 있다"**는 것을 증명했습니다.

앞으로 이 기술은 실종자 수색, 재난 현장의 위험물 탐지, 혹은 복잡한 화면에서 중요한 정보를 빠르게 찾아야 하는 작업 등에 적용되어, 우리가 컴퓨터와 소통하는 방식을 훨씬 더 빠르고 정확하게 바꿔줄 것입니다.

한 줄 요약:

"뇌의 전기 신호와 눈의 움직임을 '서로 도와주고, 중요도를 조절하며, 스승이 제자를 가르치는' 방식으로 합쳐서, 복잡한 이미지 속에서 원하는 물체를 더 똑똑하게 찾아내는 기술을 개발했습니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• RSVP-BCI 의 한계: 급속 연쇄 시각 제시 (RSVP) 기반 뇌 - 컴퓨터 인터페이스 (BCI) 는 뇌파 (EEG) 신호에서 발생하는 사건 관련 전위 (ERP, 특히 P300) 를 식별하여 이미지 스트림 내의 표적 이미지를 탐지합니다. 기존 연구는 주로 단일 클래스 (Single-class) 표적 탐지 (표적 유무만 판별) 에 집중해 왔습니다.
• 다중 클래스 탐지의 어려움: 실제 응용 분야에서는 여러 종류의 표적 (예: 사람, 자동차 등) 을 동시에 탐지하고 분류해야 하는 다중 클래스 (Multi-class) 요구사항이 증가하고 있습니다. 그러나 기존 다중 클래스 RSVP 해독 알고리즘은 단일 모달리티인 EEG 에만 의존합니다.
• 핵심 문제: 서로 다른 표적 카테고리에서 유발된 ERP 신호 간의 유사성이 매우 높아 EEG 만으로는 정확한 분류가 어렵습니다. 또한, 기존 EEG-EM(안구 운동) 융합 연구는 주로 단일 클래스 작업에 국한되어 있으며, 다중 클래스 환경에서의 융합 전략과 데이터 부족이 주요 걸림돌이었습니다.

2. 제안된 방법론 (Methodology)

저자들은 EEG 와 안구 운동 (EM) 신호를 융합하여 다중 클래스 RSVP 해독 성능을 향상시키기 위해 MTREE-Net(Multi-class Target RSVP EEG and EM fusion Network) 을 제안했습니다.

A. 데이터셋 구축

• NeuBCI Multi-Class Target Detection RSVP EEG and EM Dataset: 43 명의 피험자를 대상으로 3 가지 독립적인 다중 클래스 RSVP 작업 (비군사/군사 항공기, 저장 탱크/센터, 항구/주차장) 을 수행하여 EEG 와 EM(동공 크기, 시선 좌표) 데이터를 동시에 수집했습니다. 이는 공개된 최초의 다중 클래스 RSVP EEG-EM 데이터셋입니다.

B. MTREE-Net 아키텍처

모델은 크게 4 가지 핵심 모듈로 구성됩니다:

1. 이중 스트림 특징 추출기 (Two-stream Feature Extractor):
   • EEG: 뇌파의 복잡한 시공간적 특성을 포착하기 위해 다중 스케일 합성곱 (Multi-scale Convolution) 을 사용하여 국소적 패턴과 광범위한 시간적 의존성을 동시에 추출합니다.
   • EM: 동공 크기와 시선 좌표 등 상대적으로 단순한 시간적 패턴을 효율적으로 추출하기 위해 단일 층 합성곱 (Single-layer Convolution) 을 사용합니다.
2. 이중 보완 모듈 (Dual-Complementary Module, DCM):
   • 교차 어텐션 (Cross-attention) 메커니즘을 활용하여 EEG 와 EM 특징 간의 상호 보완성을 강화합니다.
   • 각 모달리티의 특징이 다른 클래스 간에 더 잘 구분되도록 (Discriminability 향상) 서로의 정보를 보완하여 학습 불균형을 해소합니다.
3. 기여도 기반 재가중치 모듈 (Contribution-Guided Reweighting Module, CG-RM):
   • 기존 융합 방식이 단순히 가중치를 학습하는 데 그치는 것을 개선합니다.
   • 각 모달리티가 분류 결과에 기여하는 정도 (Contribution Ratio) 를 이론적으로 분석하고, 이를 지시 손실 (Guided Loss) 로 사용하여 재가중치 모듈을 최적화합니다. 즉, 분류에 더 중요한 모달리티에 동적으로 더 높은 가중치를 부여합니다.
4. 계층적 자기 증류 모듈 (Hierarchical Self-distillation Module, HSM):
   • 이진 분류기 (표적 vs 비표적) 와 삼중 분류기 (비표적 vs 표적 1 vs 표적 2) 를 계층적으로 구성합니다.
   • 성능이 우수한 이진 분류기의 지식을 삼중 분류기로 증류 (Distillation) 하여, 비표적 (Non-target) 샘플이 표적으로 오분류되는 오류를 줄입니다.

3. 주요 기여 (Key Contributions)

1. 최초의 다중 클래스 EEG-EM 데이터셋: 43 명의 피험자로부터 수집된 공개형 다중 클래스 RSVP 데이터셋을 구축했습니다.
2. 새로운 융합 모델 (MTREE-Net): 다중 클래스 RSVP 해독을 위해 EEG 와 EM 신호를 최초로 융합한 딥러닝 모델을 제안했습니다.
3. 혁신적인 모듈 설계:
   • 모달리티 간 특징의 차별성을 높이는 이중 보완 모듈 (DCM).
   • 각 모달리티의 기여도를 명시적으로 활용하여 융합 성능을 극대화하는 기여도 기반 재가중치 모듈 (CG-RM).
   • 비표적 오분류를 줄이기 위한 계층적 자기 증류 (HSM) 전략.
4. 성능 검증: 기존 EEG 해독 방법 및 기존 EEG-EM 융합 방법보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능 비교: 3 가지 작업 (Task A, B, C) 에서 MTREE-Net 은 기존 EEG 기반 방법 (EEGNet, MDCNet 등) 및 기존 EEG-EM 융합 방법 (CMGFNet 등) 보다 균형 정확도 (Balanced Accuracy), 재현율 (Recall), F1 점수에서 통계적으로 유의미하게 높은 성능을 보였습니다.
  • 예: Task B 에서 MTREE-Net 의 BA 는 74.42% 로, 차기 최강 모델 (CMGFNet, 70.58%) 보다 약 4% 포인트 높았습니다.
• 모듈별 기여도 (Ablation Study):
  • DCM 제거 시 EM 특징의 분류 성능이 급격히 저하되었으며, DCM 이 특징 보완을 통해 성능을 향상시킴을 확인했습니다.
  • 기여도 기반 손실 (Lcg) 을 제거하면 융합 성능이 감소하여, 모달리티 기여도 가이드의 중요성이 입증되었습니다.
  • HSM 을 제거하면 비표적 샘플의 오분류율이 증가하여, 계층적 구조가 오분류 감소에 핵심적임을 확인했습니다.
• 신호 분석:
  • EEG: 두 가지 다른 표적 카테고리 간에도 P300 및 N200 성분에서 시공간적 유의미한 차이가 존재함을 확인했습니다.
  • EM: 동공 크기 (Pupil area) 와 수평 시선 위치가 표적 분류에 가장 중요한 특징임을 확인했습니다.

5. 의의 및 결론 (Significance)

• 다중 클래스 BCI 의 실용화: 단일 클래스 탐지를 넘어 복잡한 다중 클래스 환경에서도 높은 정확도를 달성할 수 있는 프레임워크를 제시했습니다.
• 멀티모달 융합의 새로운 패러다임: 단순히 데이터를 합치는 것을 넘어, 각 모달리티의 기여도를 정량화하고 계층적 학습을 통해 상호 보완성을 극대화하는 새로운 접근법을 제시했습니다.
• 오픈 소스 생태계: 공개된 데이터셋과 소스 코드는 향후 다중 클래스 RSVP-BCI 시스템 개발 및 연구의 기반을 마련했습니다.

이 연구는 뇌파와 안구 운동 신호의 융합을 통해 기존 BCI 의 한계를 극복하고, 실제 환경에서 적용 가능한 고성능 다중 클래스 표적 탐지 시스템을 구축할 수 있음을 입증했습니다.