기술 요약: 임베디드 폴리곤 심볼릭 전이 엔트로피 (EPSTE)

1. 문제 정의

EEG 및 MEG 데이터로부터 신경 시스템 간의 방향성 상호작용을 추론하는 것은 노이즈, 비정상성(nonstationarity), 그리고 정보 이론적 추정치에 요구되는 높은 샘플 복잡도 때문에 여전히 중요한 과제로 남아 있다. 전이 엔트로피(Transfer Entropy, TE)는 방향성 정보 흐름에 대한 원칙적이고 모델 프리(model-free)인 척도를 제공하지만, 유한한 데이터 영역, 특히 임베딩 차원이 증가함에 따라 실질적인 추정이 불안정해지는 문제가 있다. 원시 신호 진폭에 의존하는 기존의 고전적 추정치들은 고차원 조건부 확률 분포를 신뢰성 있게 추정하기 위해 기하급수적으로 큰 샘ful 사이즈를 요구하는 "차원의 저주"를 겪는다.

기존의 심볼릭 TE(예: Symbolic Transfer Entropy) 방식은 신호를 이산화하여 강건성을 개선하지만, 종종 제한된 심볼릭 알파벳(예: 서수 패턴)에 의존하여 상태 공간의 표현 능력을 제한하며, 이 과정에서 곡률이나 크기 변화와 같은 중요한 형태학적 정보를 손실할 가능성이 있다. 또한, TE를 근사하려는 최근의 딥러닝 접근 방식들은 원시 진폭이나 암묵적 분포에 직접 작용하는 경우가 많아, 안정성을 유지하기 위해 대규모 데이터셋과 정교한 최적화가 필요하다. 따라서 정보의 구조적 특성을 보존하면서도 추정 복잡도를 줄일 수 있는 표현 방식이 필요하다.

2. 방법론

2.1 EPSTE 프레임워크

본 논문은 **임베디드 폴리곤 심볼릭 전이 엔트로피(Embedded Polygon Symbolic Transfer Entropy, EPSTE)**를 소개한다. 이는 TE 추정을 원시 신호 진폭이 아닌, 국소적 시간 형태(temporal morphology)의 구조화된 심볼릭 표현 위에서 작동하는 학습 가능한 문제로 재정의한 프레임워크이다.

• 기하학적 분해: 신경 시계열은 인접한 세 개의 샘플 $(x_{t-1}, x_t, x_{t+1})$로부터 유도된 기하학적 기본 도형(geometric primitives)의 시퀀스로 분해된다. 이 삼각 도형(triplets)은 파형 구조의 세 가지 상보적 측면을 인코딩하는 삼각형 프리미티브를 형성한다:
  1. 삼각형 면적(Triangle Area): 변화의 크기를 나타냄.
  2. 각도/방향(Angle/Orientation): 상대적 기울기에서 유도되며, 방향성 변화를 나타냄.
  3. 진폭 변화(Amplitude Change): 상대적 크기를 나타냄.
• 심볼릭화(Symbolization): 이러한 연속적인 기하학적 특징들은 훈련 세트에서 학습된 분위수 기반(quantile-based) 글로벌 빈(bin)을 사용하여 범주형 토큰으로 이산화된다. 세 개의 빈 인덱스는 하나의 단일 심볼릭 토큰으로 패킹되어, 압축적이면서도 표현력이 풍부한 상태 공간을 생성한다.
• 신경망 구조: 슬라이딩 윈도우 내의 변환된 심볼릭 시퀀스 내에서 국소적 시간 의존성을 모델링하기 위해 게이트 순환 유닛(GRU)을 사용하는 순환 신경망(RNN)이 사용된다.
• 다중 인스턴스 학습(Multiple-Instance Learning, MIL): 모델은 심볼릭 시간 윈도우의 "백(bag)" 단위로 작동한다. 어텐션 기반 풀링 메커니즘은 윈도우 수준의 표현을 단일 시행(trial) 수준의 예측으로 집계하여, 네트워크가 시행 내에서 가장 정보가 많은 세그먼트에 집중할 수 있도록 한다.
• 학습 타겟: 네트워크는 대리 검증(surrogate-validated)된 TE 값을 예측하도록 학습된다. 그라운드 트루스(ground-truth) 라벨은 밀러-마도(Miller–Madow) 편향 교정을 사용하는 결합 계수 추정치를 사용하여 표준 심볼릭 TE(STE)를 계산함으로써 생성된다.

2.2 실험 설계

• 데이터: AAL90 아틀라스를 사용하여 파셀레이션(parcellation)된 5명의 참가자로부터 얻은 소스 재구성 MEG 데이터(사이키델릭 연구). 데이터는 노치 필터 및 저역 통과 필터링, 다운샘플링(250 Hz), z-score 정규화를 거쳐 전처리되었다.
• 베이스라인 비교: 동일한 분위수 빈 규칙을 사용하여 원시 MEG 진폭을 범주형 심볼로 이산화한 표준 심볼릭 베이스라인을 대조군으로 설정하였다. 결정적으로, EPST와 베이스라인 모델 간의 입력 표현 효과를 격리하기 위해 신경 구조, 하이퍼파라미터, 최적화 절차 및 데이터 분할을 동일하게 유지하였다.
• 평가: 다음 세 가지 계층적 스케일에서 성능을 평가하였다:
  1. 윈도우 수준(Window-level): 국소적 역학.
  2. 백 수준(Bag-level, Trial): 시행 간 집계.
  3. 쌍 수준(Pair-level): 모든 시행에 걸친 방향성 채널 쌍의 집계(주요 결과물).
• 검증: 위상 무작위화(phase-randomization)를 이용한 대리 테스트(surrogate testing)를 통해 TE 추정치가 허구적 상관관계가 아닌 실제 방향성 구조를 반영하는지 확인하였다.

3. 주요 결과

3.1 집계의 필수성

윈도우 수준에서는 EPSTE와 베이스라인 모두 높은 분산과 낮은 그라운드 트루스 TE와의 상관관계를 보였다 (EPSTE $r \approx 0.48$, 베이스라인 $r \approx 0.52$). 이는 국소 윈도우가 단독으로는 안정적인 방향성 의존성을 인코딩하지 못함을 확인시켜 준다.

그러나 집계(Aggregation) 과정을 거치면 다음과 같이 안정적인 방향성 의존성이 나타났다:

• 백 수준 (시행): EPSTE는 그라운드 트루스와 강한 상관관계($r = 0.86, R^2 = 0.74$)를 보였으며, 베이스라인($r = 0.68, R^2 = 0.46$)을 크게 앞질렀다.
• 쌍 수준 (주요 결과): EPSTE는 그라운드 트루스의 방향성 구조를 거의 완벽하게 복구하였다 ($r \approx 0.99, R^2 \approx 0.98$). 베이스라인 역시 집계를 통해 개선되었으나 ($r \approx 0.98$), 더 높은 절대 오차와 평균 쪽으로 치우치는 체계적인 압축 현상을 보였다.

3.2 EPSTE의 정량적 우월성

• 오차 감소: 쌍 수준에서 EPSTE는 베이스라인보다 현저히 낮은 절대 오차를 달성하였다 (평균 절대 오차: EPSTE $\approx 0.0018$ vs. 베이스라인 $\approx 0.0034$).
• 통계적 유의성: 짝 지어 수행된 윌콕슨 부호 순위 검정(Wilcoxon signed-rank test) 결과, EPSTE가 달성한 절대 오차 감소는 매우 유의미하였다 ($p \approx 2.9 \times 10^{-15}$).
• 구조적 충실도: 쌍 수준 예측의 히트맵은 EPSTE가 네트워크 전반에 걸쳐 일관되고 단계적인 방향성 영향 패턴을 보존하는 반면, 베이스라인은 강한 상호작용과 약한 상호작용 사이의 대비가 줄어든 압축된 맵을 생성함을 보여주었다.

3.3 학습 역학

EPSTE 모델은 베이스라인보다 더 빠르게, 그리고 실질적으로 더 낮은 손실 영역으로 수렴하였다. 베이스라인은 더 높은 손실 하한선에서 조기에 정체된 반면, EPSTE는 지속적으로 정보가 풍부한 구조를 추출해 냈으며, 이는 기하학적 표현이 방향성 의존성의 학습을 촉진함을 시사한다.

4. 주요 기여

1. 새로운 표현 방식: 시계열을 면적, 곡률, 방향을 인코딩하는 삼각형 형태의 기하학적 프리미티브로 분해하고 이를 심볼릭 토큰으로 이산화하는 EPSTE 프레임을 도입하였다.
2. 표현의 영향력 입증: 표현 구조가 정보 이론적 의존성의 학습 가능성에 결정적인 요소임을 실증적 증거를 통해 보여주었다. 본 연구는 기하학적-심볼릭 표현이 동일한 신경 구조와 감독(supervision)을 사용할 때에도 원시 진폭 기반의 심볼릭 표현보다 방향성 인과 구조를 더 잘 복구한다는 것을 입증함으로써, "표현이 학습에 앞선다"는 점을 보여준다.
3. 다중 스케일 추론 프레임워크: 안정적인 인과 추정치는 윈도우에서 시행, 그리고 쌍으로 이어지는 계층적 집계를 통해서만 나타난다는 것을 검증하였으며, 이는 신경 시스템의 인과 구조가 분산되어 있으며 신뢰할 수 있게 관찰되기 위해서는 시간적 통합이 필요하다는 관점을 뒷받침한다.

5. 의의 및 주장

본 논문은 표현의 기하학적 구조가 정보 이론적 의존성의 실질적인 학습 가능성을 가능하게 하는 데 결정적인 역할을 한다고 주장한다.

• 추정치를 넘어: 본 연구의 결과는 신경 모델이 단순히 용량(capacity)만으로 표현의 한계를 극복할 수 있다는 가설에 도전한다. 대신, 연구는 "표현이 학습에 선행한다"고 상정한다. 즉, 방향성 정보 흐름을 복구하는 신경 추정기의 능력은 시간적 구조가 어떻게 인코딩되는지에 의해 근본적으로 제약된다.
• 분산과 표현력의 균형: EPSTE는 표현의 풍부함과 계산적 실행 가능성 사이의 원칙적인 절충안을 제공한다. 단일 심볼릭 단위 내에 여러 해석 가능한 기하학적 차원(면적, 각도, 진폭)을 분산시킴으로써, 차원의 저주를 완화하면서도 고차원적 시간 임베딩 없이도 상태 분리성을 높인다.
• 방법론적 전환: 본 논문은 신경 영상에서의 인과 추론이 단순한 추정기(estimator)의 문제가 아니라, 표현의 선택이 학습할 수 있는 인과 구조를 결정짓는 1차적인 방법론적 결정임을 주장한다. 데이터가 제한적이고 노이즈가 많은 환경에서, 인과 추론은 추정기뿐만 아니라 시간 역학이 기술되는 "언어"(표현)에 의해 제약된다.

한계점 명시:
저자들은 본 연구가 메커니즘적 그라운드 트루스보다는 운영적 정의로서의 TE를 제공하는 대리 기반 감독(surrogate-based supervision)에 의존하고 있음을 언급하였다. 또한, 이산화(binning) 방식이 학습된 것이 아니라 고정된 방식이었으며, 시간 지연(lag) 범위가 생리학적으로 타당한 값으로 제한되었다는 점을 밝혔다. 본 연구는 메커니즘적 인과성을 복구한다고 주장하는 것이 아니라, 정보적 또는 예측적 인과 구조를 복구하는 것에 관한 것이다.