Feature leakage and the identifiability of direct-dependency entropy models of neural activity

기술 요약: 특징 누출(Feature Leakage)과 신경 활동의 직접 의존성 엔트로피 모델의 식별 가능성

문제 제기
생물학적 뉴런은 복잡한 비선형 수지상 돌기 기제를 통해 수천 개의 시냅스 입력을 통합한다. 그러나 인구 집단 활동은 각 입력이 독립적으로 스칼라 구동에 기여하는 "직접적" 또는 가산적(additive) 입출력 규칙(예: 로지스틱 단위)을 사용하여 빈번하게 모델링된다. 여기서 발생하는 핵심적인 간극는 이러한 직접 모델의 예측 성공과 그 성공의 기계론적 해석 사이의 차이다. 기존 연구들은 직접 최대 엔트로피(MaxEnt) 모델이 신경 데이터셋의 고차 및 시간 지연 공동 활동(coactivities)의 상당 부분을 예측할 수 있음을 보여주었다. 본 논문이 다루는 핵심 질문은, 이러한 예측 정확도가 밑바탕에 깔린 신경 기제가 진정으로 가산적임을 의미하는가, 아니면 샘플링된 입력 상태의 특정 분포로 인한 결과물인가 하는 점이다.

본 논문은 포함된 통계량과 상관관계가 있는 경우, 생략된 고차 상호작용, 시간 지연 또는 숨겨진 상태가 어떻게 적합된 1차 파라미터로 "흡수"될 수 있는지를 설명하며, 이를 **특징 누출(feature leakage)**이라 명명한다. 이 현상은 희소한 이진 신경 기록에서 발생하며, 이로 인해 높은 적합도(goodness-of-fit)를 가진 모델이 기계론적으로는 틀릴 수 있다. 구체적으로, 희소한 이진 입력의 경우, "공왜도(coskewness)" 채널을 통해 상호작용 항이 1차 특징으로 투영되어 가산성의 환상을 만들어낸다.

방법론
저자들은 정보 기하학(information geometry)과 특정 진단 도구를 활용하여 조건부 MaxEnt 모델의 식별 가능성 프레임워크를 개발하였으며, 이를 통해 분포 내 예측과 실제 응답 규칙($P(y|x)$)의 회복을 구분한다.

1. 정보 투영 분석 (Information Projection Analysis): 저자들은 생략된 충분 통계량($G$)이 제한된 MaxEnt 모델에서 적합된 1차 파라미터($\hat{\theta}$)를 어떻게 변화시키는지 공식화한다. 이 변화량은 샘플링된 입력 분포($P_{emp}$) 하에서 포함된 통계량($F$)과 생략된 통계량($G$) 사이의 피셔 교차 공분산(Fisher cross-covariance)에 의존함을 유도한다. 만약 이 공분산이 0이 아니라면, 생략된 효과가 적합된 파라미터로 누출된다.
2. 공왜도 항등식 (Coskewness Identity): 희소 이진 입력에 대해, 중심화된 쌍 곱($\delta_i \delta_j$)이 1차 특징($\delta_i$) 위로 투영되는 정도가 입력 공분산과 희소도 인자 $(1-2p_i)$에 비례함을 보여주는 폐쇄형 항등식을 유도한다. 희소 영역($p_i \ll 0.5$)에서 이 인자는 1에 가까우며, 이는 고차 특징이 1차 특징인 것처럼 가장할 수 있는 강력한 채널을 생성한다.
3. 진단 도구 (Diagnostics): 안정적인 1차 기제와 분포 의존적 인공물(artifact)을 구분하기 위해 저자들은 세 가지 대조 실험을 도입한다.
   • 상태 재가중치 부여 (State Reweighting): 추정된 응답 테이블 $P(y|x)$를 고정한 채, 입력 상태 가중치 $P(x)$를 경험적 가중치($q_{emp}$)에서 곱의 주변 분포($q_{prod}$) 또는 균형 분포($q_{bal}$)로 변경한다. 만약 재가중치 부여 시 1차 귀속도가 크게 감소한다면, 초기 성공은 분포 의존적이었음을 의미한다.
   • 조건부 로그-오즈 대비 (Conditional Log-Odds Contrasts): 로그-오즈에서의 상호작용 항인 $\Delta_{ij}$를 통해 국소 응답 테이블의 가산성을 직접 테스트한다. 이는 $P(x)$와 독립적이다.
   • 시간적 누출 시뮬레이션 (Temporal Leakage Simulation): 입력이 자기상관(autocorrelated) 관계를 가질 때, 순시 통계량이 지연된 기제를 어떻게 흡수하는지 정량화한다.

주요 결과

• 실제값 기반 시뮬레이션 (Ground-Truth Simulations): 순수하게 고차 생성기(zero linear drive)를 가진 시뮬레이션에서, 직접 모델이 포착할 수 있는 가용 정보의 겉보기 비율($\phi_{dir}$)은 입력 표현과 상관관계에 따라 극적으로 변했다. 희소하고 상관관계가 있는 이진 입력의 경우, 실제 값이 순수하게 상호작용 기반임에도 불구하고 $\phi_{dir}$이 ~0.84에 달했다. 반대로, 균형 잡힌 샘플링이나 대칭적 표현 하에서는 $\phi_{dir}$이 ~0으로 떨어졌다. 상태 재가중치 제어는 이러한 사례들을 성공적으로 분리해냈다. 즉, 고차 응답은 균형 잡힌 가중치 하에서 1차 귀속도를 잃었으나, 진정한 가산적 응답은 안정적으로 유지되었다.
• CA1 해마 기록: 높은 공동 활동과 잘 샘플링된 상태를 가진 마우스 CA1 기록의 국소 3-입력 "큐브"에 적용한 결과, 진단 도구는 경험적 가중치 하에서 1차로 보였던 테이블 중 약 절반이 균형 재가중에 따라 분포 의존적으로 변함을 밝혀냈다.
  • 경험적 가중치 하에서 중앙값 1차 귀속도는 0.754였다.
  • 곱의 주변 분포 제어 하에서는 0.679로 감소했다.
  • 균형 스트레스 테스트 가중치 하에서는 0.459로 감소했다.
  • 일치하는 가산-대리(additive-surrogate) 널(null) 모델은 이러한 감소가 유한 표본의 인공물이 아님을 확인해주었다. 진정으로 가산적인 테이블은 안정적이었으나, 관찰된 "민감한" 비율(48%)은 널 기대치를 훨씬 상회했다.
  • 결정적으로, 재가중치 하에서도 "성공적"(유지)으로 남은 테이블들조차 상당한 조건부 로그-오즈 대비($\Delta_{ij}$)를 보였으며, 이는 이들이 높은 예측력에도 불구하고 진정으로 가산적이지 않았음을 나타낸다.
• 시각 피질 기록: 마우스 시각 피질 데이터 분석 결과, 해마보다 작지만 측정 가능한 수준의 분포 의존적 성분이 나타났다. 대부분의 국소적 성공은 해마보다 더 견고했으나, 이 효과는 지속되었으며 이는 해마에 국한된 현상이 아님을 시사한다.
• 원시 공동 활동 예측 (Raw Coactivity Prediction): 원시 고차 공동 활동(예: $\langle y x_i x_j \rangle$)을 예측하는 높은 $R^2$ 값이 조건부 가산성을 확증하지는 못한다는 것을 입증한다. 이러한 지표들은 $P_{emp}(x)$에 대한 평균이며, 샘플링 기하 구조가 상호작용을 1차 특징으로 투영하기만 하면 실제 응답이 순수하게 상호작용적이라 하더라도 높게 나타날 수 있다.

의의 및 주장
본 논문은 직접 엔트로피 설명 비율과 원시 공동 활동 예측은 관찰된 상태 분포($P_{emp}$) 하에서의 예측에 대한 진술이지, 직접 모델 이외의 기제가 부재하거나 작다는 증거로 해석해서는 안 된다고 주장한다.

저자들은 직접 모델이 쓸모없다고 주장하는 것이 아니라, 그러한 모델의 성공적인 예측이 고차, 시간적 또는 잠재적 기제의 부재를 식별해주지는 않는다고 주장한다. 본 프레임워크는 직접 의존성 MaxEnt 모델의 예측 기여 범위를 정량적으로 명시할 수 있는 도구를 제공한다. 핵심적인 결론은, 상태 재가중치 부여나 조건부 로그-오즈 대비와 같은 제어 장치 없이는, 생물학적 뉴런이 비선형적으로 정보를 통합하는지 혹은 특정 실험 샘플링 조건 하에서 효과적으로 가산적 로지스틱 단위로 작동하는지를 구분할 수 없다는 것이다. 관찰된 많은 "1차적" 행동은 뉴런의 고유한 생물물리학보다는 샘플링된 입력의 기하학적 구조를 반영하는 것일 수 있다.