기술 요약: 신경 상호작용 발견은 언제 실재하는가?

문제 정의

본 논문은 해석 가능한 시계열 모델링의 근본적인 질문을 다룬다: 상호작용을 포착하도록 설계된 신경망 모델(특히 G-NAVAR와 같은 모델)이 한 변수가 다른 변수의 효과를 조절한다고 보고할 때, 이 발견된 상호작용은 데이터 생성 과정의 진정한 속성인가, 아니면 단순히 모델의 유연성으로 인한 인위적 결과물(artifact)인가?

신경 가법 벡터 자기회귀(NAVAR) 및 관련 그랜저 인과관계(Granger causality) 방법론들은 역동성을 해석 가능한 소스 기여도로 분해할 수 있지만, 효과 수정(effect modification)(한 변수의 영향력이 다른 변수의 수준에 따라 달라지는 현상)을 자연스럽게 표현하지는 못한다. 이러한 모델에 곱셈 게이트(multiplicative gates)를 포함하도록 확장한 G-NAVAR는 이러한 상호작용을 허용하지만, 저자들은 표현 능력(representational capacity)이 **식별 가능성(identifiability)**을 보장하는 것은 아니라고 주장한다. 유연한 모델은 데이터를 동일하게 잘 설명하면서도 구조적 해석은 서로 다른, 관측적으로 동등한 여러 상호작용 분해 방식을 가질 수 있다. 핵심 문제는 회복된 상호작용 구조가 관측 데이터로부터 유일하게 식별 가능한지, 아니면 입력 지지 집합(input support)의 기하학적 구조에 의해 유도된 최적화의 인위적 결과물인지 결정하는 것이다.

방법론

모델 아키텍처: G-NAVAR

저자들은 **Gated Neural Additive Vector Autoregression (G-NAVAR)**을 연구한다. 타겟 변수 $x_i$에 대해, 모델은 조건부 평균을 다음과 같은 에지 곱(edge products)의 합으로 분해한다:
$$\hat{x}_{i,t} = \beta_i + \sum_j f_{ij}(x^{(K)}_{j,t}) \prod_{k \in M_{ij}} g_{ijk}(x^{(K)}_{k,t})$$
여기서 $f_{ij}$는 소스 $j$에 대한 기본 함수이며, $g_{ijk}$는 후보 조절자(modulator) $k \in M_{ij}$에 의해 구동되는 엄격히 양수인 곱셈 게이트이다. 곱 $F_{ij} = f_{ij} \prod g_{ijk}$는 소스 $j$의 유효한 기여를 나타낸다.

이론적 프레임워크

본 논문은 **게이지 대칭성(gauge symmetries)**과 **지지 집합 기하학(support geometry)**을 분석하여 식별 조건(identifiability conditions)을 확립한다:

1. 정규화 및 최소성(Normalization and Minimality): 사소한 대칭성(척도 재분배, 조절자의 순열, 1과 같은 게이트 삽입)을 제거하기 위해 저자들은 다음을 부과한다:
   • 정규화: $E[g_{ijk}] = 1$.
   • 최소성: 에지 곱을 비사소하게 변화시키는 필수적인 조절자만을 포함한다.
2. 식별 저해 요소(Obstructions to Identifiability):
   • 의존성에 의한 누출(Dependence-Induced Leakage): 입력 변수들이 의존적일 경우, 조건화(conditioning)가 소스 효과를 격리하지 못하며, 저차원의 변동이 에지별 항 사이로 누출될 수 있다.
   • 저차원 지지 집합(Low-Dimensional Support): 조절자들의 결합 지지 집합이 효과적으로 저차원인 경우(예: 공선성), 서로 다른 게이트 함수들이 관측된 데이터 상에서는 완벽하게 일치할 수 있으나 데이터 외 영역에서는 다를 수 있으며, 이는 회복을 불가능하게 만든다.
3. 식별 정리(Identifiability Theorem): 저자들은 특정 조건 하에서 정규화된 최소 G-NAVAR에 대한 모집단 식별성 정리를 증명한다:
   • 에지 분리성(Edge Separability): 서로 다른 소스의 기여는 구별 가능해야 한다. 이는 불연속적인 지지 집합에 대한 직합(direct-sum) 조건 또는 공유된 조절자에 대한 **계층적 직교 함수 분해(Hierarchically Orthogonal Functional Decomposition, HOFD)**를 통해 달성된다.
   • 지지 집합 풍부성(Support Richness): 조절자 집합의 결합 지지 집합은 엄격히 양의 밀도를 가진 전차원적이고 열린 연결된 곱 집합(open, connected product set)이어야 한다.
   • 게이트-상호작용 충실성(Gate-Interaction Faithfulness): 나열된 조절자 집합은 구조적 상호작용 성분에 대응해야 한다.

실무적 진단 도구

이론은 실무자를 위한 두 가지 운영 도구를 제공한다:

1. 적합 전 진단 (유효 랭크, Effective Rank): 결합 시차 블록 공분산 행렬의 유효 랭크($r_{eff}$)는 지지 집합의 풍부함을 나타내는 대리 지표 역할을 한다.
   $$r_{eff}(S) = \frac{(\text{tr } \Sigma_S)^2}{\text{tr}(\Sigma_S^2)}$$
   낮은 유효 랭크는 지지 집합의 붕괴(degeneracy)를 나타내며, 모델 적합 전에도 식별 불가능성을 예측한다.
2. 적합 후 안정성 검사 (Two-seed Stability Check): 독립적인 무작위 시드(seed)로부터 모델을 두 번 적합시키는 과정을 포함한다. 회복된 조절자 순위가 크게 불일치한다면, 해당 상호작용 구조는 비록 지지 집합이 풍부해 보이더라도 안정적으로 회복될 수 없는 구조일 가능성이 높다.

주요 결과

합성 실험

• 규모에 따른 회복(Recovery at Scale): 풍부한 지지 집합을 가진 합성 환경에서, G-NAVAR는 샘플 크기가 증가함에 따라 실제 조절자 집합과 게이트 형태를 성공적으로 회복하며, 이는 곱셈 구조를 포착할 수 없는 가법 베이스라인(additive baselines)보다 우수한 성능을 보이고 블랙박스 MLP 및 기능적 ANOVA 모델(GA2M)의 예측 정확도와 대등하다.
• 지지 집합 붕괴 전이(Support Collapse Transition): 조절자 간의 상관관계가 증가하여(유효 랭크 감소) 지지 집합이 줄어듦에 따라, 조절자 집합의 회복이 붕괴된다. 게이트 추정 오차는 $r_{eff}$가 감소함에 따라 연속적으로 상승하며, 이는 식별 가능성이 샘플 크기뿐만 아니라 지지 집합의 기하학적 구조의 함수임을 확인시켜 준다.
• 모델 불가지론(Model Agnosticism): 풍부한 지지 집합 하에서는 여러 상호작용 인지 모델(G-NAVAR, GA2M)이 구조를 회복하는데, 이는 회복에 있어 *파라미터화(parameterization)*보다 *지지 조건(support condition)*이 더 중요하다는 것을 시사한다.

실제 데이터 실험

저자들은 세 가지 뚜렷한 경험적 영역에서 이론을 검증한다:

1. 베이징 대기 질 (풍부한 지지 집합, 회복 가능):
   • 맥락: $NO_2 \to O_3$ 및 $PM_{2.5} \to PM_{10}$ 에지 모델링.
   • 결과: 높은 유효 랭크($r_{eff} > 4$)는 모든 측정 지점에서 예상된 조절자(오존에 대한 온도, 확산에 대한 풍속)의 안정적인 회복과 일치했다. 적합 전 진단이 회복 가능성을 정확히 예측했다.
2. WDI 개발 지표 (풍부한 지지 집합, 불안정):
   • 맥락: 투자/무역에 의해 조절되는 자원 지대(resource rents)가 GDP 성장률에 미치는 영향 모델링.
   • 결과: 높은 유효 랭크($r_{eff} \approx 4.47$)에도 불구하고, 두 시드 검사 결과 불안정성(상위 조절자에 대한 불일치, 게이트 기울기의 부호 반전)이 드러났다. 이는 풍부한 지지 집합이 필요조건이지만 충분조건은 아님을 보여준다. 즉, 상호작용 구조 자체가 약하거나 데이터 분포에서 식별 불가능할 수 있다.
3. 실현 변동성 (붕괴된 지지 집합, 회복 불가능):
   • 맥락: 글로벌 주식 지수 간의 변동성 전이 모델링.
   • 결과: 시장 간 높은 상호 상관관계로 인해 매우 낮은 유효 랭크($r_{eff} < 2$)를 보였다. 적합 전 진단은 이 영역을 식별 불가능하다고 정확히 분류했다. 회복은 불안정했으며, 모델은 가법 베이스라인보다 우수한 성능을 내지 못했다.

의의 및 주장

본 논문은 상호작용 발견 가능성은 특정 신경망 아키텍처의 문제가 아니라, 관측된 입력 지지 집합의 기하학에 의해 지배되는 근본적인 식별성의 문제라고 주장한다.

• 용량(Capacity)과 식별 가능성(Identifiability)의 구분: 모델이 상호작용을 표현할 수 있는 능력이 있다고 해서, 데이터로부터 이를 고유하게 회복할 수 있다는 것을 의미하지는 않는다.
• 모델 불가지론적 원칙: 공식적인 증명은 G-NAVAR를 위해 도출되었으나, 저자들은 지지 집합에 따른 비식별성과 안정성 검사의 필요성이 상호작용을 발견하려는 모든 유연한 신경 가법 자기회귀 방식에 적용된다고 주장한다.
• 실무적 워크플로우: 논문은 실무자를 위한 구체적인 2단계 워크플로우를 제공한다:
  1. 모델 적합 전 후보 조절자 집합의 유효 랭크를 계산한다. 랭크가 낮다면 모델 복잡도와 상관없이 회복은 불가능하다.
  2. 랭크가 적절하다면, 두 시드 안정성 검사를 수행한다. 결과가 불안정하다면, 발견된 상호작용은 데이터의 속성이 아니라 최적화의 인위적 결과일 가능성이 높다.
• 한계: 저자들은 자신들의 주장에 대해 겸허한 태도를 취하며, 이 진단이 필요조건이지만 충분조건은 아니라는 점(고차 미스스펙으로 인한 오류를 감지할 수 없음)과 "안정성"이 정답을 보장하는 것이 아니라 재현성을 보장할 뿐이라는 점을 명시한다.

요약하자면, 본 논문은 초점을 "상호작용을 적합할 수 있는가?"에서 "상호작용이 데이터에 의해 유일하게 결정되는가?"로 전환하며, 이를 통해 실재하는 발견과 최적화의 인위적 결과물을 구분할 수 있는 이론적 토대와 실무적 도구를 모두 제공한다.