기술 요약: 대규모 온라인 커널 학습을 이용한 양방향 인과 효과 추정

문제 정의

본 논문은 상호 의존성과 이분산성(heteroskedasticity)이 특징인 시스템에서 **양방향 인과 효과(bidirectional causal effects)**를 추정하는 과제를 다룹다. 전통적인 인과 추론은 주로 단방향 관계에 집중하는 반면, 많은 실제 시스템(예: 포식자-피식자 역학, 정책 개입, 뇌-행동 상호작용)은 상호적 인과관계를 나타낸다. 특히 대규모, 고차원 및 스트리밍 데이터를 처리할 때 머신러닝을 적용하는 데 있어 상당한 방법론적 격차가 존재한다.

기존의 접근 방식은 두 가지 주요 한계점에 직면해 있다:

1. 도구 변수(Instrumental Variable, IV) 방법: 전통적인 IV 방법은 처치 변수의 조건부 평균에 대한 외생적 변화에 의존한다. 이러한 방법은 한 곡선은 변화시키면서 다른 곡선은 고정시키는 유효한 도구 변수가 존재하지 않는 한, 양방향 시스템을 처리하는 데 어려움을 겪는다.
2. 이분산성 기반 식별(Heteroskedasticity-Based Identification): 조건부 분산(외생적 분산 변화)에 의존하는 이 방식은 외부 도구 변수 없이도 동시 방정식 모델(SEM)을 식별할 수 있게 해주지만, 전통적인 구현 방식은 샘플을 하위 집단으로 나누거나 복잡한 다항 근사(polynomial approximations)를 사용해야 한다. 이러한 방법들은 비선형 조건부 분산 및 평균을 모델링하는 유연성이 부족하거나, 고차원 설정에서 계산 효율성이 떨어질 수 있다.

방법론

제안된 프레임워크는 이분산성 기반 식별과 대규모 온라인 커널 학습을 통합한다. 핵심 구성 요소는 다음과 같다:

1. 모델 명세

저자들은 두 개의 내생 변수($y_1, y_2$)와 외생 공변량($x$)을 갖는 동시 방정식 모델(SEM)을 정의한다:
$$\begin{aligned} y_{1,i} &= \gamma_1 y_{2,i} + h_1(x_i, \beta_1) + \varepsilon_{1,i} \\ y_{2,i} &= \gamma_2 y_{1,i} + h_2(x_i, \beta_2) + \varepsilon_{2,i} \end{aligned}$$
결정적으로, 오차 항의 조건부 분산은 공변량의 함수로 모델링된다:
$$g_{j,i} = V(\varepsilon_{j,i}|x_i) = \exp(f_j(x_i, \alpha_j))$$
목표는 미지의 함수 $h_j$와 $f_j$를 함께 추정하면서 인과 파라미터 $\gamma_1$과 $\gamma_2$를 추정하는 것이다.

2. 식별 전략

이 방법은 준최대 가능도(quasi-maximum likelihood, QML) 추정에 의존한다. 식별은 두 방정식의 조건부 분산이 서로 비례하지 않을 때($g_1 \not\propto g_2$) 이루어진다. 이는 평균의 변화 대신 분산의 변화를 활용하여 구조 방정식의 기울기를 식별하는 방식으로, 도구 변수 접근법의 변형이다.

3. 무작위 푸리에 특징(Random Fourier Features, RFF)을 통한 함수 근사

비선형성과 고차원을 처리하기 위해, 미지의 함수 $h_j(\cdot)$와 $f_j(\cdot)$는 커널 기반 함수 표현을 사용하여 근사된다.

• 전체 커널 행렬을 저장하는 대신(이는 $N$이 클 때 계산적으로 불가능함), 저자들은 **무작위 푸리에 특징(RFF)**을 채택한다.
• 보흐너 정리(Bochner's theorem)에 따라, 이동 불변 커널(예: 가우시안 커널)은 무작위 사인 투영을 사용하여 입력 $x$를 유한 차원 특징 공간 $z(x)$로 매핑함으로써 근사된다:
  $$z(x) = (\sin(u_1^\top x), \cos(u_1^\top x), \dots, \sin(u_m^\top x), \cos(u_m^\top x))^\top$$
• 이를 통해 커널 방법을 특징 공간에서의 선형 모델로 변환하여 효율적인 계산을 가능하게 한다.

4. 온라인 최적화

파라미터는 **적응형 온라인 경사 하강법(adaptive online gradient descent algorithm)**을 사용하여 추정된다:

• 손실 함수: 로그-가우시안 준 최대 가능도(log-Gaussian quasi-likelihood)로부터 유도된다.
• 최적화: 알고리즘은 데이터를 스트리밍 방식(하나의 관측치씩 또는 작은 배치 단위)으로 처리한다.
• 적응성: 단계 크기(step-size) 조절을 위해 Adam 최적화를 사용하며, 안정성을 보장하기 위해 **적응형 경사 클리핑(adaptive gradient clipping)**을 사용한다. 클리핑 임계값은 과거 경사 노름(gradient norm)의 편향 수정된 지수 이동 평균으로 업데이트된다.

주요 기여

1. 확장 가능한 양방향 추정: 본 논문은 이분산성 기반 식별을 사용하여 SEM에서 양방향 인과 효과를 공동으로 추정하기 위해 설계된 최초의 확장 가능한 온라인 학습 프레임워크를 제안한다.
2. 유연한 비선형 모델링: RFF를 QML과 결래하여, 다항 근사의 경직성이나 전체 커널 행렬의 계산 비용 없이 비선형 조건부 평균 및 분산을 유연하게 모델링한다.
3. 계산 효율성: 제안된 방식은 공변량 및 관측치 수에 대해 거의 선형적인 계산 스케일링을 달 만큼 효율적이어서, 고차원($d=1000$) 및 대규모 샘플($N=20,000$) 스트리밍 데이터에 적합하다.
4. 이론적 토대: 이 방법은 이분산성 하에서의 SEM에 대한 국소 식별 조건(local identification conditions)이라는 계량경제학적 식별 이론과 현대 머신러닝 기법을 연결한다.

실험 결과

저자들은 다음 두 가지 베이스라인과 비교하여 성능을 평가했다:

• Single-Kernel: 동시성을 무시하고 방정식을 독립적으로 추정한다.
• SEM-PAB: 베타 함수 가중치와 Box–Cox 변환을 사용하는 다항 근사를 사용한다(이전 연구 [11]에서 가장 유연한 명세).

결과:

• 정확도: 제안된 SEM-Kernel 방법은 복잡한 비선형 및 이분산 시나리오(DGP-3)를 포함한 다양한 데이터 생성 과정(DGP)에서 일관되게 더 낮은 편향(bias)과 평균 제곱근 오차(RMSE)를 달察했다.
• 베이스라인의 편향: Single-Kernel 방법은 체계적인 편향을 보였으며, 이는 내생성을 무시하는 것이 일관되지 않은 추정치를 초래함을 확인시켜 주었다. SEM-PAB 방법은 수치적 불안정성과 현저히 높은 오차를 보였다.
• 확장성:
  • 특징 수 대비 정확도: 무작위 푸려 성분($m$)의 수를 늘리면 $m \approx 500$까지 정확도가 향상되었으나, 그 이후에는 이득이 미미했다.
  • 계산 시간: SEM-Kernel 방법은 Single-Kernel 베이스라인보다 약간 더 많은 시간만 필요했다(예: $N=20,000, d=1000$일 때 ~4.5초 vs ~3.0초). 이는 SEM-PAB(100초 이상 소요)보다 수 자릿수 더 빠른 속도이다.
• 강건성: 이 방법은 재보정(recalibration) 없이도 다양한 샘플 크기와 특징 차원에서 안정성을 유지했다.

의의 및 주장

본 논문은 제안된 프레임워크가 상호 의존성이 존재하는 자연 과학, 사회 과학, 정책 결정 및 비즈니스 응용 분야에서 대규모 인과 추론을 위한 실용적이고, 확장 가능하며, 이론적 근거가 확실한 솔루션을 제공한다고 주장한다.

계량경제학적 식별 로직과 현대 머신러닝을 결합함으로써, 이 방법은 거의 선형적인 계산 스케일링으로 복잡한 양방향 인과 효과를 효과적으로 포착한다. 저자들은 이 접근 방식이 기존의 단방향 인과 추론의 한계와 기존 이분산성 기반 방법들의 계산적 병목 현상을 극적으로 극복한다고 강조한다.

한계 및 향 향후 연구:
저자들은 현재 프레임워크가 선형 인과 효과(구조적 파라미터 $\gamma$ 측면에서)만을 추정하며 대칭적 오차 항을 가정한다는 점을 겸허히 언급했다. 이들은 비선형 인과 관계와 강한 왜도(skewed data)를 수용할 수 있도록 프레임워크를 확장하는 것을 중요한 향후 연구 방향으로 꼽았다.