기술 요약: 선형 구조적 인과 모델의 인과적 추상화 학습

문제 정의

본 논문은 서로 다른 수준의 세밀도(granularity)를 가진 인과 지식을 모델링하는 과제를 다룹니다. **인과적 추상화(Causal Abstraction)**는 두 개의 구조적 인과 모델(SCM)을 서로 다른 상세 수준으로 연결하는 프레임워크를 제공하지만, 하나의 선형 SCM이 다른 하나를 추상화하기 위한 구체적인 그래프 및 파라미터 조건은 알려져 있지 않았습니다. 또한, 고수준 모델을 모르는 상태에서 관측 데이터로부터 이러한 추상화를 직접 학습하는 문제는 미해결 과제로 남아 있습니다. 기존 방법들은 대개 저수준 모델과 고수준 모델 모두에 대한 사전 지식이나, 최소한 고수준의 그래프 구조에 대한 지식을 가정합니다. 본 연구는 두 선형 SCM이 선형 변환에 의해 관계를 맺고 있는 시나리오에 초점을 맞추며, 이 관계를 규정하는 필요충분조건을 규명하고, 쌍을 이룬 관측값의 소규모 결합 데이터셋이 주어졌을 때 이 모델들과 추상화 함수를 학습하는 방법을 개발하는 것을 목표로 합니다.

방법론 및 이론적 프레임워크

1. 선형 T-추상화의 이론적 특성 규명

저자들은 추상 SCM $H$(변수 $Y$에 대한)가 행렬 $T$를 통해 저수준 SCM $L$(변수 $X$에 대한)의 선형 변환인 T-추상화를 정의합니다. 핵심적인 이론적 기여는 다음을 확립합니다:

• 분리된 관련 변수(Disjoint Relevant Variables): 유효한 T-추상화를 위해, 각 추상 변수가 직접 의존하는 구체적 변수들의 집합(관련 변수, $\Pi_R(Y)$로 정의됨)은 반드시 상호 배타적이어야 합니다. 이는 선형 T-추상화가 구성적 추상화(constructive abstraction)의 일종임을 의미합니다.
• 그래프 연결 조건:
  • 충분성: 관련 변수들 사이의 경로가 오직 무관한 변수들에 의해서만 매개되는 경우(즉, T-직접 경로), 이는 대응하는 추상 변수들 사이에 에지를 생성하기에 충분합니다.
  • 필요성: 추상 에지 $Y_i \to Y_j$가 존재하기 위해서는, 소스($\Pi_R(Y_i)$)의 모든 변수가 타겟($\Pi_R(Y_j)$)의 적어도 하나의 변수로 향하는 T-직접 경로를 가져야 합니다. 이 조건이 위반되면 해당 추상은 유효하지 않습니다.
• 블록 순서(Block Ordering): 추상화 함수는 관련 변수와 T-직접 경로를 통해 연결된 무관한 변수들을 포함하는 구체적 블록($\Pi(Y)$)을 유도합니다. 구체적 모델에서의 이 블록들의 인과적 순서는 추상 모델의 위상적 순서(topological ordering)를 엄격히 따라야 합니다. 이 블록들 외부에 있는 변수들은 추상화에 영향을 미치지 않으므로 무시될 수 있습니다.
• 파라미터 제약 조건: 본 논문은 선형 모델의 계수($W$, 구체적 모델용)와 추상 모델의 계수($M$), 그리고 추상화 함수($T$) 사이의 관계를 규정하는 필요충분조건을 도출합니다. 구체적으로, 임의의 추상 변수 쌍에 대해 $W_{ij}s_j = m_{ij}t_i$가 성립해야 하며, 여기서 $s_j$는 외생적 추상화 함수로부터 유도됩니다. 이를 통해 주어진 추상 모델을 만족하는 가능한 모든 구체적 모델(concretizations)의 집합을 규정할 수 있습니다.

2. Abs-LiNGAM: 학습 알고리즘

이러한 이론적 결과에 기반하여, 저자들은 비가우시안 노이즈(non-Gaussian noise) 가정을 바탕으로 관측 데이터로부터 추상 모델, 구체적 모델, 그리고 추상화 함수를 학습하는 알고리즘인 Abs-LiNGAM을 제안합니다. 이 방법은 소규모 결합 데이터셋($D_J$, 쌍을 이룬 구체적-추상적 관측값)과 대규모 구체적 데이터셋($D_L$)을 활용하여 네 단계로 작동합니다:

1. T-재구성(T-Reconstruction): 결합 데이터셋($D_J$)을 사용하여 최소 제곱법을 통해 선형 변환 행렬 $T$를 추정합니다. 이 단계는 구체적 변수를 추상 변수로 매핑하기 위해 쌍을 이룬 관측값의 가용성에 의존합니다.
2. 관련 변수 식별(Relevant Variable Identification): 추정된 $T$를 바탕으로 각 추상 변수에 대한 관련 구체적 변수 집합을 식별합니다.
3. 추상 인과 발견(Abstract Causal Discovery): 대규모 구체적 데이터셋($D_L$)에 추정된 변환 $T$를 적용하여 합성된 추상 데이터셋을 생성합니다. 그 후, 이 합성 데이터에 표준 인과 발견 알고리즘인 DirectLiNGAM을 적용하여 추상 인과 구조($\hat{M}$)를 학습합니다.
4. 제약된 구체적 발견(Constrained Concrete Discovery): 학습된 추상 구조는 구체적 그래프에 대한 제약 조건을 추론하는 데 사용됩니다. 구체적으로, 추상 변수 $Y_i$와 $Y_j$ 사이에 경로가 존재하지 않는다면, 알고리즘은 $\Pi_R(Y_i)$와 $\Pi_R(Y_j)$ 사이의 어떤 경로도 존재할 수 없다고 추론합니다. 이러한 제약 조건은 탐색 공간을 크게 줄인 상태에서 구체적 모델($\hat{W}$)을 복구하기 위해 DirectLiNGAM에 입력됩니다.

주요 결과

시뮬레이션 데이터에 대한 실험은 제안된 접근 방식의 효과를 입증합니다:

• 탐색 공간 감소: Abs-LiNGAM은 추상화 유도 제약 없이 전체 데이터를 대상으로 DirectLiNGAM을 직접 적용하는 것과 비교했을 때 인과 발견의 탐색 공간을 실질적으로 줄여줍니다.
• 실행 시간: 이러한 탐색 공간의 감소는 특히 구체적 노드의 수가 증가함에 따라 실행 시간의 상당한 단축으로 이어집니다.
• 데이터 효율성: 이 방법은 추상화 함수를 재구성하기 위해 소수의 쌍을 이룬 샘플($|D_J|$)만을 필요로 합니다. 쌍을 이룬 샘플의 수가 구체적 노드의 수와 비슷해지면 성능은 베이스라인(전체 데이터에 대한 DirectLiNGAM)에 근접합니다.
• 강건성(Robustness): 추상 인과 발견 단계를 부트스트래핑(여러 서브 데이터셋의 결과를 집계)하는 것은 실행 시간을 크게 늘리지 않으면서도 다운스트림 구체적 발견의 품질을 향상시킵니다.

의의 및 주장

본 논문은 인과 추론 및 추상화 분야에 다음과 같은 기여를 한다고 주장합니다:

1. 이론적 토대: 선형 인과 추상화에 대한 필요충분적인 그래프 및 파라미터 조건을 최초로 규명하였으며, 특히 저수준 계수와 추상화 함수가 어떻게 고수준 계수와 인과적 순서를 결정하는지를 다루었습니다.
2. 샘플링 절차: 주어진 추상 SCM의 유효한 concretization 집합으로부터 임의의 구체적 모델을 샘플링할 수 있는 완전하고 건전한 알고리즘(Algorithm 1)을 도입하였습니다. 이는 기존에는 불가능했던 기능입니다.
3. 데이터로부터의 학습: 주어진 결합 데이터셋이 변수 대응 관계를 설정하기 위한 소규모의 쌍을 이룬 관측값을 제공한다면, 관측 데이터로부터 고수준 및 저수준 인과 모델과 추상화 함수를 직접 학습하는 방법인 Abs-LiNGAM을 제안합니다. 이는 그래프 구조를 미리 알고 있다고 가정하는 기존 연구들과 차별화됩니다.
4. 확장성: 추상 정보를 활용함으로써 인과 발견의 탐색 공간을 제한하여, 대규모 선형 비가우시안 모델에 대한 인과 발견의 확장성을 개선할 수 있음을 보여주었습니다. 이는 고수준 개념은 희소하지만 저수준 데이터는 풍부한 시나리오에 대한 실질적인 해결책을 제공합니다.

저자들은 향후 연구를 통해 비선형 모델로 확장하고 인과적 충분성(causal sufficiency) 가정을 다룰 수 있을 것이라고 언급했으나, 현재의 작업은 엄격하게 선형 SCM과 선형 추상화 함수, 그리고 비가우시안 노이즈로 제한됩니다.