기술 요약: 비지도 인과적 추상화 발견 (Unsupervised Causal Abstractions Discovery)

문제 정의

본 논문은 전문가가 제안한 가설에 의존하지 않고, 저수준 측정값으로부터 고수준의 인과적 추상화를 발견하는 과제를 다룹니다. 기존의 메커니즘 해석 가능성(mechanistic interpretability) 및 인과적 추상화(causal abstraction) 연구는 대부분 가설 검증 패러다임을 따릅니다. 즉, 전문가가 후보가 되는 고수준 구조적 인과 모델(SCM)을 제안하고, 저수준 시스템(예: 심층 신경망)이 이를 구현하는지 확인하는 방식입니다. 그러나 이러한 접근법은 시스템을 완전히 이해하지 못한 경우 비용이 많이 들고 실행 불가능합니다. 저자들은 이와 상반되는 문제, 즉 저수준 관측값으로부터 직접 고수준 SCM을 학습하는 문제를 해결하고자 합니다.

방법론

이론적 프레임워크: Factor DAGs 및 저계수 구조 (Low-Rank Structure)

저자들은 저수준 변수들이 적은 수의 잠재 요인(latent factors)에 의해 매개변수화되는 모델 계열인 Factor Directed Acyclic Graphs (f-DAGs) 개념을 활용합니다. 이는 저수준 인과 그래프의 인접 행렬 $A$가 저계수 구조(구체적으로 Boolean rank $m < n$)를 가진다는 가정에 기반합니다.

• 인수 분해(Factorization): 저수준 인접 행렬 $A$는 $A = Q \diamond R^\top$로 분해됩니다. 여기서 $Q$는 관측 변수에서 잠재 요인으로 가는 엣지($X \to Z$)를 나타내고, $R$은 요인에서 다시 변수로 돌아오는 엣지($Z \to X$)를 나타냅니다.
• 인과적 추상화: 저자들은 f-SCM에 의해 생성된 저수준 SCM($L$)과 잠재 요인에 대한 고수준 SCM($H$) 사이의 관계를 정식화합니다. 이들은 만약 저수준 시스템이 f-SCM에 의해 생성된다면, 요인들로 압축된 SCM이 저수준 SCM의 **균등 변환(uniform transformation)**이 된다는 것을 증명합니다. 이는 고수준 모델이 특정 상태 및 개입 맵(state and intervention maps) 하에서 저수준 시스템의 개입 행동을 보존함을 의미합니다.

식별 가능성(Identifiability) 및 앵커 가정 (Anchor Assumption)

이러한 잠재 요인들을 식별할 수 있는 조건을 확립한 것이 핵심적인 기여입니다.

• 앵커 가정: 토픽 모델링에서 영감을 얻은 저자들은 "앵커" 조건을 도입했습니다. 각 잠재 요인 $Z$에 대해, 적어도 하나의 인-앵커(In-anchor, $Z$의 자식이기만 한 저수준 변수 $X$)와 하나의 아웃-앵커(Out-anchor, $Z$의 부모이기만 한 저수준 변수 $X$)가 존재해야 합니다.
• 식별 가능성 결과: 이 가정(표준적인 인과적 충분성 및 충실성 가정과 함께) 하에서 저자들은 다음을 증명합니다:
  1. Boolean 인수 분해는 요인의 순열(permutation)을 제외하고 유일합니다.
  2. f-SCM의 메커니즘은 단순한 재매개변수화(특히 메커니즘이 선형인 경우 아핀 변환)까지 식별 가능합니다.

실질적 구현: UCAD

저자들은 학습 문제를 제약 조건이 있는 최적화 작업으로 공식화한 실질적인 알고리즘인 **Unsupervised Causal Abstractions Discovery (UCAD)**를 제안합니다.

• 목적 함수: 모델은 특정 제약 조건을 만족하면서 매개변수화된 그래프 모델 하에서 관측된 데이터의 가능도(likelihood)를 최대화합니다.
• 제약 조건:
  1. 비순환성 (CDAG): 학습된 그래프가 DAG임을 강제하며, 계층적 시스템에서의 블록 상삼각 행렬(block upper-triangularity)을 보장하도록 조정되었습니다.
  2. 앵커 (Canchors): 식별 가능성을 보장하기 위해 각 요인에 대한 인-앵커와 아웃-앵커의 존재를 강제합니다.
  3. 희소성 (Sparsity): 과적합을 방지하기 위한 $L_1$ 제약을 적용합니다.
• 근사 변환: 학습 목적 함수는 "근사 변환" 경계(approximate transformation bound)를 통해 이론적 목표와 연결됩니다. 저자들은 학습 목적 함수(음의 로그 가능도)를 최소화하는 것이 고수준 인과적 추상화를 근사하는 오차를 선형적으로 제한함을 보여줍니다.

주요 결과

합성 실험 (Synthetic Experiments)

저자들은 다양한 복잡도(선형/비선형 메커니즘, 계층형/비계층형 구조, 노이즈 수준)를 가진 합성 f-SCM을 통해 UCAD를 검증했습니다.

• 잠재 요인 회복: 이 방법은 실제(ground-truth) 잠재 요인을 성공적으로 회복했습니다. 메커니즘이 선형일 때, 학습된 요인과 실제 요인 사이의 평균 상관 계수(MCC)는 0.83에 도 달했습니다.
• 비선형 사례: 완전한 비선형 설정에서는 (임의의 쌍생 함수적 변환으로 인해 예상대로) Pearson MCC가 하락했지만, Randomized Dependence Coefficient (MCC-RDC)는 0.70–0.79로 높게 유지되어, 비선형 재매개변수화까지 고려했을 때 기저 구조를 성공적으로 회복했음을 나타냈습니다.
• 강건성: 성능은 변수의 수(16–128)와 요인의 수(3–8)에 관계없이 대체로 불변했습니다.

신경망 해석 가능성 (Neural Network Interpretability)

이 방법은 6의 배수 판별 태스크를 수행하도록 훈련된 심층 신경망(MLP)에 적용되었습니다.

• 개념 회복: 모델은 2의 배수($c_2$)와 3의 배수($c_3$)라는 직관적인 개념에 대응하는 요인들을 성공적으로 식별했습니다.
• 지표: 학습된 요인들은 가설로 세운 개념들과 강력한 일치성을 보였습니다(양의 개념에 대해 MCC-RDC 0.72). 반면, 무관한 소수(negative controls)와의 일치성은 거의 0에 가까웠습니다(0.07).
• 구체적 발견: 하나의 학습된 요인은 2의 배수 개념과 0.80의 Pearson 상관관계를 보였으며, 이는 네트워크가 이 논리를 일관되게 구현하고 있음을 시사합니다.

의의 및 주장

본 논문은 저수준 데이터만으로 비지도 인과적 추상화의 발견을 위한 최초의 이론적 및 실무적 프레임워크를 제공한다고 주장합니다.

• 이론적 기여: 저계수 인과 발견(low-rank causal discovery)과 인과적 추상화 이론을 연결하여, 저계수 가정이 자연스럽게 유효한 고수준 추상화를 유도함을 증명했습니다. 또한 "앵커 가정"이 이러한 잠재 요인들을 사소한 동등성(trivial equivalence)까지 식별 가능하게 만드는 충분한 조건임을 확립했습니다.
• 실무적 기여: 이러한 이론적 보증을 미분 가능한 학습 목적 함수인 UCAD로 변환하여, DNN과 같은 실제 시스템에 적용할 수 있도록 했습니다.
• 한계 인정: 저자들은 현재 방식이 잠재 요인의 수를 알아야 한다는 점과, 더 크고 복잡한 시스템(예: 대규모 언어 모델)으로 확장하기 위해서는 추가적인 최적화 연구가 필요하다는 점을 언급하며 한계를 인정했습니다. 또한, 요인을 식별하더라도 DNN이 학습한 구체적인 휴리스틱을 해석하는 것은 여전히 도전적인 과제이며, 개념과의 낮은 일치도가 반드시 방법론의 실패가 아니라 다른 기저 전략을 나타낼 수도 있음을 명시했습니다.

이 연구는 전문가의 직관에 의존한 가설 생성 단계를 넘어, 복잡한 시스템에서 고수준 인과 구조를 자동화하여 발견하는 방향으로 나아가는 진일보한 단계로 자리매김하고 있습니다.