📊 statistics

The Causal Description Gap: Information-Theoretic Separations Across Pearl's Hierarchy

본 논문은 특정 구조적 인과 모델에서 개입에 대한 2 차 분리 및 반사실적 추론에 대한 선형 분리가 입증된 바와 같이, 더 높은 단계의 인과적 답변(개입 및 반사실)을 명시하는 것이 더 낮은 단계의 답변(관측 데이터)보다 훨씬 많은 비트를 요구할 수 있음을 보여줌으로써 퍼들의 인과 계층 수준 간의 정보 이론적 격차를 정량화한다.

원저자: Seyed Morteza Emadi

게시일 2026-05-05

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Seyed Morteza Emadi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 기계, 예를 들어 거대하고 신비로운 시계 태엽 장난감을 이해하려고 한다고 상상해 보세요. 당신은 그것을 바깥에서 바라볼 수 있고, 몇 가지 버튼을 누를 수 있으며, 심지어 "내가 다른 버튼을 눌렀다면 어떻게 되었을까?"라고 물을 수도 있습니다.

이 논문은 매우 구체적인 질문을 던집니다: "이미 '무엇이 일어나는가?'에 대한 답을 알고 있다면, '만약에?'라는 질문에 답하기 위해 얼마나 추가적인 정보가 필요한가?"

세이드 모르테자 에마디가 이끄는 저자들은 이 간격을 측정하기 위해 '비트'(정보의 기본 단위) 라는 개념을 사용합니다. 그들은 특정 유형의 기계에서는 이 간격이 막대하다는 것을 발견했습니다. 기계가 무엇을 하는지를 아는 것은 그것이 왜 그렇게 하는지, 혹은 다른 시나리오에서 무엇을 할지에 대해 거의 알려주지 않습니다.

다음은 그들의 발견을 간단한 비유로 정리한 것입니다:

1. 이해의 세 가지 단계 (Pearl 의 사다리)

이 논문은 유대 얼 (Judea Pearl) 의 유명한 아이디어인 인과 추론이 세 개의 계단으로 이루어져 있다는 개념을 기반으로 합니다:

1 단계 (관측): "내가 무엇을 보는가?" (예: 불이 켜져 있다.)
2 단계 (개입): "내가 X 를 한다면 무엇이 일어나는가?" (예: 내가 스위치를 켜면 불이 켜진 채로 남을까?)
3 단계 (반사실): "내가 Y 를 했다면 어떻게 되었을까?" (예: 내가 어제 스위치를 켰다면 지금 불이 켜져 있을까?)

이 논문은 1 단계를 단순히 '계산'하는 것만으로는 2 단계나 3 단계의 답을 얻을 수 없다는 것을 증명합니다. 하지만 정확히 얼마나 더 많은 정보가 부족한 것일까요?

2. "숨겨진 설계도" 비유

저자들은 이를 테스트하기 위해 세 가지 특정 유형의 "기계"(수학적 모델) 를 만들었습니다. 세 가지 경우 모두에서 기계는 바깥에서 볼 때 (1 단계) 완전히 동일하게 보입니다. 마치 항상 동일한 빛 패턴을 출력하는 블랙박스를 바라보는 것과 같습니다.

그러나 상자 안쪽의 배선은 다릅니다. 배선 (2 단계와 3 단계의 답을 결정하는 요소) 을 파악하려면 많은 추가 데이터가 필요합니다.

사례 A: 트리 가족 (가계도 비유)

설정: 부모의 행동을 모두 따라 하는 사람들이 모여 있는 그룹을 상상해 보세요. 만약 "뿌리"에 있는 사람이 행복하면 모두 행복하고, 슬프면 모두 슬픕니다.
관측: 바깥에서 보면 모두 항상 함께 행복하거나 함께 슬픈 것만 보입니다. 누가 누구의 부모인지 알 수 없습니다.
간격: 가족 관계 (누가 누구의 부모인지) 를 파악하려면 버튼을 눌러야 합니다 (개입). 나무를 설명하는 데 필요한 정보의 양은 가족의 크기에 따라 증가합니다. 숲을 항해하려면 지도가 필요한 것과 같습니다. 논문은 이 간격이 대략 $n \log n$ (여기서 $n$ 은 사람의 수) 으로 증가함을 보여줍니다.

사례 B: 이분 그래프 (파티 손님 비유)

설정: A 그룹과 B 그룹 두 개의 그룹으로 구성된 파티를 상상해 보세요. A 그룹의 모든 사람은 호스트를 따라 합니다. B 그룹의 모든 사람은 A 그룹의 특정 친구들이 모두 켜져 있을 때만 자신의 불을 켭니다.
관측: 바깥에서 보면 불은 모두 꺼져 있거나 모두 켜져 있습니다. 단순한 스위치처럼 보입니다.
간격: 하지만 내부에는 A 그룹과 B 그룹을 연결하는 비밀 "친구 관계 지도"(그래프) 가 있습니다. 바깥에서 보면 모두 동일하게 보이는 수십억 가지의 가능한 친구 관계 지도가 존재합니다.
결과: 정확한 친구 관계 지도를 파악하려면 A 그룹의 버튼을 눌러 B 그룹의 누가 반응하는지 확인해야 합니다. 저자들은 여기서 필요한 추가 정보의 양이 이차함수적 ( $n^2$ $n^{2}$ ) 임을 발견했습니다.
- 비유: 100 명이 있다면, "트리" 간격은 700 페이지 분량의 책을 읽는 것과 같을 수 있습니다. 반면 "파티" 간격은 10,000 페이지 분량의 책을 읽는 것과 같습니다. 시스템이 커질수록 복잡성이 폭발합니다.

사례 C: 모듈러 XOR (비밀 코드 비유)

설정: 스위치 쌍이 일렬로 늘어서 있다고 상상해 보세요. 어떤 쌍은 항상 일치하도록 배선되어 있고, 다른 쌍은 항상 반대로 되도록 배선되어 있습니다.
관측 및 개입: 스위치를 어떻게 누르거나 결과를 어떻게 보더라도 쌍들은 동일하게 보입니다. 버튼 누르기 결과의 모든 가능한 경우를 알고 있더라도 여전히 차이를 구별할 수 없습니다.
간격: 비밀 배선을 알 수 있는 유일한 방법은 "반사실" 질문을 하는 것입니다: "내부 노이즈를 유지한 채 스위치 A 를 눌렀다면 어떻게 되었을까?"
결과: 버튼 누르기 결과에 대한 완벽한 지식을 가지고 있더라도 여전히 반사실 퍼즐을 풀기 위해 추가 정보 (약 $n$ 비트) 가 필요합니다.

3. 학습자를 위한 "공짜 점심 없음"

이 논문은 미래를 예측하기 위해 AI 나 데이터를 사용하려는 모든 이들에게 중요한 점을 제기합니다: "무엇이 일어났는지 (What) 를 지켜보는 것만으로는 왜 일어났는지 (Why) 를 배울 수 없습니다."

만약 숨겨진 배선이 수십억 가지 가능성 중 무작위로 선택된 기계가 있고, 여러분이 그것을 작동하는 것만 지켜볼 수 있다면 (관측 데이터), 여러분은 배선에 대해 완전히 맹목적입니다.

비유: 케이크의 최종 맛만 맛보는 것으로 케이크의 비밀 레시피를 추측해 보라고 상상해 보세요. 두 가지 다른 레시피 (하나는 초콜릿, 하나는 바닐라) 가 정확히 같은 맛의 케이크를 만들어낸다면, 아무리 많이 맛보아도 어떤 레시피가 사용되었는지 알 수 없습니다.
수학: 저자들은 관측 데이터만 있다면 올바른 "개입" 결과를 추측할 확률이 사실상 0 임을 증명했습니다 (십억 개의 동전이 있는 방에서 동전 던지기를 맞추는 것과 같습니다).

4. 이것이 중요한 이유 (논문의 맥락에서)

이 논문은 직접적으로 의학적 치료나 자율주행차에 대해 이야기하지 않습니다. 대신 정보의 수학적 한계에 초점을 맞춥니다.

"인과 간격"을 정량화합니다: 이전에는 관측과 인과 사이에 간격이 있다는 것을 알았습니다. 이제 그 간격이 정확히 몇 비트인지 알게 되었습니다.
"차수 최적성"을 증명합니다: 그들은 밀집된 복잡한 시스템의 경우 간격이 가능한 한 가장 큽니다 (이차함수적) 고 보였습니다. 정보를 더 이상 압축할 수 없습니다.
과신에 경고를 보냅니다: 만약 AI 모델이 관측 데이터 (과거에 일어난 일) 만으로 훈련된다면, 복잡한 시스템에 대한 "만약에?"라는 질문에 답할 수 있는 근본적으로 정보가 부족합니다. 이는 AI 의 버그가 아니라 정보의 법칙입니다.

요약

우주를 거대한 숨겨진 퍼즐이라고 생각하세요.

관측은 완성된 퍼즐 그림을 보는 것입니다.
개입은 그 아래를 보기 위해 조각을 하나 꺼내는 것입니다.
반사실은 "내가 다른 조각을 꺼냈다면 어떻게 되었을까?"라고 묻는 것입니다.

이 논문은 많은 복잡한 퍼즐의 경우 그림 (관측) 을 보는 것은 그 아래에 있는 조각에 대해 거의 아무것도 알려주지 않는다는 것을 증명합니다. 메커니즘을 이해하려면 시스템 크기의 제곱에 비례하는 엄청난 양의 추가 정보가 필요합니다. 쇼를 지켜보는 것만으로는 숨겨진 메커니즘을 추론할 수 없습니다. 대본을 알아야 합니다.

기술적 요약: 인과 설명 간극

문제 제기

Pearl 의 인과 계층은 관찰적, 개입적, 반사실적 질의가 질적으로 구별되며, 인과 계층 정리에 따라 상위 단계 질의는 일반적으로 하위 단계 정보로부터 답할 수 없음을 확립합니다. 그러나 기존 문헌은 이러한 비식별성을 이진적 장애물로 취급합니다. 즉, 상위 단계 답안이 하위 단계 데이터에 의해 결정되거나 그렇지 않거나 둘 중 하나입니다.

본 논문은 이 질문에 대한 정량적 버전을 제기합니다: 하위 단계 답안이 알려진 상태에서 상위 단계 인과 답안을 지정하기 위해 추가로 필요한 비트 수는 얼마인가? 저자들은 식별 실패 시 모호성을 해결하는 데 필요한 잔여 정보를 측정하기 위해 이 "인과 설명 간극"을 형식화합니다.

방법론

저자들은 인과 답안 오라클의 정보 내용을 정량화하기 위해 콜모고로프 복잡도에 기반한 프레임워크를 도입합니다.

질의-클래스 설명 길이: 구조적 인과 모델 (SCM) $M$ 과 질의 클래스 $Q$ (예: 관찰적, 단일 노드 개입적, 반사실적) 에 대해, 설명 길이 $DL(Q; M) $은 시스템 크기$ n $에 조건 지어진 답안 오라클$ Ans_Q(M)$의 콜모고로프 복잡도로 정의됩니다.
인과 설명 간극: 간극 $\Delta(Q_2 | Q_1; M)$ 은 하위 단계 답안이 주어졌을 때의 상위 단계 답안의 조건부 콜모고로프 복잡도입니다:
$\Delta(Q_2 | Q_1; M) := K(Ans_{Q_2}(M) \mid Ans_{Q_1}(M), n)$
모호성 - 비트 원리: 논문은 설명 간극과 모호성 집합의 크기를 연결하는 일반 정리를 수립합니다. 하위 단계 답안 $a$ 가 $N$ 개의 서로 다른 상위 단계 답안 오라클과 일관될 경우, 설명 간극은 적어도 $\log_2 N$ (하위 차수 항을 제외하고) 입니다. 이는 최악의 경우 (콜모고로프) 와 평균적인 경우 (섀넌 엔트로피) 설정 모두에서 성립합니다.

저자들은 이러한 간극을 구체화하기 위해 이진 비순환 SCM 의 특정 군을 구성하여, 간극이 시스템 크기 $n$ 에 따라 다항식적으로 확장될 수 있음을 입증했습니다.

주요 기여 및 결과

1. 관찰적 - 개입적 분리

논문은 관찰 분포가 상수 설명 길이 ( $O(1)$ ) 를 가지지만 개입 답안 오라클은 훨씬 더 많은 비트를 필요로 하는 SCM 군을 구성합니다.

루트 트리 구성 ( $\Theta(n \log n)$ ):
- 설정: 변수들은 루트가 무작위이고 자식들이 부모를 복사하는 숨겨진 루트 트리를 형성합니다.
- 결과: 모든 트리는 동일한 관찰 분포 (완전 상관) 를 생성합니다. 그러나 단일 노드 개입은 후손 집합을 드러내어 트리 구조를 고유하게 식별합니다.
- 간극: 간극은 $\Theta(n \log n)$ 이며, 이는 Prüfer 시퀀스를 통해 레이블이 지정된 트리를 인코딩하는 데 필요한 정보량과 일치합니다. 이는 경계된 진입 차수 ( $d=O(1)$ ) 를 가진 SCM 에 대해 차수 최적입니다.
이분 그래프 구성 ( $\Theta(n^2)$ ):
- 설정: 층 $A$ 와 $B$ 사이의 숨겨진 이분 그래프 $G$ 입니다. 층 $A$ 는 루트를 복사하고, 층 $B$ 는 $G$ 의 간선에 기반하여 AND 게이트를 계산합니다.
- 결과: 관찰적으로 모든 그래프는 동일한 분포 (모든 0 또는 모든 1) 를 생성합니다. 층 $A$ 노드에 대한 개입은 층 $B$ 에서의 이웃을 드러내어 $G$ 의 인접 행렬을 효과적으로 디코딩합니다.
- 간극: 간극은 $\Theta(n^2)$ 입니다 (구체적으로 $n=2m+1$ 일 때 $\approx m^2$ ). 이는 진입 차수 $d = \Theta(n)$ 인 밀집 메커니즘에 대해 차수 최적입니다.
- 견고성: 이 이차 분리는 임의의 고정된 $\epsilon < 1/4$ 에 대한 $\epsilon$ -정확한 총변동 설명 하에서도 유지됩니다.
차수 민감 최적성:
저자들은 진입 차수 $d$ 를 가진 유한 게이트 스키마 SCM 에 대한 일반 상한을 증명합니다:
$\Delta_{2|1} \le O\left( nd \log \frac{en}{d} + n \log n \right)$
이는 경계된 차수에 대한 $\Theta(n \log n)$ 트리 구성이 최적이며, 밀집 차수에 대한 $\Theta(n^2)$ 이분 구성이 최적임을 확인시켜 줍니다.

2. 반사실 분리

모든 "하드 - 도" 개입 분포 (전체 개입 오라클) 에 대한 완전한 지식이 있더라도 반사실 질의는 모호할 수 있습니다.

모듈러 - XOR 구성 ( $\Theta(n)$ ):
- 설정: $m$ 개의 독립 모듈로 구성되며, 각 모듈은 "무효과" 메커니즘 (독립 변수) 이거나 "XOR" 메커니즘 ( $Y = X \oplus U$ ) 중 하나입니다.
- 결과: 두 메커니즘 모두 동일한 관찰 및 개입 분포를 생성합니다. 그러나 반사실에서는 차이가 납니다: 무효과 메커니즘 하에서는 $X$ 에 개입하더라도 $Y$ 는 변하지 않지만, XOR 하에서는 $Y$ 가 뒤집힙니다.
- 간극: 전체 개입 오라클과 반사실 오라클 사이의 간극은 메커니즘 유형을 결정하는 숨겨진 문자열 $s \in \{0,1\}^m$ 에 해당하는 $\Theta(n)$ 입니다.

3. 학습 이론적 결과

논문은 관찰 학습에 대한 "무료 점심 없음" 결과를 도출합니다. 이분 군에서 모든 메커니즘이 동일한 관찰 분포를 공유하므로, 숨겨진 그래프와 어떤 관찰 데이터셋 사이의 상호 정보도 0 입니다. 따라서:

어떤 관찰 학습자도 무작위 추측 ( $2^{-m^2}$ ) 보다 나은 확률로 개입 오라클을 식별할 수 없습니다.
관찰 데이터에만 기반하는 모든 예측자는 개입 질의에 대해 기대 절대 오차가 적어도 $1/4$ 입니다.

중요성 및 주장

본 논문은 Pearl 의 질적 계층을 정량적 정보 계층으로 변환한다고 주장합니다. 주요 중요성은 다음과 같습니다:

비식별성 정제: "식별 가능한가?"라는 불문 질문을 넘어 "얼마나 많은 정보가 누락되었는가?"라는 정밀한 측정으로 나아갑니다.
차수 최적 상한: 밀집 메커니즘의 경우 시스템 크기에 따라 이차적으로 ( $\Theta(n^2)$ ), 반사실의 경우 선형적으로 ( $\Theta(n)$ ) 확장될 수 있는 정보 간극을 보여주는 명시적 구성을 제공합니다. 이는 관찰 데이터가 완벽할 때에도 성립합니다.
정보 이론적 한계: 이러한 간극이 계산적 난이도나 유한 데이터의 산물이 아님을 입증합니다. 이들은 근본적인 정보 이론적 장벽입니다. 무한한 관찰 데이터가 있더라도 잔여 모호성은 남아있어 간극을 메우기 위해 개입이 필요합니다.
일반 원리: "모호성 - 비트" 정리는 이러한 결과들을 통합하여, 설명 간극이 근본적으로 잔여 모호성 집합 크기의 로그임을 보여줍니다.

저자들은 관찰 적합성만으로는 추가적인 구조적 가정 없이는 작은 인과 설명 상한을 부과하지 않음을 입증하기 위해 그들의 구성이 적대적 (이진, 비순환, 양성성 또는 충실성 위반 가능) 이라고 지적합니다. 그들은 향후 연구가 희소성, 잡음, 또는 충실성 가정이 이러한 잔여 모호성을 어떻게 축소할 수 있는지 조사해야 한다고 제안합니다.