기술 요약: 허용 가능한 가능한 세계들의 결합 커널로서의 WorldKernel

1. 문제 정의

본 논문은 현재의 인과 추론 및 세계 모델링 접근 방식에서 발견되는 근본적인 실패 모드를 지적한다: 즉, 충분한 관측 및 개입 데이터와 강력한 예측 모델이 결합되면 해당 도메인을 추론하기에 충분하다는 가정이다. 저자들은 300개의 구조적 인과 모델(SCM)을 이용한 테스트를 통해, 이 가정이 **식별 불가능한 반사실적 양(unidentified counterfactual quantities)**에서 구체적으로 무너진다는 것을 입증한다.

강력한 예측기(베이지안 베이스라인 및 최첨단 언어 모델 포함)는 문제 공간의 "대각선"(데이터에 따른 세계들의 사후 분포)은 성공적으로 복구하지만, "비대각선"(반사실적 세계들 사이의 결합)에서는 실패한다.

• 실패 양상: 식별 불가능한 양에 대해, 예측기는 단일 점 추정치로 붕괴한다. 테스트된 모델의 28%에서 이 점은 불가능한(infeasible) 값(유효한 SCM이 이를 생성할 수 없음)이었으며, 매개(mediation) 사례의 27%에서는 예측기가 효과의 부호를 잘못 판단했다.
• 원인: 이 실패는 통계적인 문제가 아니라(더 많은 데이터가 도움이 되지 않음) **표상(representational)**의 문제이다. 반사실적 세계들 사이의 결합은 어떠한 관측 또는 개입 분포의 함수도 아니다. 예측은 이러한 교차 세계 간 결합에 대한 불확실성을 표상할 수 없다.

2. 방법론 및 핵심 객체

본 논문은 증거 $E$가 주어졌을 때, 완전한 허용 가능한 세계들 $T, T'$에 대한 단일 양의 준정부호(PSD) 결합 커널 $K_E(T, T')$로 정의되는 WorldKernel을 제안한다.

• 대각선 ($K_E(T, T)$): 고전적인 사후 분포 $\mu_E(T)$를 나타낸다. 이는 모든 예측기가 복구하는 "그림자"이다. 이는 허용 가능성(admissibility)에 대응하며 검증 가능하다.
• 비대각선 ($K_E(T, T')$): **교차 세계 결합(cross-world coupling)**을 나타낸다. 이는 반사실적 질문을 해결하는 결정적인 요소이지만, 예측기에는 보이지 않는다. 이는 예측만으로는 공급할 수 없는, 인과 추론을 위한 "하중을 견디는(load-bearing)" 구조이다.

본 논문은 WorldKernel을 새로운 샘플링 방법이나 새로운 부분 식별 알고리즘이 아니라, 하나의 **합성(synthesis)**으로 취급한다. 즉, 그 구조(PSD)와 비대각 성분이 반사실적 역량을 위해 필요한 누락된 정보를 인코딩하는 단일 객체를 식별하는 것이다.

3. 주요 기여 및 이론적 결과

논문은 비대각 커널에 관한 다섯 가지 질문을 중심으로 이론을 구성한다.

1. 비대각 성분은 실재하는가?

그렇다. 본 논문은 두 세계가 예측적으로는 동일(동일한 사후 분포)할 수 있지만, 교차 세계 결합 측면에서는 다를 수 있음을 증명한다.

• 정리 2: 예측적으로 동등하지만 세계적으로는 동등하지 않은 세계 $W_0, W_1$이 존재한다.
• 정리 4 (커널-반사실적 동형성): 이진 처리에 대해, 반사실적 법칙은 PSD 모멘트 행렬 $M$과 일대일 대응 관계에 있다. 식별 가능한 데이터(Pearl의 사다리 1단계와 2단계)는 $M$의 대각선만을 확정한다. 비대각 성분 $M_{01}$(교차 세계 결합)은 필요 확률(Probability of Necessity, PN)과 같은 반사실적 양을 결정한다. 동일한 대각선을 가졌으나 서로 다른 비대각선을 가진 두 법칙은 관측적으로는 구별할 수 없지만, 반사실적으로는 구별된다.

2. 데이터로부터 이를 경계 지을 수 있는가?

그렇다, 양의 준정부호성(PSD)을 통해 가능하다.

• 명제 3: 데이터에 의해 대각선이 고정된 모멘트 행렬 $M$에 대해 PSD 제약을 부과하면, 단순 한계(marginal) 또는 Fréchet 경계보다 엄격하고 유효한 반사실적 경계를 얻을 수 있다.
• 계산적 이점: 이는 크기가 $O(k^2)$인 준정부호 계획법(SDP)인 반면, 정확한 응답 유형 선형 계획법(LP)은 $2^k$개의 정점을 갖는다. PSD 경계는 2차 쿼리에 대해 정확하며, 정확한 프로그램이 난해한 고차 쿼리(예: $k=40$일 때 정확한 LP는 $10^{12}$개의 변수를 갖지만, SDP는 820개의 항목만 가짐)에 대해 타이트한 외곽 경계를 제공한다.

3. 논리적 구조가 이를 정교화할 수 있는가?

그렇다, 온톨로지 제약을 통해 가능하다.

• 명제 4: 온톨로지 공리(포섭, 상호 배제, 교차 세계 단조성)는 커널 행렬에 대한 선형 등식 제약으로 인코딩될 수 있다.
• 효과: 이러한 제약은 평균적으로 반사실적 경계를 최대 32%까지 좁힌다. 결정적으로, PSD 구조 덕분에 한 속성에 대한 제약은 제약되지 않은 다른 속성에 대한 경계를 조이는 데 전파되는데, 이는 평면적인 인과 경계 도구들이 갖지 못한 능력이다.

4. 경험으로부터 이를 습득할 수 있는가?

그렇다, "흉터(Scarring)"를 통해 가능하다.

• 메커니즘: 세계 모델은 불가능한 상황("흉터")을 마주함으로써 제약을 학습할 수 있다.
• 정리 5: 표적화된 흉터(허용 가능한 세계 그래프의 특정 "소수 단계" 또는 병목 구간을 제거함)는 재구성 그래프(reconfiguration graph)의 스펙트럼 갭(Cheeger 상수)을 복구한다.
• 결과: 표적화된 흉터는 무작위 제약보다 식별 불가능성 격차를 최대 4배 빠르게 좁힌다. 이는 난해한(병목 현상이 있는) 영역을 상관 감소(correlation decay)가 성립하는 다룰 수 있는 영역으로 전환시킨다.

5. 언제 도달 가능한가?

Sly–Sun 카운팅 장벽에 의해 제한된다.

• 정리 6: 규모 있는 수준에서 비대각 성분에 접근하는 것은 허용 가능한 세계의 근사적 계수(제약 그래프 상의 독립 집합)와 동등하다.
• 임계치: 문제는 최대 차수가 $\Delta \le 5$인 그래프에서는 다항 시간 내에 해결 가능하며(tractable), $\Delta \ge 6$인 경우(NP = RP가 아닌 한) 근사가 불가능하다(inapproximable).
• 상전이: 차수가 5와 6 사이인 지점에서 공동 차수 매개변수(cavity order parameter) $(d-1)\eta \approx 1$을 경계로 상전이가 일러난다. 임계치 아래에서는 Weitz의 자기 회피 보행 트리(self-avoiding-walk tree)를 통해 커널을 재구성할 수 있다(상관 감소). 임계치 위에서는 세계 공간이 상(phase)으로 파편화(유리 상태)되어 전체적인 접근이 차단된다.
• 구제책: 어려운 영역(hard regime)에서 비대각 성분은 상 조건부 흉터(phase-conditioned scarring, 상 내부의 정확한 계산)와 PSD 완화(cross-phase 결합에 대한 경계 설정)를 결합하여 근사할 수 있다.

4. 실험 결과

본 논문은 300개의 무작위 모델을 이용한 "구조적-인과-모델 배터리"를 통해 이러한 주장들을 검증한다.

• 예측기 실패: 강력한 언어 모델(Claude)과 베이지안 베이스라인은 반사실적 클래스를 표현하는 데 실패했다. LLM은 **28%**의 모델에서 불가능한 점 추정치를 반환했으며, 매개 사례의 **27%**에서 잘못된 부호를 반환했다.
• 커널의 성공: 전체 커널(식별된 구간과 결합을 사용)은 **100%**의 모델에서 진실을 포괄했으며, 결합을 알고 있을 때는 기계 정밀도까지 정확했다.
• 허용 가능성: "허용 가능한 용암(permissive-lava)" 아레나에서, 보호되지 않은 예측기는 금지된 영역에 36.4%의 확률로 진입했으나, "대각선 투영기(diagonal projector, 허용 가능성 강제)"는 **0%**의 위반을 기록했다. 이는 허용 가능성이 사후 필터가 아니라 행동 공간의 속성임을 보여준다.

5. 의의 및 주장

본 논문은 "세계 모델"의 본질과 지능의 한계를 재정의한다고 주장한다.

• 폐쇄 보존 역량으로서의 지능: 모델이 "반사실적으로 유능"하려면, 그 잠재 상태가 허용 가능한 세계들의 몫(quotient)에 대해 충분해야 하며, 전이(transition)가 허용 가능한 집합을 보존해야 한다. 예측 전용 모델은 이 기준을 명백히 충족하지 못한다(정리 7).
• 비대각 성분은 누락된 연결 고리이다: 본 논문은 "예측은 이해가 아니다"라고 주장한다. 높은 예측 정확도가 올바른 세계 모델을 의미하지 않는데, 그 이유는 비대각 성분(교차 세계 결합)이 예측 분포의 함수가 아니기 때문이다.
• 통계적이지 않고 구조적이다: 예측과 반사실적 추론 사이의 간극은 구조적이다. 더 많은 데이터도 이 간극을 좁힐 수 없는데, 왜냐하면 식별 불가능한 양은 데이터 분포의 함수가 아니기 때문이다.
• 계산적 정직성: 본 논문은 알려진 카운팅 장벽(Sly–Sun)을 전체 비대각 접근의 경계로 설정한다. 이는 최악의 경우의 복잡도를 극복하겠다는 것이 아니라, 상 극단적 구제책(phase-extremal recourse)이 작동하는 지점(few-phase)과 멈추는 지점(glass)을 정확히 측정하는 것이다.

요약하자면, 본 논문은 세계 모델이란 일관되게 존재할 수 있는 것들의 결합 커널이라고 상정한다. 그 대각선은 사후 분포(예측이 복구하는 것)이며, 비대각 성분은 교차 세계 결합(예측은 공급할 수 없으나 반사실적 추론에 필수적인 것)이다. 본 논문은 이 비대각 성분을 경계 짓고, 정교화하며, 습득할 수 있는 수학적 기제를 제공하는 동시에, 카운팅 복잡성에 의해 부과되는 근본적인 계산적 한계를 인정한다.