Improving TabPFN's Synthetic Data Generation by Integrating Causal Structure

이 논문은 TabPFN 의 순차적 생성 과정에서 인과 구조를 통합하여 (DAG 기반 조건부 샘플링 및 CPDAG 전략) 인과적 관계를 왜곡하는 허위 상관관계를 방지하고, 생성된 합성 데이터의 구조적 정확성과 인과 효과 보존 능력을 향상시키는 방법을 제안합니다.

핵심

1. 배경: 왜 가짜 데이터가 필요한가요?

우리는 의료, 금융 같은 분야에서 진짜 데이터를 쓰면 개인정보 보호 문제나 데이터 부족 문제가 생깁니다. 그래서 컴퓨터가 진짜와 똑같은 가짜 데이터를 만들어내게 하죠. 이를 '합성 데이터'라고 합니다.

최근에 TabPFN이라는 아주 똑똑한 AI 가 등장했습니다. 이 AI 는 수백만 개의 가짜 데이터를 공부해서, 새로운 데이터를 아주 잘 만들어냅니다. 마치 요리사가 수많은 레시피를 보고 새로운 요리를 창조하는 것처럼요.

2. 문제: AI 가 '순서'를 잘못 이해하면?

하지만 TabPFN 이 가진 치명적인 약점이 하나 있었습니다. 바로 **"생각하는 순서"**입니다.

• 비유: imagine(상상해 보세요) AI 가 요리 레시피를 만들 때, **"재료 순서대로"**만 생각한다고 가정해 봅시다.
  • 진짜 상황: "소금 (원인) 을 넣어야 국물 (결과) 이 짜진다."
  • AI 의 실수: AI 가 "국물 (결과) 이 먼저 나왔으니, 그걸 보고 소금 (원인) 을 만들겠다"라고 생각하면 어떨까요?
  • 결과: AI 는 국물이 짜니까 소금이 많았을 거라고 추측해서, **실제로는 상관없는 두 가지가 서로 연결된 것처럼 엉뚱한 관계 (허위 상관관계)**를 만들어냅니다.

이 논문은 TabPFN 이 **원인과 결과의 순서 (인과 구조)**를 무시하고 무작위로 순서대로 데이터를 만들 때, 진짜와 다른 엉뚱한 관계를 만들어낸다고 지적합니다. 특히 "공통된 결과"를 가진 경우 (예: 비와 우산이 모두 '젖음'을 만듦) 에 이런 실수가 극심해집니다.

3. 해결책: "인과 지도 (Causal Map)"를 붙이다

저자들은 이 문제를 해결하기 위해 AI 가 데이터를 만들 때 **진짜 인과 관계 지도 (DAG)**를 함께 보게 했습니다.

• 비유: 요리사가 레시피를 만들 때, 단순히 재료 순서만 보는 게 아니라 "소금이 국물을 짜게 만든다"는 인과 관계 지도를 옆에 두고 작업하는 것과 같습니다.
  • 방법 1 (완벽한 지도): 모든 인과 관계가 알려진 경우, AI 는 "자식 (결과)"을 만들기 전에 반드시 "부모 (원인)"를 먼저 만들게 됩니다.
  • 방법 2 (부분 지도): 인과 관계가 100% 알려지지 않은 경우 (우리가 모르는 부분이 있는 경우), 알려진 부분만 지도로 활용하고 나머지는 기존 방식으로 만듭니다.

4. 실험 결과: 지도를 보면 얼마나 달라지나요?

저자들은 다양한 실험을 통해 이 방법이 얼마나 효과적인지 증명했습니다.

1. 순서만 바꿔도 달라진다: 지도가 없더라도, AI 가 원인부터 결과 순서로 데이터를 만들게만 해도 엉뚱한 관계가 크게 줄어듭니다. (거꾸로 만들면 최악이 됩니다.)
2. 지도가 있으면 더 완벽하다: 인과 지도를 직접 활용하면, 가짜 데이터가 진짜 데이터의 **분포 (모양)**와 개인정보 보호 측면에서 훨씬 더 좋아졌습니다.
3. 가장 중요한 것: 치료 효과 보존: 의료 데이터에서 "약이 병을 고치는 효과 (치료 효과)"를 가짜 데이터로 계산했을 때, 지도를 쓴 AI 는 진짜 효과와 거의 똑같은 결과를 냈습니다. 하지만 지도를 쓰지 않은 AI 는 엉뚱한 결과를 내서, 실제 임상 시험에서 잘못된 결정을 내리게 할 위험이 있었습니다.

5. 결론: 왜 이 연구가 중요할까요?

이 연구는 **"AI 가 데이터를 만들 때, 단순히 통계적 패턴만 따르는 게 아니라 '왜' 그런 현상이 일어나는지 (인과 관계) 를 이해해야 한다"**는 것을 보여줍니다.

• 약물 개발: 잘못된 가짜 데이터를 쓰면 효과가 없는 약을 개발하거나, 좋은 약을 버리는 치명적인 실수를 할 수 있습니다.
• 신뢰성: 인과 관계를 고려한 가짜 데이터는 의사결정에 훨씬 더 신뢰할 수 있는 기반이 됩니다.

한 줄 요약:

"AI 가 가짜 데이터를 만들 때, **원인과 결과의 순서 (지도)**를 무시하면 엉뚱한 관계를 만들어내지만, 인과 지도를 함께 사용하면 진짜와 구별하기 힘들 정도로 정확한 데이터를 만들 수 있습니다."

이 논문은 AI 가 단순히 '모방'하는 것을 넘어, 데이터의 '이유'를 이해하게 함으로써 더 안전하고 신뢰할 수 있는 미래를 만들 수 있음을 보여줍니다.

기술 요약

이 논문은 TabPFN(Tabular Prior-Data Fitted Network)의 합성 데이터 생성 능력을 향상시키기 위해 **인과 구조 **(Causal Structure)를 통합하는 방법을 제안합니다. 저자들은 TabPFN 의 자동회귀 (autoregressive) 특성이 인과 관계와 충돌할 때 허위 상관관계 (spurious correlations) 를 유발하여 합성 데이터의 품질과 인과 효과 보존 능력을 저하시킨다는 문제를 발견하고, 이를 해결하기 위한 새로운 전략을 제시했습니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

---

1. 문제 정의 (Problem Statement)

• TabPFN 의 한계: TabPFN 은 대규모 합성 데이터셋으로 사전 학습된 파운데이션 모델로, 탁월한 성능을 보이지만 **자동회귀 **(autoregressive) 방식으로 작동합니다. 즉, 입력 데이터의 열 순서 (feature order) 에 따라 이전 변수들을 조건으로 하여 다음 변수를 순차적으로 생성합니다.
• 인과 구조와의 충돌: 생성 순서가 실제 인과 구조 (Causal Structure) 와 일치하지 않을 때, 특히 **콜라이더 **(Collider, 예: $X \to Z \leftarrow Y$) 구조가 존재하는 경우, 모델은 인과적 부모가 아닌 자식 변수를 조건으로 삼게 됩니다.
• **허위 상관관계 **(Spurious Correlations) 이러한 잘못된 조건부 생성은 본래 독립적인 변수들 사이에 인위적인 의존성을 만들어내며, 이는 합성 데이터의 분포 왜곡과 치료 효과 (Treatment Effect) 추정의 오류로 이어집니다.

2. 방법론 (Methodology)

저자는 TabPFN 의 생성 과정을 인과 구조에 맞게 조정하기 위해 두 가지 주요 전략을 제안합니다.

2.1. DAG 인식 조건부 생성 (DAG-aware Conditioning)

• 개념: 완전한 인과 방향성 그래프 (Directed Acyclic Graph, DAG) 가 알려진 경우를 가정합니다.
• 방식: 각 변수를 생성할 때, 이전 모든 변수가 아닌 **인과적 부모 **(Causal Parents)만 조건으로 사용합니다.
• 순서: 변수는 그래프의 **위상적 순서 **(Topological Ordering)에 따라 생성됩니다 (부모가 자식보다 먼저 생성됨).
• 수식적 표현: $x_i$를 생성할 때, $C(x_i) = \{x_j : x_j \to x_i \text{ in } G\}$로 조건을 설정합니다.

2.2. CPDAG 기반 전략 (CPDAG-based Strategy)

• 개념: 실제 세계에서는 완전한 DAG 를 알기 어렵고, 데이터로부터 추론된 **완성된 부분 방향 비순환 그래프 **(Completed Partially Directed Acyclic Graph, CPDAG) 만 존재하는 상황을 다룹니다. CPDAG 는 방향이 결정된 간선과 방향이 불확실한 간선 (무방향) 을 모두 포함합니다.
• **방식 **(하이브리드 전략)
  • 방향성이 결정된 변수: 인과적 부모를 조건으로 생성합니다.
  • 방향성이 불확실한 변수: 기존 TabPFN 방식처럼 생성 순서에서 앞선 모든 변수를 조건으로 합니다.
• 목표: 부분적인 인과 지식만으로도 생성 품질을 개선하고, 잘못된 방향 추정이 발생할 경우를 대비하여 안전장치 (fallback) 를 마련합니다.

3. 주요 기여 (Key Contributions)

1. 순서 민감성 규명: TabPFN 의 합성 데이터 품질이 입력 데이터의 열 순서에 크게 의존하며, 이는 인과 추론 부재로 인해 발생함을 입증했습니다. 특히 콜라이더 구조에서 순서가 잘못되면 허위 상관관계가 발생합니다.
2. 인과 조건부 전략 제안: 완전한 DAG 지식과 부분적인 CPDAG 지식 (충분히 방향이 결정된 경우) 모두를 활용하여 생성 품질을 개선하는 방법을 제시했습니다.
3. 인과 효과 보존 정량화: 합성 데이터의 오류가 평균 치료 효과 (ATE, Average Treatment Effect) 추정에 어떻게 전파되는지를 정량화했습니다. 잘못된 생성 방식이 약물 개발 등 실제 응용 분야에서 치명적인 의사결정 오류를 초래할 수 있음을 보였습니다.

4. 실험 결과 (Results)

저자는 제어된 벤치마크 (Custom Collider SCM), Microsoft CSuite 벤치마크 (6 개 데이터셋), 그리고 실제 임상 시뮬레이터 (SimGlucose, T1DM) 를 사용하여 실험을 수행했습니다.

• **데이터 품질 지표 **(CMD, kMTVD, NNAA)
  • DAG 인식 생성: 기존 TabPFN (원본 순서) 대비 상대적으로 일관된 개선을 보였습니다. 특히 상관 행렬 차이 (CMD) 와 분포 일치도 (kMTVD) 에서 유의미한 향상이 있었습니다.
  • **위상적 순서 **(Topological Ordering) 단순히 열 순서를 인과 순서대로 재배열하는 것만으로도 기존 모델보다 성능이 크게 향상되었습니다.
  • CPDAG 기반 생성: 방향이 충분히 결정된 CPDAG (예: V-구조가 명확한 경우) 를 사용할 때 개선 효과가 나타났으나, 방향 추정이 부정확하거나 불완전한 경우 (예: PC 알고리즘으로 추론한 그래프) 는 개선 효과가 제한적이거나 오히려 성능이 저하되기도 했습니다.
• **치료 효과 보존 **(ATE Preservation)
  • DAG 인식 생성 방식은 **작은 샘플 크기 **(N=20~100)에서 ATE 추정의 오차를 크게 줄였습니다.
  • 특히 CSM (Custom SCM) 데이터셋에서 DAG 기반 생성은 원본 TabPFN 대비 ATE 오차를 약 1.23 단위 감소시켰습니다.
  • 이는 인과 구조를 반영한 생성이 실제 의료/정책 연구에서 치료 효과 예측의 신뢰성을 높인다는 것을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰성 있는 합성 데이터: 이 연구는 자동회귀 기반의 생성 모델에 인과 구조를 명시적으로 통합함으로써, 단순한 통계적 분포 모방을 넘어 인과적 관계가 보존된 고품질 합성 데이터를 생성할 수 있음을 입증했습니다.
• 실용적 가치: 의료, 금융 등 데이터 프라이버시와 윤리적 제약이 엄격한 분야에서, 제한된 실제 데이터를 보완하기 위해 합성 데이터를 사용할 때 허위 상관관계로 인한 잘못된 결론을 방지할 수 있습니다.
• 향후 방향: 완전한 인과 그래프를 알 수 없는 현실적인 상황에서, 불완전한 인과 지식을 어떻게 효과적으로 활용할지 (예: 방향 추정의 불확실성 관리) 에 대한 연구가 필요함을 지적했습니다.

요약하자면, 이 논문은 TabPFN 의 자동회귀적 약점을 인과 구조를 통해 보완함으로써, 합성 데이터의 **구조적 충실도 **(Structural Fidelity)와 **인과적 유효성 **(Causal Validity)을 동시에 향상시키는 새로운 패러다임을 제시했습니다.