Toward a Causal Data Management Ecosystem for Decision Making and Agentic AI

문제 정의

현대 AI는 단일 모델의 배포를 넘어 고전적 ML 예측기, 딥러닝 모델, 대규모 언어 모델(LLM), 그리고 자율 에이전트로 구성된 복잡한 생태계를 운영하는 방향으로 진화했습니다. 이러한 구성 요소들은 독립적으로 관리되고 파편화된 이종 데이터 소스(테이블, 그래프, 문서, 로그 등)와 상호작용합니다.

현재의 데이터 관리 시스템은 주로 **상관관계(correlations)**와 통계적 의존성에 의존합니다. 이러한 접근 방식은 예측에는 효과적이지만, 결과의 진정한 동인(driver)과 단순한 상관 변수를 구분하는 데 실패합니다. 이러한 한계는 다음 두 가지 시나리오에서 치명적이 됩니다:

1. 의사 결정(Decision Making): 상관적 신호에 의존하는 것은 혼란스러운(confounded) 결정을 초개로 이어질 수 있습니다. 시스템이 변화가 결과에 '원인'을 제공했는지, 아니면 단순히 결과에 '동반'되었는지를 판단할 수 없기 때문입니다.
2. 에이전틱 AI(Agentic AI): 세상에 작용하는 자율 에이전트는 단순한 예측 이상의 것을 필요로 합니다. 그들은 자신의 행동이 가져올 결과를 예측할 수 있어야 합니다. 예측 전용 모델은 반사실적 추론(예: "내가 A 대신 B라는 행동을 선택했다면 어떤 일이 일했을까?")을 지원할 수 없으며, 이는 에이전트가 자율성을 얻음에 따라 안전성과 신뢰성을 위해 필수적인 요소입니다.

본 논문은 현재의 생태계가 상관관계와 인과관계 사이의 간극을 메우고, 처방적 분석(prescriptive analytics)과 반사실적 평가를 가능하게 할 명시적인 **인과 계층(causal layer)**이 부족하다고 주장합니다.

방법론: 인과 세계 시스템 (Causal World System, CWS)

저자들은 조직의 AI 생태계 위에 중첩되는 지속적이고 명시적이며 쿼리가 가능한 인과 모델인 **인과 세계 시스템(CWS)**을 제안합니다. CWS는 데이터 통합과 구조적 인과 모델(SCM)의 토대 위에 구축됩니다.

핵심 아키텍처 (그림 1):
시스템은 원시 데이터에서 인과적 추론으로 이어지는 파이프라인을 따릅니다:

1. 멀티모달 통합 계층 (Multimodal Integration Layer):
   • 로컬 뷰 (Local Views): 이종 소스(구조화된 테이블, 비구조화된 텍텍스트, 이미지, 오디오)가 로컬 뷰로 노출됩니다. 비구조화된 데이터는 학습된 인코더를 통해 명명된 생태계 변수로 매핑됩니다.
   • 중재자 (Mediator): 중앙 구성 요소로서 로컬 뷰를 하나의 **글로벌 뷰(Global View)**로 조정합니다. 이는 데이터 정제, 변환, 스키마 추상화 및 엔티티 정렬을 수행합니다. 결정적으로, 이는 메타데이터, 거버넌스 및 리니지(lineage)를 관리합니다.
2. 인과 세계 시스템 (The Engine):
   • 인과 발견 (Causal Discovery): 알고리즘(예: PC, GES, FCI, NOTEARS)을 사용하여 데이터로부터 구조적 관계를 학습합니다.
   • 프로비넌스 및 신뢰도 (Provenance & Trust): 인과 그래프의 엣지(edge)는 그 프로비넌스(예: 실험적 A/B 테스트는 관측 로그보다 더 높은 가중치를 가짐)에 의해 가중치가 부여됩니다.
   • 식별 가능성 및 추론 (Identifiability & Inference): 시스템은 ID/IDC 및 do-calculus를 사용하여 효과가 식별 가능한지 확인합니다. 효과가 다른 모집단으로 전이되어야 하는 경우 데이터 융합 및 전이성(transportability) 메커니즘을 채택합니다.
   • 저장 및 쿼리 최적화: 효율적인 개입(interventional) 및 반사실적 쿼리를 위해 인덱스를 유지하고 플랜을 최적화합니다.
3. 다층적 추론 (Multi-Level Inference):
   • 시스템은 다양한 입도(granularity)로 쿼리를 지원합니다: 로컬 뷰(미세한 메커니즘), 서브시스템 뷰(팀 수준의 진단), 그리고 글로벌 뷰(생태계 수준의 처방).
   • 인과적 추상화 (Causal Abstraction): 조대(coarse) 뷰와 미세(fine) 뷰는 서로 $\tau$-추상화 관계로 취급되어, 미세한 모델과의 일관성을 보장하면서도 가장 "저렴한 고도(cheapest altitude)"에서 쿼리에 답할 수 있게 합니다.

주요 기술적 차별점:

• 화이트박스 vs. 블랙박스: 암시적인 잠재 세계 모델(예: JEPA 스타일 아키텍처)과 달리, CWS는 명시적이고 화이트박스인 인과 DAG입니다. 모든 변수, 엣지, 추정치는 검사 가능하며 프로비넌스와 가설이 동반됩니다.
• 중재된 인과 스키마 (Mediated Causal Schema): CWS는 데이터 통합의 "Global-As-View (GAV)" 및 "Local-As-View (LAV)" 이중성을 인과 구조로 격상시킵니다. 이를 통해 인과 쿼리를 뷰 위에서 재작성할 수 있으며, 정적 분석과 동적 유지보수를 모두 지원합니다.

주요 기여

1. 개념적 프레임워크: 단일 모델 분석을 넘어 홀리스틱한 생태계 관점으로 나아가기 위해, 원인과 결과를 공유된 생태계 인프라로 취급할 것을 제안합니다.
2. 인과 세계 시스템 (CWS): 멀티모달 데이터를 통합하고, 글로벌 SCM을 유지하며, 다층적 추론을 지원하는 지속 가능하고 쿼리 가능한 인과적 기질(substrate)에 대한 구체적인 아키텍처 제안입니다.
3. 통합된 소비자 지원: CWS는 세 가지 서로 다른 소비자 그룹을 동시에 지원하도록 설계되었습니다:
   • 인간 (Humans): 처방적 쿼리(예: "어떤 개입이 이탈을 최소화하는가?")와 반사실적 설명을 제공합니다.
   • 에이전트 (Agents): 반사실적 자기 모델링(counterfactual self-modeling)을 가능하게 하여, 에이전트가 행동하기 전에 후보 행동들의 개입 분포를 시뮬레이션할 수 있도록 합니다.
   • 모델 (Models): 인과 기반 학습을 제공합니다. 명시적 인과 골격(explicit causal skeleton)을 유도 편향(inductive bias, 예: 불변성 제약 또는 구조적 사전 확률을 통해)으로 사용함으로써, 모델은 분포 변화(distribution shifts) 하에서도 더 나은 강건성을 확보하고 더 적은 샘플을 요구할 수 있습니다.
4. 연구 과제: 논문은 CWS 실현을 위해 필요한 다섯 가지 특정 과제(C1–C5)를 제시합니다. 여기에는 대규모 인과 발견, 드리프트 발생 시 뷰 유지보수, 멀티모달 인과 정렬, 에이전트 프리미티브로서의 반사실적 추론, 그리고 거버넌스/신뢰 메커니즘이 포함됩니다.

결과 및 주장

본 논문은 포지션 페이퍼이자 제안서이므로, 경험적 실험 결과나 벤치마크 비교를 제시하지 않습니다. 대신, 그 "결과"는 이론적 논거와 아키텍처 정의입니다:

• 실행 가능성 논거: 저자들은 데이터 통합(중재된 스키마, 뷰 재작성)과 인과 추론(do-calculus, 전이성)의 기존 도구들을 합성하여 CWS를 구축할 수 있다고 주장합니다.
• 효율성 주장: 논문은 다층적 추론을 통해 클러스터-DAG 추상화에 대한 집계 쿼리에 답할 수 있는 동시에, 특정 에이전트 행동에 대해서는 전체 메커니즘 그래프를 예약함으로써 계산 비용을 최적화한다고 주장합니다.
• 학습 효율성: CWS의 명시적 인과 제약 조건으로 훈련된 모델은 단순한 상관관계로 훈련된 모델보다 더 적은 샘플로도 더 높은 효율성과 강건성을 가질 것이라고 가정합니다. 이는 모델이 거짓 지름길(spurious shortcuts)을 피할 수 있기 때문입니다.

의의

본 논문은 CWS를 AI 생태계의 필수적인 진화 단계로 규정합니다. 그 의의는 다음과 같습니다:

• 패러다임의 전환: 초점을 "예측 정확도"에서 "결과에 대한 추론"으로 이동시킵로 합니다.
• 학문 간 가교: 데이터 관리(통합, 리니지, 스키마 매핑)와 인과 추론 및 에이전틱 AI를 통합하며, 이종 생태계의 맥락에서 인과관계가 근본적으로 데이터 관리 문제임을 주장합니다.
• 신뢰와 안전: 검증 가능한 화이트박스 인과 그래프를 제공함으로써, CWS는 현대 AI의 "블랙박스" 문제를 해결하고 인간과 에이전트가 의사 결정을 주도하는 메커니즘을 검토하고, 읽고, 신뢰할 수 있게 합니다.
• 그랜드 챌린지: 저자들은 CWS의 실현을 데이터베이스와 시스템부터 머신러닝과 안전에 이르기까지 AI 커뮤니티 전체의 협력이 필요한 거대한 도전 과제로 규정합니다.