💻 computer science

Orca: Neural Operators for Causal Reasoning in Continuous Time

이 논문은 신경 연산자(neural operators)를 활용하여 구조적 인과 모델을 피드백 루프와 불규칙한 관측이 존재하는 연속 시간 시스템으로 확장함으로써, 강건한 반사실적 추론을 위해 함수 공간 간의 매핑으로서 인과 기제를 학습할 수 있게 하는 프레임워크인 Orca를 소개한다.

원저자: Gerrit Großmann, David A. Selby, Sebastian J. Vollmer

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gerrit Großmann, David A. Selby, Sebastian J. Vollmer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 끊임없이 쓰여지고 있는 하나의 이야기를 이해하려고 노력하고 있다고 상상해 보십시오. 이 이야기는 장(chapter)으로 나뉘어 있는 것이 아니라, 흐르는 시간의 강물처럼 이어져 있습니다. 과학의 세계에서 우리는 흔가히 원인과 결과가 무엇인지 알아내려 노력합니다. "내가 채소를 더 많이 먹으면 더 오래 살 수 있을까?" 혹은 "내가 운동을 하면 심장이 더 강해질까?"와 같은 질문들 말입니다. 수십 년 동안 과학자들은 이러한 질문에 답하기 위해 '구조적 인과 모델(Structural Causal Model)'이라는 도구를 사용해 왔습니다. 이 도구를 스냅샷 카메라라고 생각해보십시오. 이 카메라는 특정 순간의 사람을 사진으로 찍어, 그 사람의 운동량과 건강 상태를 측정하고 그 둘 사이에 선을 긋습니다. 하지만 실제 삶은 스냅샷이 아니라 영화입니다. 사람들은 단 한 번만 운동하는 것이 아니라, 수년에 걸쳐 체력을 쌓아갑니다. 건강은 단 하나의 숫자가 아닙니다. 그것은 매일 변화하는 여정입니다. 게다가 현실 세계에는 루프(loop)가 존재합니다. 병에 걸리면 운동을 덜 하게 될 수 있고, 이는 다시 건강을 악화시켜 악순환을 만드는 식의 순환 구조가 생깁니다. 기존의 '스냅샷' 도구들은 정지된 사진을 위해 설계되었기 때문에, 이렇게 움직이고 순환하는 이야기를 다루는 데 어려움을 겪습니다.

여기서 '뉴럴 오퍼레이터(Neural Operators)'라는 새로운 개념이 등장합니다. 일반적인 컴퓨터 프로그램이 두 숫자를 더하는 계산기라면, 뉴럴 오퍼레이터는 전체 영화를 다른 영화로 번역하는 법을 배우는 기계와 같습니다. 그것은 단 하나의 프레임만을 보는 것이 아니라, 데이터가 불규칙한 간격으로 기록되더라도 시간의 전체적인 흐름을 이해합니다. 과학자들이 이 기술에 주목하는 이유는 우리의 건강, 기후, 경제와 같이 우리가 걱정하는 많은 것들이 바로 이러한 흐름이 있고 순환하는 시스템이기 때문입니다. 만약 우리가 정책이나 치료법을 바꾼다면 어떤 일이 일어날지 알고 싶다면, 우리는 멈춰 있는 순간이 아니라 이 연속적이고 복잡한 이야기들을 추론할 수 있는 방법이 필요합니다.

독일 인공지능 연구 센터(German Research Center for Artificial Intelligence)의 연구진이 제안한 새로운 프레임워크인 **오르카(Orca)**가 등장합니다. 오르카는 이러한 '인과적 영화'를 위한 매우 똑똑한 감독과 같습니다. 오르카는 '운동'이나 '건강' 같은 변수를 단일 숫자로 취급하는 대신, 과거에서 미래로 뻗어 나가는 연속적인 선인 '시간의 함수'로 취급합니다. 이 논문은 뉴럴 오퍼레이터를 사용함으로써, 데이터가 지저분하거나 시스템에 피드백 루프가 있더라도 컴퓨터가 이러한 시스템을 움직이는 '게임의 규칙(메커니즘)'을 학습할 수 있다고 제안합니다.

연구진은 오르카를 합성 예시(synthetic examples), 즉 세상의 규칙을 정확히 알고 있는 매우 정교한 비디오 게임 시뮬레이션에 테스트했습니다. 한 예로, 그들은 20년 동안 연령, 운동, 건강이 어떻게 상호작용하는지를 살펴보았습니다. 그 결과, 시간을 고정시키거나 루프를 무시하려 했던 기존 방식들은 오답을 냈습니다. 기존 방식들은 노인이 되면 운동을 덜 하는 경향이 있다는 점을 고려하지 못했기 때문에, 운동이 주는 효과를 과대평가했습니다. 반면, 오르카는 과거의 운동이 미래의 건강으로 어떻게 변하는지를 알려주는 특정 레시피인 '커널(kernel)'을 성공적으로 학습했습니다. 오르카는 운동의 효과가 즉각적인 것이 아니라, 시간이 지나면서 서서히 사라지는 연못의 파동과 같다는 점을 파악해 냈습니다.

결정적으로, 오르카는 단순히 미래를 예측하는 것에 그치지 않고, '가정적 상황(counterfactuals)'이라 불리는 "만약 ~했다면 어땠을까"라는 시나리오를 상상할 수 있습니다. 오르카는 "만약 이 특정 인물이 운동을 두 배로 더 많이 했다면, 그 사람의 건강 궤적은 어떻게 변했을까?"라고 물을 수 있습니다. 이를 수행하기 위해 모델은 그 사람만의 숨겨진 '노이즈(noise)' 또는 고유한 운을 파악해야 합니다. 일부 테스트에서 연구진은 이 노이즈가 단순한 형태(예: 일정한 배경 소음)라고 가정했고, 오르카는 이 가설적 상황들을 완벽하게 구현해 냈습니다. 더 복잡한 테스트에서는 노이즈가 시간에 따라 변하는 까다로운 형태(예: 종양 성장 시뮬레이션에서의 가변적인 약물 민감도)였는데, 이때 연구진은 실제 사람과 시뮬레이션된 '운' 프로필을 짝지어주는 영리한 매칭 기법을 사용했습니다. 결과는 오르카가 인구 집단의 행동을 재현할 수 있으며, 타당한 개인별 가설적 상황을 생성할 수 있음을 보여주었습니다.

논문은 이것이 아직 시뮬레이션 단계이며 실제 의료 조언이 아님을 주의 깊게 명시하고 있습니다. '증명'은 정답(ground truth)을 알고 있는 수학과 합성 데이터 속에 있습니다. 저자들은 오르카가 '시간의 화살(원인은 반드시 결과보다 앞서야 함)'을 존중하며, 불규칙한 시점에 수집된 데이터도 처리할 수 있다는 점에서 유망한 기초가 된다고 제안합니다. 현재 버전은 인과 관계의 지도(그래프)가 이미 알려져 있다고 가정하지만, 저자들은 이것이 연속적이고 순환하며 복잡한 인과적 이야기를 이해하기 위한 큰 진전이라고 보고 있습니다. 결론적으로, 시간을 단계적인 과정이 아닌 연속적인 흐름으로 다룸으로써, 오르카는 복잡한 시스템 내에서의 개입과 가설적 상황을 추론하는 데 있어 더 자연스럽고 정확한 방법을 제공합니다.

기술 요약: Orca: 연속 시간에서의 인과 추론을 위한 신경 연산자 (Neural Operators)

문제 정의

구조적 인과 모델(Structural Causal Models, SCMs)은 개입(intervention)과 반사실(counterfactual)에 대해 추론하기 위한 표준 프레임워크입니다. 그러나 고전적인 SCM은 단일 시점의 측정된 정적 변수를 위해 설계되었으며, 일반적으로 순환적 의존성(cyclic dependencies)을 허용하지 않습니다. 환자의 건강 궤적, 기후 역학, 경제 순환 주기와 같이 실세계에서 관심을 갖는 많은 시스템은 연속적으로 진화하고, 불규칙한 시점에서 관찰되며, 피드백 루프를 포함합니다. 기존의 시계열 데이터 확장 방식은 이산 시간 전개(discrete time unfolding)에 의존하여 결론이 특정 샘플링 그리드에 종속되거나, 인과 관계를 동역학계(dynamical systems)와 결합할 때 불규칙하고 연속적인 데이터에 대한 통일된 학습 레시피가 부족하다는 한계가 있습니다. 따라서 관측 해상도에 불변하면서도 순환적 의존성을 가진 연속 시간 데이터에서 인과 추론을 지원하는 프레임워크가 필요합니다.

방법론: Orca 프레임워크

본 논문은 Orca(Operator-based Reasoning for Causal Analysis)를 제안합니다. 이 프레임워크는 각 노드를 시간의 연속 함수로 취급하며, 각 인과 기제(causal mechanism)를 함수 공간 사이의 학습된 맵(map)으로 취급합니다.

1. 생성 모델 및 의미론 (Generative Model and Semantics)

Orca는 시간 구간 $[0, T]$ 에 대해 순환적 연속 시간 인과 모델을 정의합니다.

노드와 그래프: 모델은 노드 $V$ 와 사이클을 포함할 수 있는 에지(edge)를 가진 유향 그래프 $G$ 를 사용합니다. 각 노드 $v$ 는 실수 값 함수 $x_v: [0, T] \to \mathbb{R}$ 를 나타냅니다.
시간적 우선순위: 사이클 문제를 해결하기 위해, 모델은 "시간의 화살"을 강제합니다. 시간 $t$ 에서의 노드 $x_v(t)$ 의 값은 부모 노드들의 이력(history) $H_v(t)$ (시간 $t$ 보다 엄격히 이전의 값들)와 현재의 외생적 노이즈 $N_v(t)$ 에 작용하는 순방향 연산자(forward operator) $F_v$ 에 의해 결정됩니다.
$x_v(t) = F_v(H_v(t), N_v(t), t)$
여기서 $H_v(t) = \{(u, t', x_u(t')) \mid u \in \text{pa}(v), t' < t\}$ 입니다.
노이즈: 외생적 노이즈는 확률 과정(예: 브라운 운동)으로 모델링됩니다. 가장 단순한 경우, 모델은 **가법적 노이즈(additive noise)**를 가정하며, 이 경우 기제는 결정론적 함수와 현재 노이즈의 합으로 분리됩니다: $x_v(t) = F_v(H_v(t), t) + N_v(t)$ .

2. 신경 연산자 아키텍처 (Neural Operator Architecture)

Orca는 함수 공간 사이의 이산화 불변(discretization-invariant) 매핑을 학습하도록 설계된 신경 연산자를 사용하여 기제 $F_v$ 를 학습합니다.

Deep-Set 표현: 불규칙하고 희소하며 비동기적인 측정을 처리하기 위해, 아키텍처는 인코드-합-디코드(encode-sum-decode) 구조(DeepSets 및 MIONet에서 영감을 받음)를 사용합니다.
- 임베딩(Embedding): 공유 네트워크 $\phi_{\theta_1}$ 는 부모 노드의 모든 관측된 측정값을 임베딩합니다.
- 적분(Integration): 임베딩은 부모 궤적에 대한 적분을 근사하기 위해 시간 기반 가중치 $w_{t'}$ 와 함께 합산됩니다. 이는 출력값이 샘플링 밀도에 독립적이도록 보장합니다.
- 디코딩(Decoding): 디코딩 네트워크 $\rho_{\theta_2}$ 는 집계된 임베딩과 쿼리 시간 $t$ 를 매핑하여 예측값 $\hat{x}_v(t)$ 를 도출합니다.
학습: 모델은 불규칙한 관측치에 대해 대상별로 정규화된 평균 제곱 오차(subject-normalized MSE)를 최소화하도록 학습됩니다. 이 가중치 체계는 밀집하게 샘플링된 대상이 손실 함수를 지배하지 않도록 하여, 샘플링 그리드가 정교해짐에 따라 모델이 실제 연속 연산자로 수렴할 수 있게 합니다.

3. 인과 추론 및 반사실 (Causal Inference and Counterfactuals)

기제가 학습되면 Orca는 표준 인과 쿼리를 지원합니다.

개입 쿼리 (Interventional Queries): 용량-반응 곡선(dose-response curves)이나 평균 처치 효과를 추정하기 위해, 모델은 수정된 기제(예: $do(E=e)$) 하에서 시스템을 시뮬레이션하되, 다른 기제와 노이즈 분포는 변경하지 않은 채로 수행합니다.
반사실 (Counterfactuals): 개별 반사실(예: "특정 환자의 궤적이 어떠했을 것인가?")을 계산하기 위해, 프레임워크는 대상의 잠재 노이즈를 추론해야 합니다.
- 가법적 노이즈: 노이즈는 관측된 궤적과 모델 예측 사이의 잔차(residual)로서 직접 회복됩니다.

비가법적 노이즈 (Non-Additive Noise): 노이즈가 가법적이지 않은 경우(예: 곱셈적 효과), 논문은 결합(coupling) 절차를 제안합니다. 관측된 잔차 궤적을 알려진 노이즈 모델로부터 샘플링된 노이즈 궤적과 최적 운송(optimal transport) 목적 함수를 사용하여 매칭하며, 이때 단조성(monotonicity) 가정을 사용합니다. 이를 통해 반사실 시뮬레이션을 위한 대상별 잠재 노이즈를 추론할 수 있습니다.

주요 기여

프레임워크 정의: 연속 시간 및 순환 시스템을 위한 신경 연산자 학습과 인과 의미론을 통합하는 Orca 프레임워크를 도입했습니다.
해상도 불변성: 신경 연산자가 불규칙하고 희소한 데이터로부터 인과 기제를 학습하여, 샘플링 밀도가 증가함에 따라 실제 연속 시간 연산자로 수렴할 수 있음을 입증함으로써 격리 의존성(grid-dependency) 문제를 해결했습니다.
연산자를 위한 인과 의미론: 노드 값을 부모 함수로부터 계산하는 기제를 학습할 수 있도록 신경 연산자 아키텍처를 인과 그래프 구조와 시간적 우선순위 원칙에 맞게 확장했습니다.
반사실 추론: 연속 시간에서의 개별 반사실 추론을 가능하게 하는 잠재 노이즈 변수(가법적 및 비가법적 모두) 추론 방법을 제시했습니다.

실험 결과

논문은 합성 연속 시간 예제를 통해 Orca를 검증했습니다.

포도당-인슐린 모델 (해상도 수렴): 혼란 변수(confounding)가 있는 모델에서 Orca는 용량-반응 곡선을 학습했습니다. 샘플링 밀도가 높아짐에 따라 추정된 곡선은 실제 값(ground truth)으로 수렴했습니다. 결정적으로, 희소한 데이터로 학습된 모델이 훈련 데이터보다 더 미세한 그리드에서도 정확하게 결과를 예측한 반면, 풀링된 베이스라인(pooled baseline)은 편향된 결과를 보였습니다.
종양 성장 (비가법적 노이즈): 약물 민감도가 종양 크기에 따라 비가법적으로 변하는 모델에서, Orca는 최적 운송을 사용하여 관측된 대상들을 잠재 노이즈 궤적에 성공적으로 결합했습니다. 재시뮬레이션된 모집단은 관측된 모집단의 통계적 특성과 일치했으며, 개별 반사실(예: 용량을 절반으로 줄임)은 타당한 궤적을 생성했습니다.
베이스라인과의 비교: 인과 그래프를 무시한 모델(인과적 맹목 신경 연산자)이나 시간을 무시한 모델(정적 SCM)은 편향된 추정치를 생성했으며 실제 기제를 복구하는 데 실패했습니다.

의의 및 주장

본 논문은 신경 연산자가 연속 시간에서의 인과 추론을 위한 "자연스러운 기초"를 제공한다고 주장합니다. 노드를 함수로, 기제를 함수 공간 사이의 맵으로 취급함으로써 Orca는 정적 SCM과 이산 시간 근사 방식의 한계를 해결합니다.

해석 가능성: 학습된 연산자(특히 커널 기반 변형)는 과거의 입력이 현재 상태에 어떻게 영향을 미치는지(예: 운동 효과의 감쇠)에 대한 해석 가능한 통찰을 제공합니다.
한계점: 저자들은 연구 범위를 겸허하게 서술했습니다. Orca는 인과 그래프가 알려져 있고 인과적으로 충분하다는 것을 가정하며, 관찰되지 않은 혼란 변수는 결과를 왜곡할 수 있습니다. 또한, 반사실 추론은 데이터만으로는 검증할 수 없는 노이즈 구조(가법성 또는 단조성)에 대한 가정을 필요로 합니다. 현재 검증은 합성 데이터에 국한되어 있으며, 전자 건강 기록(EHR)과 같은 실제 종단 데이터에 대한 테스트는 아직 이루어지지 않았습니다.

이 연구는 연속적이고 불규칙하며 순환적인 시스템을 위한 인과 학습의 통합 이론을 향한 단계로 자리매김하며, 구조적 인과 모델과 현대적인 함수 공간 딥러닝 아키텍처 사이의 간극을 메우고 있습니다.