🤖 AI

CauSim: Scaling Causal Reasoning with Increasingly Complex Causal Simulators

CauSim 는 LLM 이 검증 가능한 훈련 데이터를 생성하고 다양한 표현에 걸친 모델 성능을 향상시키기 위한 확장 가능한 시뮬레이터로 기능하는 점점 더 복잡해지고 실행 가능한 구조적 인과 모델 (SCM) 을 구축할 수 있게 함으로써 인과 추론 데이터의 부족 문제를 해결하는 프레임워크입니다.

원저자: Nicolás Astorga, Anita Kriz, Mihaela van der Schaar

게시일 2026-05-12

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Nicolás Astorga, Anita Kriz, Mihaela van der Schaar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 CauSim 논문에 대한 설명을 일상적인 언어와 창의적인 비유로 번역한 것입니다.

큰 문제: LLM 은 사실에는 뛰어나지만 "만약에"에는 약합니다

대형 언어 모델 (LLM) 을 방대한 지식을 가진 도서관 사서라고 상상해 보세요. 그들은 거의 모든 책들을 읽었습니다. "오만과 편견의 저자는 누구인가?" 또는 "파이썬 루프를 어떻게 작성하나요?"라고 물으면 즉시 완벽하게 답변할 수 있습니다.

하지만 "만약에 (What-If)" 질문을 던지면 종종 당황합니다.

예시: "만약 내가 어제 이 특정 약을 복용했다면, 오늘 내 종양이 더 작아졌을까요?"

이 질문에 답하려면 모델은 **인과적 추론 (Causal Reasoning)**을 수행해야 합니다. 단순히 패턴을 기반으로 추측하는 것이 아니라, 약 A 가 세포 B 를 변화시키고, 이는 단백질 C 를 변화시켜, 결국 종양 D 를 축소한다는 연쇄 반응을 시뮬레이션해야 합니다.

이 논문은 LLM 이 다음과 같은 세 가지 주요 이유로 이 부분에서 어려움을 겪는다고 주장합니다.

규모: 현실 세계의 시스템은 거대합니다. 50 개의 상호작용 변수로 이루어진 연결 고리를 추적하는 것은 50 명이 동시에 하는 '전화 게임'을 따라가는 것과 같습니다.
언어 대 코드: 인과 지식은 보통 의사의 메모처럼 messy 한 자연어로 작성됩니다. 컴퓨터는 시뮬레이션을 실행하기 위해 정확한 코드가 필요하지만, messy 한 메모를 완벽한 코드로 번역하는 것은 어렵습니다.
정답 키 부재: 현실 세계에서는 환자에게 다른 약을 줬을 때 어떻게 되었을지 확인하기 위해 과거로 돌아갈 수 없습니다. AI 를 가르칠 "정답 (ground truth)"이 없습니다. 정답 키가 없으면 AI 는 학습할 수 없습니다.

해결책: CauSim(인과 시뮬레이터 공장)

저자들은 CauSim을 소개합니다. 이는 희소한 현실 데이터로부터 학습하는 불가능한 작업을 확장 가능하고 감독된 게임으로 바꾸는 프레임워크입니다.

CauSim 을 AI 가 스스로 구축하는 비디오 게임 엔진이라고 생각하세요. messy 한 실제 역사로부터 학습하려고 애쓰는 대신, AI 는 규칙을 알고 있고 시뮬레이션을 실행하며 완벽한 점수를 얻을 수 있는 가상 세계를 구축합니다.

다음은 단계별 작동 방식입니다.

1. 벽돌 하나씩 쌓아 세계를 구축하기 (점진적 구축)

AI 에게 한 번에 복잡한 3D 도시를 구축하라고 요청하면 시스템이 충돌하거나 엉망이 될 가능성이 높습니다.

논문의 트릭: CauSim 은 AI 에게 한 방씩 세계를 구축하도록 요청합니다.
비유: 거대한 레고 성을 짓는다고 상상해 보세요. 10,000 개의 벽돌을 한 번에 쏟아부어 붙을지 기대하는 대신, 작은 탑 하나를 지어 서 있는지 확인한 다음 다음 탑을 추가하고 다시 확인하는 식으로 진행합니다.
왜 작동하는가: "인과 시뮬레이터"(인과 관계를 시뮬레이션하는 컴퓨터 프로그램) 를 점진적으로 구축함으로써, AI 는 새로운 조각이 기존 조각과 완벽하게 맞도록 보장합니다. 이를 통해 한 번에 생성하는 것은 불가능할 정도로 복잡한 시스템 (많은 변수를 가진) 을 만들 수 있습니다.

2. "사람의 말"과 "컴퓨터 코드" 간 번역

이 논문은 보편적 통역사 역할을 함으로써 "언어 대 코드" 문제를 해결합니다.

형식화 (사람 $\to$ 코드): AI 는 실행 불가능한 messy 한 설명 (예: 의료 지침) 을 엄격한 파이썬 프로그램으로 번역합니다. 이제 컴퓨터는 이를 실행하여 확실한 답변을 얻을 수 있습니다.
비형식화 (코드 $\to$ 사람): AI 는 엄격한 파이썬 프로그램을 다시 자연어 이야기로 변환합니다.
이익: 이는 루프를 생성합니다. AI 는 코드 내에서 무한한 "만약에" 시나리오를 생성하고, 실행하여 정확한 답변을 얻은 다음, 그 시나리오를 텍스트로 변환하여 인간 언어로 추론하는 방법을 스스로 가르칩니다.

3. 무한한 정답 키

AI 가 시뮬레이터 자체를 구축했기 때문에, 정답 키를 알고 있습니다.

현실 세계에서는 약 X 가 질병 Y 를 치료하는지 알 수 없습니다.
CauSim 세계에서는 AI 가 규칙을 정의합니다. "이 시뮬레이션에서 약 X 는 항상 종양 Y 를 축소한다"고 말합니다.
그런 다음 이러한 규칙을 기반으로 수백만 개의 "만약에" 질문을 생성하고, 코드를 실행하여 답변을 얻은 후 해당 데이터를 사용하여 모델을 훈련시킵니다. 이는 "희소 레이블 문제"(데이터 부족) 를 "확장 가능한 감독형 문제"(완벽한 답변이 있는 무한한 데이터) 로 바꿉니다.

그들이 발견한 것 (결과)

이 논문은 이 "스스로 만든 시뮬레이터"가 실제로 AI 의 사고를 향상시키는지 확인하기 위해 네 가지 주요 실험을 수행했습니다.

1. 일반화 ("전이" 테스트)

설정: 그들은 AI 를 무의미한 단어를 사용한 시뮬레이터로 훈련시켰습니다 (예: "변수 A 가 증가하면 변수 B 는 감소한다"). AI 는 A 나 B 가 무엇을 의미하는지 알지 못했습니다.
결과: AI 를 실제 의학 용어로 테스트했을 때 (예: "약 A 가 증가하면 종양 B 는 감소한다"), AI 의 성능이 훨씬 향상되었습니다.
교훈: AI 는 단순히 의학 사실을 외운 것이 아니라 인과 관계의 논리를 배웠습니다. 이는 새로운 현실 세계 주제에 적용할 수 있는 인과 관계의 "문법"을 배운 것입니다.

2. 커리큘럼 효과 (난이도별 학습)

설정: AI 가 간단한 시뮬레이터 (적은 변수) 에서 시작해 복잡한 것 (많은 변수) 으로 넘어가는지, 아니면 바로 깊은 물에 던져지는지에 따라 학습이 더 잘 되는지 테스트했습니다.
결과: AI 는 커리큘럼을 따를 때 가장 잘 학습했습니다. 즉, 작게 시작해 점점 어려워지는 방식입니다.
교훈: 인간 학생과 마찬가지로, AI 는 뛰기 전에 걷는 법을 배워야 합니다. 복잡한 인과적 추론을 구축하려면 단계별 접근이 필요합니다.

3. 자기 개선 ("부트스트래핑" 테스트)

설정: AI 가 자체 훈련 데이터를 생성하여 스스로를 개선할 수 있을까요?
결과: 그렇습니다. AI 모델은 자체 시뮬레이터를 생성하고, 이를 기반으로 훈련하여 인과적 질문에 대한 답변 능력이 향상되었습니다.
교훈: AI 는 스스로의 교사가 될 수 있습니다. "만약에" 질문을 사람이 작성할 필요 없이, AI 가 직접 고안하고 해결하며 그 해답으로부터 배울 수 있습니다.

4. 데이터 증강 (기존 지식의 슈퍼차징)

설정: "만약에" 시나리오의 예시가 매우 적은 실제 데이터셋 (NIH 뇌졸중 척도) 을 가져와서, 이 데이터셋의 규칙을 시뮬레이터로 변환하고 1,000 개의 새로운 예시를 생성했습니다.
결과: 이 "증강된" 데이터로 훈련된 AI 는 소규모 원본 데이터셋만으로 훈련된 AI 보다 원래의 실제 세계 질문에 대해 훨씬 더 잘 수행했습니다.
교훈: 작은 실제 데이터셋을 가져와 시뮬레이터로 "빈칸을 채워" AI 가 현실 세계를 더 잘 이해하도록 돕는 거대한 훈련 세트를 만들 수 있습니다.

요약

CauSim은 AI 가 과학자처럼 생각하도록 돕는 프레임워크입니다. 희귀하고 비싼 완벽한 "만약에" 답변을 인간이 제공하기를 기다리는 대신, AI 는 자체 가상 실험실을 구축합니다. AI 는 이러한 실험실을 벽돌 하나씩 쌓아 안정성을 보장하고, 인간 언어와 컴퓨터 코드 간에 번역하며, 수백만 개의 실험을 실행하여 자체 "정답 키"를 생성합니다.

그 결과, AI 는 단순히 사실을 외우는 것이 아니라 인과 관계의 근본적인 논리를 실제로 학습하게 되어, 훨씬 더 높은 정확도로 복잡한 "만약에" 질문에 답할 수 있게 됩니다.

기술 요약: CauSim: 점진적으로 복잡해지는 인과 시뮬레이터를 통한 인과 추론 확장

1. 문제 제기

수학, 코딩, 그리고 지식 집약적 작업에서 인간을 초월하는 성과를 거두었음에도 불구하고, 대규모 언어 모델 (LLM) 은 인과 추론에 있어 여전히 어려움을 겪고 있습니다. 이 논문은 LLM 이 이 능력을 습득하는 것을 방해하는 세 가지 핵심 장애물을 식별합니다:

규모 (C1): 인과 시스템 내 변수의 수가 증가할 때 (예: 부작용, 환자 특성), 모든 상호작용과 의존성을 추적하는 것은 계산적, 인지적으로 도전적인 과제가 됩니다.
표현 (C2): 인과 지식은 종종 자연어나 다이어그램과 같은 실행 불가능한 형태로 표현됩니다. 질의에 답하기 위해 모델은 근본적인 인과 관계를 올바르게 추출하고 구성해야 하는데, 표현이 비구조화되어 있을 경우 이 과정은 오류에 취약합니다.
진실값 (Ground-Truth) 지도 학습의 부재 (C3): 인과 추론은 개입적 (interventional) 및 반사실적 (counterfactual) 질의에 대한 답변을 요구합니다. 그러나 이러한 질의에 대한 진실값은 실제 세계 데이터에서 본질적으로 희소합니다. 개입 데이터는 획득 비용이 높고, 반사실적 결과는 관찰할 수 없기 때문입니다. 이러한 희소성은 인과 추론을 위한 직접적인 지도 학습을 불가능하게 만듭니다.

핵심 연구 질문은 다음과 같습니다: 다양한 규모와 표현에 걸쳐 검증 가능한 인과 추론 지도 학습을 어떻게 얻을 수 있을까요?

2. 방법론: CauSim 프레임워크

저자들은 CauSim을 소개합니다. 이는 인과 추론을 희소 레이블 문제가 아닌 확장 가능한 지도 학습 문제로 변환하도록 설계된 프레임워크입니다. 핵심 혁신은 LLM 에 의해 점진적으로 구축되는 **점진적으로 복잡해지는 인과 시뮬레이터 (executable Structural Causal Models, SCMs)**의 구축에 있습니다.

2.1 SCM 의 점진적 구축

규모 (C1) 과제를 해결하기 위해, CauSim 은 구조적 오류를 초래하는 경우가 많은 복잡한 모델의 원샷 (one-shot) 생성을 피합니다. 대신, 4 단계 반복 절차를 채택합니다:

명세 (Specification): LLM 이 초기 실행 가능한 SCM(파이썬 코드) 을 명세합니다.
계획 (Planning): LLM 에게 현재 SCM 의 의미적 뷰 (기능 요약 및 그래프 구조) 가 제공되며, 새로운 구조적 메커니즘 ( $f_i$ ) 과 외생 샘플러 ( $U_i$ ) 를 제안하여 부모와 자식 노드를 정의함으로써 편집을 계획합니다.
실행 (Execution): LLM 은 새로운 노드가 기존 논리를 깨뜨리지 않고 올바르게 통합되도록 자식 노드의 전체 코드와 부모 노드의 문서 문자열 (docstrings) 과 같은 국소적 컨텍스트만 사용하여 업데이트를 구현합니다.
검증 (Verification): 결정론적 검사가 비순환성, 연결성, 그리고 실행 시 실행 가능성을 강제합니다. 검사가 실패하면 편집이 거부되고 재시도됩니다.

이 점진적 접근법은 구조적 유효성을 유지하면서 전역적으로 복잡한 시스템 (실험에서 최대 10 개 이상의 노드) 을 생성할 수 있게 합니다.

2.2 교차 표현 번역

표현 (C2) 과제를 해결하기 위해, CauSim 은 실행 가능 형태와 비실행 가능 형태 간에 양방향으로 작동합니다:

형식화 (비공식 $\to$ 실행 가능): 이 프레임워크는 비구조화된 인과 설명 (예: 임상 노트) 을 실행 가능한 파이썬 SCM 으로 번역합니다. 이는 그렇지 않으면 지도 학습이 불가능했을 질의에 대한 진실값 답변 생성을 가능하게 합니다.
비공식화 (실행 가능 $\to$ 비공식): 반대로, 실행 가능한 SCM 은 자연어로 다시 번역됩니다. 이는 실행 가능 버전에서 생성된 진실값을 활용하여 비실행 가능 표현에 대한 지도 학습을 가능하게 합니다.

2.3 질의 생성 및 학습

검증된 SCM 이 구축되면, 프레임워크는 추론 (Deduction), 개입 (Intervention), 귀납 (Abduction), 그리고 **반사실 (Counterfactuals)**의 네 가지 유형을 포괄하는 인과 질의를 샘플링합니다.

데이터 생성: 프레임워크는 SCM 을 실행하여 진실값 답변을 획득함으로써 사실상 무제한의 지도 학습 데이터를 생성합니다.
학습 파이프라인: 저자들은 STaR/RAFT 와 유사한 거부 샘플링 미세 조정 (rejection-sampling fine-tuning) 파이프라인을 사용합니다. 기본 모델이 답변을 생성하면, 검증 가능한 진실값과 일치하는 답변만 지도 미세 조정 (SFT) 을 위해 유지됩니다.
커리큘럼 확장: 학습은 SCM 복잡성 (노드 수) 이 증가하는 수준에서 수행되어 커리큘럼 설계의 효과를 연구합니다.

3. 주요 기여

CauSim 프레임워크: 시스템 복잡성과 표현 유형 모두에서 확장되는 점진적으로 복잡해지는 실행 가능한 인과 시뮬레이터 구축을 위한 새로운 방법.
체계적인 실증 연구: 다음을 입증하는 포괄적인 평가:
- 실행 가능한 SCM 에 대한 학습은 비실행 가능 표현 및 분포 밖 (out-of-distribution) 의미 콘텐츠로 일반화됩니다.
- 성능 향상은 커리큘럼 확장 (점진적 난이도) 과 데이터 양 증가와 일치합니다.
- LLM 은 자체적으로 생성한 인과 시뮬레이터를 생성하고 추론함으로써 스스로를 개선할 수 있습니다.
- 기존 도메인 지식은 실행 가능한 SCM 으로 형식화되어 데이터 세트를 확장하고 원래 분포에서의 성능을 향상시킬 수 있습니다.

4. 실험 결과

저자들은 Qwen2.5 모델과 생성용 GPT-5 를 사용하여 CauSim 을 평가했으며, 사전 지식과 인과 추론을 분리하기 위해 "의미 없는" 변수 (4 글자 문자열) 에 초점을 맞추었으며, 의료 도메인 (NIH 뇌졸중 척도) 과 외부 벤치마크 (bnlearn, GSM8K) 에도 적용했습니다.

일반화 (Q1): 의미 없는 변수가 포함된 실행 가능한 SCM 으로 학습된 모델은 보지 못한 의학적 용어와 비실행 가능 (자연어) 표현에서 기본 모델보다 훨씬 우수한 성과를 거두었습니다. 이는 학습이 도메인 사실을 암기하는 것이 아니라 인과 논리를 가르친다는 것을 시사합니다.
확장 효과 (Q2):
- 커리큘럼: 작은 SCM 에서 큰 SCM 으로 점진적인 커리큘럼 (학습) 은 모든 복잡성을 한 번에 학습하거나 쉬운/어려운 부분집합만 학습하는 것보다 일관되게 우수한 성과를 보였습니다.
- 데이터 양: SCM 당 인과 질의 수를 5 개에서 135 개로 늘리는 것은 특히 복잡한 SCM 에 대해 일관된 정확도 향상을 이끌었습니다.
자기 개선 (Q3): 스스로가 생성한 SCM (Qwen2.5-7B) 으로 미세 조정된 LLM 은 더 강력한 모델 (GPT-5) 이 생성한 SCM 으로 학습된 모델과 비교 가능한 성능을 달성하여, 인과 추론 능력을 부트스트랩 (bootstrapping) 하는 것의 타당성을 입증했습니다.
데이터 증강 (Q4): NIH 뇌졸중 척도 (NIHSS) 를 실행 가능한 SCM 으로 형식화함으로써 1,000 개의 추가 개입 및 반사실 샘플을 생성할 수 있었습니다. 이 증강된 데이터로 학습된 모델은 원래 100 개 샘플만으로 학습된 모델보다 훨씬 우수한 성과를 보였으며, SCM 복잡성이 커질수록 향상 폭이 증가했습니다.

5. 중요성 및 주장

이 논문은 CauSim이 인과 추론의 데이터 희소성 문제에 대한 확장 가능한 해결책을 제공한다고 주장합니다. 코드의 실행 가능성을 활용함으로써, 이 프레임워크는 진실값 답변이 인간이 선별한 것이 아니라 기계적으로 유도되는 "검증 가능한 학습 환경"을 창출합니다.

저자들은 그들의 작업이 단순히 평가하는 것이 아니라 인과 추론 능력을 향상시키는 데 초점을 맞추고 있음을 강조합니다. 그들은 복잡한 시스템에서 충실도를 유지하기 위해 시뮬레이터의 점진적 구축이 필수적이며, 이는 원샷 생성으로는 달성하기 어렵다고 주장합니다.

한계와 겸손:
저자들은 그들의 발견의 함의에 대해 겸손하게 접근합니다. 그들은 명시적으로 다음과 같이 언급합니다:

인과 질의에 대한 높은 정확도가 모델이 불변 인과 메커니즘을 학습했거나 진정한 근본 그래프를 복원했음을 보장하지는 않습니다. 모델은 여전히 예측적 단서에 의존할 수 있습니다.
자기 개선은 생성기의 출력 다양성과 품질에 의해 제한됩니다. 외부 근거 없이 반복적인 자기 개선은 모델 붕괴나 편향 강화를 초래할 위험이 있습니다.
현재 실험은 주로 결정론적입니다. 반사실이 모호한 확률적 추론으로 확장하는 것은 향후 과제로 남아 있습니다.

결론적으로, CauSim 은 실행 가능한 시뮬레이터를 통해 인과 추론을 확장 가능한 지도 학습 문제로 전환하는 것이 다양한 표현에 걸쳐 LLM 이 복잡한 "만약에 (what-if)" 시나리오를 처리하는 능력을 향상시키는 데 유효한 경로임을 보여줍니다.