When Does Causal Pretraining Beat Direct Small-Data Causal Learning? Towards a causal foundation model

당신이 복잡한 시스템에서 한 가지 요소를 바꿨을 때 어떤 일이 일어나는지 알아내려는 탐정이라고 상상해 보세요. 예를 들어, 새로운 약이 실제로 질병을 치료하는지, 혹은 특정 비료가 식물을 더 크게 자라게 하는지 알고 싶을 수 있습니다. 과학의 세계에서는 이를 **인과 추론(causal inference)**이라고 부릅니다. 이는 단순히 두 가지 현상이 함께 일어나는 것을 관찰하는 것(상관관계)과는 다릅니다. 예를 들어, 우산을 든 사람들이 비를 더 자주 맞는다는 것을 볼 수 있지만, 그것이 우산이 비를 불러온 것을 의미하지는 않습니다. 비가 우산과 비를 맞는 현상 모두를 일으킨 것이죠. 진짜 원인을 찾기 위해 과학자들은 보통 한 그룹에는 약을 주고 다른 그룹에는 가짜 약(플라세보)을 주는 것처럼 변수를 통제하는 실험을 수행해야 합니다.

하지만 큰 문제가 하나 있습니다. 실험은 비용이 많이 들고 어렵습니다. 때로는 새로운 상황에서 아주 적은 양의 데이터 포인트만을 가질 수도 있습니다. 예를 들어, 희귀 질환 연구에서의 단 몇 명의 환자나, 새로운 기후대의 몇몇 농경지 같은 경우입니다. 이것이 바로 "소규모 데이터(small data)" 문제입니다. 반면에, 과학자들은 다른 유사한 상황으로부터 얻은 산더미 같은 데이터를 이미 가지고 있는 경우가 많습니다. 이 논문이 다루는 핵심 질문은 이것입니다: 컴퓨터가 먼저 그 다른 상황들로부터 학습하도록 가르쳐서, 우리가 직면한 이 작고 어려운 문제를 처음부터 시작할 때보다 훨씬 더 잘 해결할 수 있는 "인과 관계 전문가"로 만들 수 있을까?

이것은 SciCFM(Scientific Causal Foundation Model, 과학적 인과 기초 모델)이라는 새로운 아이디어에 대한 이야기입니다. 이것을 숙련된 요리사를 훈련시키는 과정이라고 생각해 보세요. 요리사에게 세 가지 재료만 가지고 특정 요리를 처음부터 배우게 하는 대신(우리의 아주 작은 새로운 데이터셋), 먼저 거대한 주방에서 수천 가지의 다양한 요리를 연습하게 하는 것입니다(사전 학습 단계). 여기서 기대하는 바는 요리사가 요리의 원리—열이 음식에 미치는 영향, 맛이 섞이는 방식, 다양한 질감을 다루는 법—를 배우게 하여, 마침내 그 작고 어려운 요리에 직면했을 때 단 몇 가지 재료만으로도 완벽하게 요리할 수 있게 하는 것입니다. 이 논문은 이 "숙련한 요리사" 방식이, 우리가 지금 가진 세 가지 재료만 사용하는 법을 아는 "지역 요리사"를 고용하는 것보다 실제로 더 나은 성과를 내는지 묻고 있습니다.

실험: 디지털 실험실

연구진은 이 모델을 실제 사람이나 식물에 테스트하지 않았습니다. 왜냐하면 현실 세계에서는 "정답"을 100% 확실하게 알 수 없기 때문입니다. 대신, 그들은 매우 복잡한 비디오 게임 시뮬레이터를 구축했습니다. 이 게임 속에서 그들은 모든 것이 어떻게 작동하는지 정확히 알고 있는 수백 개의 서로 다른 "세계"를 만들었습니다. 그들은 숨겨진 원인, 비밀스러운 연결 고리, 그리고 모든 행동의 진정한 결과를 볼 수 있었습니다. 이를 통해 "숙련한 요리사"(SciCFM 모델)를 "지역 요리사"(표준 수학 모델)와 대결시켜, 아주 적은 단서만을 가지고 누가 더 정확한 답을 찾아내는지 테스트할 수 있었습니다.

그들은 모델의 성능을 확인하기 위해 세 가지 유형의 도전을 설정했습니다.

1. "가짜 뉴스" 챌린지 (인과적 vs 관찰적)
먼저, 모델이 초기 학습을 어떻게 했는지가 중요한지 테스트했습니다. 한 모델에게는 "처치"(예: 약물 투여)가 무작위로 할당된 데이터 뭉치를 주었습니다(좋은 방식). 다른 모델에게는 처치가 숨겨진 요인들에 의해 결정된 데이터 뭉치를 주었습니다(아픈 사람들이 약을 더 많이 받는 것과 같은, 혼란스러운 현실 세계의 방식).

• 결과: "무작위" 데이터로 학습한 모델(인과적 사전 학습)은 슈퍼히어로였습니다. 이 모델은 혼란스러운 데이터로 학습한 모델에 비해 실수를 **42.8%에서 53.8%**까지 줄였습니다. 결국, 무언가를 변화시키는 법을 배우고 싶다면, 단순히 자연적으로 일어나는 일을 지켜보는 것이 아니라 실험을 통해 연습해야 한다는 것이 드러났습니다.

2. "단순한 퍼즐" 챌린지 (사전 학습이 실패하는 경우)
다음으로, 매우 단순한 시나리오를 시도했습니다. 네 개의 조각이 있고 그들을 잇는 직선 하나가 있는 퍼즐을 상상해 보세요. 그들은 물었습니다: "수천 개의 복잡한 세계로부터 배운 우리의 똑똑한 '숙련한 요리사'를 쓰는 것이 나을까요, 아니면 우리가 가진 네 개의 조각만 보는 단순하고 신뢰할 수 있는 계산기를 쓰는 것이 나을까요?"

• 결과: 단순한 계산기가 이겼습니다. "숙련한 요리사"는 오히려 더 낮은 성과를 보였습니다. 연구진은 문제가 단순하고 데이터가 깨끗할 때, 화려한 사전 학습 모델이 자신의 복잡한 기억 때문에 오히려 혼란을 겪는다는 것을 발견했습니다. 이는 마치 토스트 한 조각을 만들기 위해 핵 동력을 사용하는 토스터기를 가져오는 것과 같습니다. 과하며, 심지어 빵을 태울 수도 있습니다. 이 논문은 사전 학습이 항상 더 낫다는 생각을 명시적으로 부정합니다.

3. "몬스터 미로" 챌린지 (사전 학습이 빛을 발하는 경우)
마지막으로, 난이도를 대폭 높였습니다. 30개의 서로 다른 변수가 있는 미로를 만들었지만, 그중 실제로 중요한 것은 6개뿐이었습니다. 규칙은 까다로웠습니다: 어떤 효과는 특정 지점 이후에만 나타나고(임계값), 어떤 것은 양이 늘어남에 따라 약해지며(포화), 어떤 것은 특정 집단에서만 작동했습니다. 그들은 모델들에게 매우 적은 단서만을 주었습니다: 16개, 32개, 또는 64개의 데이터 포인트입니다.

• 결과: 여기서 "숙련한 요리사"가 구원투수가 되었습니다.
  • 16개의 단서만 있었을 때, SciCFM 모델은 최고의 단순 모델보다 29.4% 더 정확했습니다.
  • 32개의 단서가 있을 때, 14.6% 더 나았습니다.
  • 64개의 단서가 있을 때도 여전히 3.2% 더 나았지만, 격차는 줄어들고 있었습니다.
  • 단순한 모델들은 30개의 변수가 만드는 복잡함 속에서 길을 잃었지만, 사전 학습 모델은 이전에 보았던 패턴을 인식하고 빠르게 적응했습니다.

핵심 결론

그렇다면, 사전 학습이 직접 학습보다 나을까요? 답변은 유쾌하게도 "상황에 따라 다릅니다!"입니다.

이 논문은 인과적 사전 학습이 강력한 도구이지만, 모든 것을 해결하는 마법 지팡이는 아니라고 제안합니다.

• **"숙련한 요리사"(사전 학습)**를 사용하세요: 당신이 매우 적은 데이터와 함께 복잡하고 고차원적인 문제(예: 30개의 변수)에 직면해 있고, 그 근저의 규칙들이 까다롭지만 이전에 보았던 것들과 유사할 때 사용하십시오.
• **"지역 요리사"(단순 모델)**를 고수하세요: 문제가 단순하고 저차원적이며, 적절한 양의 데이터를 가지고 있을 때입니다. 이 경우, 화려한 모델은 불필요한 노이즈를 더할 뿐입니다.

연구진은 이러한 결과가 실제 병원이나 농장이 아닌 자신들의 시뮬레이션에서 나온 것임을 주의 깊게 밝히고 있습니다. 하지만 그들이 전하는 이야지는 명확합니다: 만약 우리가 아주 적은 데이터로 의사결정을 내릴 수 있도록 돕는 AI를 만들고 싶다면, 우리는 다양한 실험을 통해 인과 관계의 원리를 가르쳐야 합니다. 그러나 우리는 언제 화려한 AI를 내려놓고 단순하고 신뢰할 수 있는 도구를 사용해야 하는지 알 만큼 영리해져야 합니다. "인과 기초 모델"의 미래는 모든 기존 방식을 대체하는 것이 아니라, 언제 강력한 무기를 꺼내 들어야 하는지 아는 것에 달려 있습니다.