Causal Transformer: Scaling Gradient-Based Causal Discovery to 500 Variables

당신이 거대한 미스터리를 풀려는 탐정이라고 상상해 보세요. 이 미스터리는 바로 붐비는 방 안에서 누가 누구에게 영향을 미치고 있는지를 밝혀내는 것입니다. 과학의 세계에서 이것은 '인과 발견(causal discovery)'이라고 불립니다. 단순히 두 사건이 동시에 일어나는 것을 보는 것(예를 들어 여름에 아이스크림 판매량과 상어 공격 횟수가 모두 증가하는 것)을 넘어, 과학자들은 실제로 하나가 다른 하나를 유발했는지 알고 싶어 합니다. 이를 위해 그들은 '유향 비순환 그래프(Directed Acyclic Graph, 줄여서 DAG)'라고 불리는 특별한 종류의 지도를 사용합니다. DAG를 도시의 일방통행 도로 지도라고 생각하면 쉽습니다. 화살표는 영향의 방향을 보여주며, 규칙은 절대 원을 그리며 돌아 출발점으로 다시 돌아올 수 없다는 것입니다. 오랫동안, 이 지도를 그리는 데 사용된 최고의 도구들은 변수(거리 혹은 사람)가 150개 미만인 작은 마을에서는 아주 잘 작동했습니다. 하지만 마을이 커지기만 하면—예를 들어 인간의 유전자와 같은 실제 세계의 생물학적 데이터셋 크기인 200~500개의 변수가 되면—기존의 도구들은 단순히 작동을 멈추고 충돌해 버렸습니다. 그들은 벽에 부딪혔고, 이로 인해 과학자들은 복잡한 시스템의 연결 고리를 파악하지 못한 채 눈이 먼 상태가 되었습니다.

이 논문은 이 까다로운 200~500개의 변수 범위를 해결하기 위해 설계된 '인과 트랜스포머(Causal Transformer, CT)'라는 새로운 탐정 도구를 소개합니다. 저자인 Shuaidong Gao는 모든 데이터를 하나의 이야기 속 등장인물처럼 다루는 시스템을 구축했는데, 여기에는 '셀프 어텐션(self-attention)'이라는 기술이 사용되었습니다(이는 독자가 문장의 전체적인 흐름을 이해하기 위해 특정 단어에 집중하는 방식과 유사합니다). 이 새로운 도구는 연결 고리를 하나씩 추측하는 대신, 모든 등장인물을 한꺼번에 살펴보며 그들이 서로에게 '주의(attention)'를 기울이게 함으로써 누가 누구에게 영향을 미치는지 파악하도록 합니다. 이 논문은 이 접근 방식이 단순히 작동하는 수준을 넘어, 기존의 도구들이 실패하는 지점에서 정확히 깨어나 연결 고리를 찾아낸다고 제안합니다. 테스트 결과, 이 새로운 도구는 이전의 최고 방법론이 아무것도 찾아내지 못했던 데이터셋에서 수백 개의 연결을 성공적으로 그려냈습니다. 그러나 저자는 이 새로운 도구에도 한계가 있음을 발견했습니다. 데이터가 너무 작거나(200개 미만), 데이터가 너무 지저 혹은 이진형(yes/no 스위치 같은 형태)일 경우 어려움을 겪으며, 도시가 너무 거대해지면(약 500개 변수) 컴퓨터 메모리가 부족해집니다.

문제점: "골디락스" 간극

집을 짓기 위한 도구 세트가 있다고 상상해 보세요. 아주 작은 인형 집에도 완벽하게 작동하는 망치가 있고, 거대한 마천루에도 사용할 수 있는 대형 크레인이 있습니다. 하지만 만약 일반적인 가족 주택을 지어야 한다면 어떨까요? 망치는 너무 약하고, 크레인은 너무 투박하고 비용이 많이 듭니다. 수년간 생물학적 인과관계를 매핑하려던 과학자들은 정확히 이 문제에 직면했습니다. 'NOTEARS'라고 불리는 대중적인 방법은 변수 그룹이 적을 때(150개 미만)는 훌륭했지만, 변수의 수가 200개에 도달하자 수학적 계산이 너무 무거워져 결과값을 전혀 내놓지 못하고 무너졌습니다. 이는 암 세포의 유전자 발현이나 뇌 영상 촬영과 같이 실제 세계의 데이터가 주로 존재하는 200~500개의 변수 범위, 즉 '골디락스 간극(Goldilocks gap)'을 아무도 해결할 수 없는 영역으로 남겨두었습니다.

해결책: 새로운 종류의 탐정

저자는 **인과 트랜스포머(Causal Transformer, CT)**라는 새로운 아키텍처를 제안했습니다. 이것이 어떻게 작동하는지 이해하려면 200명의 학생이 있는 교실을 상상해 보세요. 기존 방식(NOTEARS)은 각 학생에게 다른 모든 학생에 대한 보고서를 개별적으로 작성하게 하여 누가 누구에게 영향을 미치는지 파악하려 했습니다. 이는 느리고 혼란스러웠으며, 학급 규모가 커지자 선생님(컴퓨터)이 그 모든 보고서를 감당하지 못해 결국 포기해 버렸습니다.

인과 트랜스포머는 게임의 판도를 바꿉니다. 개별 보고서 대신, 모든 학생을 한 방에 모아놓고 특별한 '어텐션(attention)' 메커니즘을 통해 동시에 대화하게 합니다. 각 학생(변수)은 다른 모든 사람을 살펴보며 "내가 당신에게 얼마나 주의를 기울여야 할까?"를 결정합니다. 시스템은 이러한 어텐션 점수를 학습하여 누가 누구에게 영향을 미치는지에 대한 지도를 구축합니다. 결정적으로, 이 시스템은 순환 구조를 가질 수 없다(누구도 루프 안에서 자신의 상사가 될 수 없다)는 규칙을 유지하면서도, 개별적인 추측이 아닌 집단적인 대화를 통해 지도를 만들어냅니다.

거대한 발견: 200에서 깨어나다

이 논문에서 가장 흥속한 발견은 '상전이(phase transition)', 즉 행동의 갑작스러운 변화입니다. 저자는 80가지의 서로 다른 실험을 수행하며 데이터의 크기와 도구의 설정을 변경했습니다. 그 결과는 다음과 같습니다:

• 작은 규모(100개 변수 미만)에서: 인과 트랜스포머는 조용했습니다. 거의 어떤 연결도 찾아내지 못했으며, 기존 방식보다 성능이 떨어졌습니다.
• 마법의 숫자(200개 변수)에서: 도구가 갑자기 "깨어났습니다." 수백 개의 연결을 찾아내기 시작했습니다. 200개의 변수가 있는 한 테스트에서, 이 도구는 1,000개 이상의 에지(연결)를 찾아낸 반면, 기존 방식은 0개를 찾았습니다.
• 중간 규모(250~350개 변수)에서: 도구는 계속 작동하며, 기존 방식이 완전히 실패했던 유방암 환자(TCGA-BRCA)의 복잡한 실제 데이터를 성공적으로 매핑했습니다.
• 한계점(500개 변수)에서: 도구는 다시 한번 벽에 부딪혔는데, 이번에는 컴퓨터 메모리 때문이었습니다. 그려내려는 지도가 너무 커서(250,000개의 연결) 컴퓨터 메모리에 담기지 못해 충돌이 발생했습니다.

왜 작동하는가: "전문가" 팀

저자가 발견한 가장 멋진 사실 중 하나는, 도구 내부의 '어텐션 헤드(attention heads, 시스템 내에서 관찰을 수행하는 서로 다른 부분들)'가 별도의 지시 없이도 스스로 전문가 역할을 하기 시작했다는 점입니다. 실험에서 일부 헤드는 자연스럽게 양(+)의 영향(예: "A가 B를 증가시킨다")을 찾는 전문가가 되었고, 다른 헤드들은 음(-)의 영향(예: "A가 B를 감소시킨다")을 찾는 전문가가 되었습니다. 이는 마치 인간의 뇌의 각 부분이 서로 다른 과업에 특화되는 것과 같이 자발적으로 일어난 현상입니다. 이러한 팀워크 덕분에, 모든 연결을 개별적이고 고립된 추측으로 취급했던 기존 방식이 놓쳤던 패턴들을 이 도구는 포착할 수 있었습니다.

실제 사례 증명: 암과 유전자

저자는 단순히 가짜 데이터로만 테스트하지 않고, 10가지 유형의 종양에서 추출한 실제 암 데이터를 사용했습니다.

• 결과: 평균적으로 인과 트랜스포머는 암 유형당 198개의 인과적 연결을 찾아냈습니다. 기존 방식은 0개를 찾았습니다.
• 검증: 이 연결들이 실제인지 확인하기 위해 '허브(hub)' 유전자(가장 영향력이 큰 유전자들)를 조사했습니다. 그 결과, 도구가 식별한 상위 유전자 중 **75%**가 이미 의료 전문가들에 의해 주요 암 드라이버(cancer driver)로 알려진 것들이었습니다. 이는 이 도구가 단순히 무작위로 추측하는 것이 아니라, 생물학적으로 의미 있는 패턴을 찾아내고 있음을 시사합니다.
• 주의점: DNA 메틸화(DNA에 붙는 특정 화학적 표식)와 같은 다른 유형의 생물학적 데이터에 이 도구를 적용했을 때, 도구는 다시 실패하며 0개의 연결만을 찾아냈습니다. 저자는 그 이유를 메틸화 데이터가 흔히 '켜짐' 또는 '꺼짐'(이진형) 형태이기 때문에, 도구가 미세한 차이를 포착하는 능력을 방해하기 때문이라고 설명합니다. 이는 이 도구가 특정 유형의 데이터에는 매우 뛰어나지만, 모든 것에 통하는 만능 열쇠는 아님을 말해줍니다.

결론

인과 트랜스포머는 과학 연구의 중요한 공백을 메우는 강력한 새로운 도구입니다. 이 도구는 과학자들이 기존에는 해결이 불가능했던 중간 규모의 복잡한 시스템(200~500개 변수)에서 인과 관계를 매핑할 수 있게 해줍니다. 이 도구는 변수들이 서로에게 '주의(attention)'를 기울이게 함으로써 작동하며, 기존의 더 단순한 방법들이 놓쳤던 풍부한 연결망을 만들어냅니다. 비록 아주 작은 데이터셋, 매우 특정한 유형의 데이터, 그리고 메모리로 인한 거대 데이터셋에서의 한계는 존재하지만, 이는 과학적 발견의 '데드 존(dead zone)'을 작동 가능한 지도로 바꾸어 놓았다는 점에서 중대한 진전입니다. 저자는 향-후 개선을 통해 이 접근 방식이 표준 컴퓨터에서도 구동되면서 복잡한 질병과 생물학적 시스템을 그 어느 때보다 더 잘 이해하도록 도울 수 있을 것이라고 제안합니다.