기술 요약: 지도적 인과 학습을 위한 테스트 시간 훈련 (TTT-SCL)

1. 문제 정의

지도적 인과 학습 (SCL) 은 인과 발견 작업을 지도 학습 문제로 재구성함으로써 기존의 비지도 인과 발견에 대한 유망한 대안으로 부상했습니다. 표준 SCL 에서는 인과 그래프와 이에 대응하는 샘플링된 데이터셋으로 구성된 대규모 정적 합성 인과 인스턴스 데이터셋을 기반으로 모델을 사전 훈련시켜, 관측 데이터에서 인과 구조로의 매핑을 학습합니다.

그러나 본 논문은 현재의 SCL 관행이 심각한 분포 외 (OOD) 일반화 문제로 인해 실제 적용 가능성이 제한된다고 지적합니다. 저자들은 정적 사전 훈련 패러다임의 세 가지 구체적인 한계를 밝혔습니다:

1. 합성 데이터와 실제 데이터 간의 간극: 합성 벤치마크에서의 강력한 성능은 실제 데이터 (예: Sachs 단백질 데이터셋) 로 전환되지 않습니다.
2. 분포 변화에 대한 취약성: 테스트 인스턴스가 훈련 데이터와 그래프 구조, 인과 메커니즘, 또는 노이즈 분포 측면에서 다를 경우 모델 성능이 크게 저하됩니다.
3. 구성적 일반화 실패: 모든 개별 구성 요소 (예: 모든 메커니즘 유형, 그래프 유형, 노이즈 분포) 를 별도로 훈련받았더라도, 모델은 테스트 시에만 처음 접하는 이러한 구성 요소들의 새로운 조합으로 일반화하지 못합니다.

핵심 문제는 정적 다양성 지향 사전 훈련이 주어진 테스트 인스턴스의 특정 분포에 적응하지 못하여 현실적인 시나리오에서 낮은 견고성을 초래한다는 점입니다.

2. 방법론: TTT-SCL

이러한 한계를 해결하기 위해 저자들은 **지도적 인과 학습을 위한 테스트 시간 훈련 (TTT-SCL)**을 제안합니다. 단일 고정 사전 훈련 모델에 의존하는 대신, TTT-SCL 은 테스트 시 특정 테스트 인스턴스 ($D_{test}$) 와 명시적으로 정렬된 맞춤형 훈련 데이터셋을 동적으로 생성합니다.

핵심 워크플로우

이 프레임워크는 세 가지 주요 단계로 운영됩니다:

1. 인과적으로 정렬된 훈련 데이터셋 생성:

   • 스코어 함수: 본 방법은 $score(G, D_{test}) = AD(G, D_{test}) - \|A_G\|_0$라는 스코어 함수를 활용합니다. 여기서 $AD$(분포 정렬) 는 그래프$G$에 의해 유도된 메커니즘 하에서 변수들의 평균 로그 가능도를 측정하며,$|A_G|_0$는 그래프 복잡성 (희소성) 을 패널티로 부과합니다.
   • 구조 유도 메커니즘 (SIM): 후보 그래프에 대해 SIM 은 회귀를 통해 $D_{test}$에서 직접 인과 메커니즘과 노이즈 분포를 적합시킵니다. 이를 통해 가능도를 평가하고 테스트 분포와 일치하는 합성 데이터를 생성할 수 있습니다.
   • 확률적 그래프 정제: 포괄적인 DAG 탐색은 계산적으로 불가능하므로, 본 방법은 초기 그래프 (예: PC 또는 NOTEARS 에서 도출) 로 시작하여 반복적인 확률적 정제를 수행합니다. 지역적 수정 (간선 추가, 삭제, 방향 반전) 을 제안하고 스코어 개선에 비례하는 확률에 따라 이를 수용합니다.
   • 데이터 합성: 정제 과정에서 발견된 상위 $K$개의 고스코어 그래프를 사용하여 합성 훈련 데이터셋을 생성합니다. 각 그래프 $G_k$에 대해 메커니즘을 $D_{test}$에서 회귀하고, 합성 데이터셋 $D_k$를 순방향 샘플링합니다. 최종 훈련 데이터셋은 쌍 $\{(D_k, G_k)\}$으로 구성됩니다.

2. 테스트 시간 훈련:

   • 지도적 인과 학습 모델 (예: AVICI) 을 이 동적으로 생성된 테스트 전용 데이터셋에서 처음부터 훈련합니다.
   • 훈련된 모델은 이후 $D_{test}$에 대한 인과 그래프를 추론하는 데 사용됩니다.

3. 이론적 연결:

   • 본 논문은 고전적인 스코어 기반 인과 발견 방법이 TTT-SCL 의 특수한 경우임을 입증합니다. 지도 예측기가 스코어 기반 1-최근접 이웃 분류기라면, TTT-SCL 은 단일 최고 스코어 그래프를 선택하는 것으로 축소됩니다. TTT-SCL 은 고스코어 그래프들의 집합을 활용하여 모델을 훈련시킴으로써 이를 일반화하며, 단일 점 추정치보다 풍부한 패턴을 활용하고 유한 샘플 불확실성을 더 잘 처리할 수 있게 합니다.

3. 주요 기여

• 한계 식별: 저자들은 합성 - 실제 전이, 분포 변화에 대한 견고성, 그리고 구성적 일반화라는 세 가지 핵심 영역에서 정적 SCL 사전 훈련이 실패함을 체계적으로 입증합니다.
• TTT-SCL 프레임워크: "다양성"(정적 사전 훈련) 에서 "집중"(동적, 테스트 시간 적응) 으로 패러다임을 전환하는 새로운 프레임워크를 도입합니다.
• 이론적 통합: TTT-SCL 을 스코어 기반 방법과 연결하는 이론적 기반을 제공하며, 스코어 기반 선택이 제안된 프레임워크의 제한된 구성임을 보여줍니다.
• 효율적 생성 모듈: 스코어 유도 확률적 정제와 SIM 을 사용하여 인과적으로 정렬된 훈련 데이터셋을 효율적으로 생성하는 실용적 모듈을 설계했습니다.

4. 실험 결과

실험은 합성 벤치마크, 유사 실제 데이터 (SynTReN), 그리고 실제 데이터 (Sachs 데이터셋) 에서 수행되었습니다.

• 실제 데이터에서의 성능: 훈련 분포와 일치하는 합성 데이터에서 높은 AUROC(97.8) 를 기록한 강력한 사전 훈련 베이스라인 AVICI(scm-v0) 는 실제 세계 Sachs 데이터셋에서는 크게 하락하여 62.3 을 기록했습니다. 반면, TTT-SCL(NOTEARS 초기화 사용) 은 Sachs 에서 78.9 AUROC를 달성하여 사전 훈련된 SCL 베이스라인과 PC(67.1) 와 같은 전통적 방법 모두를 크게 앞섰습니다.
• 변화에 대한 견고성: TTT-SCL 은 메커니즘, 그래프, 노이즈 변화 등 다양한 분포 변화와 정적 모델이 실패한 구성적 일반화 테스트에서 최첨단 성능을 유지했습니다.
• 절차 제거 연구 (Ablation Studies):
  • 스코어 함수에서 희소성 패널티를 제거하면 일관된 성능 저하가 발생하여 그래프 복잡성 패널티의 필요성을 확인했습니다.
  • "스마트" 시드 (NOTEARS) 를 사용하는 것이 무작위 시드보다 우수했으나, 탐색 예산을 늘리면 무작위 시드 변형이 스마트 시드의 성능에 근접할 수 있어 확률적 탐색 자체가 견고함을 시사했습니다.
• 스코어 기반 방법과의 비교: 단계별 분석 결과, TTT-SCL 의 최종 출력 (훈련된 모델) 이 탐색 중 발견된 최고 스코어 그래프보다 일관되게 우수함을 보여, 순수 스코어 최대화보다 지도 학습 단계가 추가적인 가치를 제공함을 입증했습니다.

5. 의의 및 주장

본 논문은 TTT-SCL 이 지도적 인과 학습에서 패러다임의 전환을 의미한다고 주장합니다. 정적 다양성 지향 사전 훈련에서 동적 테스트 시간 적응으로 이동함으로써, 이 방법은 SCL 의 실용적 유용성을 저해해 온 근본적인 OOD 일반화 문제를 해결합니다.

저자들은 TTT-SCL 이 다음과 같다고 주장합니다:

• 합성 벤치마크와 실제 데이터 간의 간극을 성공적으로 연결합니다.
• 분포 변화와 구성적 일반화 요구 사항 하에서 인과 발견을 위한 견고한 해결책을 제공합니다.
• 하위 스코어 함수의 이론적 보장을 계승하면서 다양한 스코어 설계와 모델 아키텍처를 수용할 수 있는 유연한 프레임워크를 제공합니다.

이 연구는 실제 환경에서의 견고한 인과 발견이 특정 테스트 인스턴스에 대한 동적 적응을 필요로 하며, TTT-SCL 이 테스트 시간 훈련 메커니즘을 통해 이러한 능력을 제공한다는 결론을 내립니다.