기술 요약: 단순한 실제 물리 시스템을 통한 인과 표현 학습(Causal Representation Learning)의 건전성 검사

문제 정의

인과 표현 학습(Causal Representation Learning, CRL)은 고차원의 얽힌 관측값으로부터 기저에 있는 인과적 잠재 참값 모델(ground-truth model)을 복구하는 것을 목표로 한다. 특정 혼합 함수, 개입 유형 또는 시간적 구조와 같은 특정 가정하에 인과적 요인의 식별 가능성(identifiability)에 관한 상당한 이론적 진전이 이루어졌으나, 이 분야는 의미 있는 실세계 벤치마크가 부족한 실정이다. 기존의 평가는 테스트 중인 방법론의 가정을 따르는 특정 합성 데이터셋에 주로 의존한다. 이러한 관행은 이론적 토대를 검증하는 데는 유용하지만, 데이터 생성 과정이 복잡하고 노이즈가 많으며 이론적 가정을 자주 위반하는 실제 문제에 대한 방법론의 적용 가능성을 통찰하는 데는 한계가 있다.

방법론

저자들은 알려진 "라이트 터널(light tunnel)"(Gamella et al., 2025)이라는 제어 가능한 실제 물리 시스템을 기반으로 한 "건전성 검사(sanity check)"를 도입한다. 이 시스템은 참값을 알고 있기 때문에 CRL 방법론을 직접 평가할 수 있는 테스트베드 역할을 한다.

물리 시스템

이 시스템은 제어 가능한 광원(Red, Green, Blue LED), 회전 프레임에 장착된 두 개의 선형 편광판, 카메라, 그리고 다양한 빛 및 각도 센서로 구성된다.

• 참값 (잠재 요인): 제어 입력값: 광원 밝기($R, G, B$) 및 편광판 각도($\theta_1, \theta_2$).
• 관측값: 카메라로 캡처된 이미지와 수치형 센서 측정값(빛의 세기, 전류, 노이즈가 섞인 각도 측정값).
• 혼합 함수 (Mixing Function): 입력에서 관측값으로의 변환은 물리적 원리(예: 편광에 관한 말루스의 법칙, 역제곱 법칙)에 의해 결정된다. 결정적으로, 이 과정은 광원의 변동 및 센서 노이즈로 인해 **확률적(stochastic)**이며, 순수하게 가법적(additive)이지 않다.

실험 설계

저자들은 세 가지 대표적인 CRL 방법론 군을 평가하였다:

1. 대조적 CRL (Contrastive CRL): 개입 데이터가 필요한 방법론 (Buchholz et al., 2023).
2. 다중 뷰 CRL (Multiview CRL): 서로 분리된 관측 세트를 활용하는 방법론 (Yao et al., 2024c).
3. 시간적 CRL (Temporal CRL): 인과적 시간 구조를 활용하는 방법론 (CITRIS, Lippe et al., 2022).

실패의 원인을 격리하기 위해 저자들은 **합성 어블레이션(synthetic ablation)**을 수행하였다. 이 과정에서 실제 데이터 생성 과정을 동일한 입력으로부터 합성 이미지와 센서 측정값을 생성하는 결정론적 시뮬레이터로 대체하였다. 이 시뮬레이터는 평가된 방법론의 이론적 가정(예: 결정론적 혼합, 가정된 가법적 노이즈)을 엄격히 준수하며, 이를 통해 "미스스펙리피케이션(misspecification, 가정 위반)"과 "최적화(optimization, 수렴 실패)" 실패를 구분하는 대조군 역할을 한다.

주요 기여

1. 실세계 벤치마크: 물리적 광학 실험에서 유도된 lt_crl_benchmark_v1 데이터셋을 도입하여, CRL 평가를 위한 참값 기반 플랫폼을 제공한다.
2. 합성 어블레이션 프레임워크: 실제 데이터의 복잡한 노이즈와 확률적 특성에 대한 CRL 방법론의 강건성을 테스트하기 위해, 실제 데이터를 결정론적 대리물로 대체하는 방법론을 제시한다.
3. 포괄적 평가: 서로 다른 이론적 패러다임에 속하는 최신 방법론들을 실제 데이터와 합성 데이터 모두에 대해 체계적으로 평가하였으며, 광범위한 하이퍼파라미터 탐색과 코드 재현 노력을 동반하였다.
4. 공공 리소스: 향후 연구를 촉진하기 위해 데이터셋, 데이터 수집 절차 및 재현 코드를 공개한다.

결과

평가 결과, 테스트된 모든 방법론이 실제 데이터에서 기저의 인과적 요인을 일관되적으로 복구하는 데 실패했다.

• 대조적 CRL (Buchholz et al., 2023):

  • 합성 데이터: 잠재 변수와 인과 그래프를 높은 정확도로 복구하며 잘 작동하였다 (MCC $\approx$ 0.89).
  • 실제 데이터: 성능이 붕괴되었다 (MCC $\approx$ 0.28). 이 방법은 잠재 변수를 복구하지 못했으며, 무작위 초기화에 따라 일관되지 않은 인과 그래프를 생성했다.
  • 결론: 이 실패는 혼합 함수의 미스스펙리피케이션에 기인한다. 해당 방법은 결정론적 혼합 과정을 가정하지만, 실제 시스템은 복잡하고 비가법적인 확률적 노이즈를 포함한다.

• 다중 뷰 CRL (Yao et al., 2024c):

  • 성능: 이미지와 센서 뷰의 교집합으로부터 콘텐츠 변수(특히 편광판 각도 $\theta_1, \theta_2$)를 복구하는 데 실패하였다. 이는 합성 어블레이션에서 이론적 가정(단사성 등)이 충족되었을 때도 마찬가지였다.
  • 관찰: 실제 및 합성 데이터 모두에서 성능이 유사하게 저조했다. 저자들은 지도 학습 모델은 이미지로부터 편광판 각도를 쉽게 복구할 수 있음에도 불구하고, 자기 지도 학습 기반의 다중 뷰 방법론은 데이터 모달리티 간의 의존성 등으로 인해 이미지 모달리티로부터 이 정보를 포착하는 데 어려움을 겪는다고 가설을 세웠다.

• 시간적 CRL (CITRIS, Lippe et al., 2022):

  • 성능: 실제 및 합성 데이터 모두에서 참값 요인을 복구하는 데 실패하였다 (낮은 대각 성분 $R^2$ 점수, 높은 비대각 성분 상관관계).
  • 결론: 이 실패는 미스스펙리피케이션과 최적화 문제의 결합에서 비롯된 것으로 보인다. 서브 모듈의 복잡성이 오류를 증폭시킬 수 있으며, 결정론적 설정에서도 특정 아키텍처나 훈련 방식이 데이터 특성에 대한 강건성을 갖추지 못했을 가능성이 있다.

의의 및 주장

본 논문은 CRL 분야 전체에 대한 결정적인 비판이라기보다 하나의 "건전성 검사"로서 자리매김한다. 저자들은 다음과 같은 겸허한 주장을 펼친다:

1. 이론과 실제 사이의 간극: CRL 방법론의 이론적 약속과 단순하고 통제된 실제 물리 환경에서의 성능 사이에는 극명한 차이가 존재한다.
2. 재현성 문제: 결과는 방법론이 단순화된 합성 어블레이션에서도 종종 실패한다는 점을 강조하며, 이는 구현 세부 사항, 전처리 및 최적화 선택이 이론적 보장만큼이나 중요한 역할을 함을 시사한다.
3. 가정의 역할: 혼합 함수에 대한 일반적인 가정(예: 결정론, 가법성)이 성능에 결정적이지만, 실제 데이터에서는 자주 지켜지지 않는다는 것을 보여준다.
4. 부정적 결과의 정보 가치: 이 간단한 테스트베드에서의 실패는 더 복잡한 실제 시나리오에서도 실패할 가능성이 높음을 나타낸다. 그러나 이 벤치마크에서의 성공이 모든 응용 분야에서의 성공을 보장하는 것은 아니다.
5. 행동 촉구: 저자들은 이론적 발전도 필요하지만, 강건하고 재현 가능한 알고리즘을 구현하는 "엔지니어링적 노력"에도 집중해야 한다고 주장한다. 이들은 순수하게 합성 데이터로만 검증하는 단계를 넘어, 실제 물리적 테스트베드를 사용하여 CRL이라는 어려운 문제를 관리 가능한 단계로 나누어 해결할 것을 권고한다.

논문은 이론적 가정과 물리적 데이터 생성의 복잡한 현실 사이의 간극을 메우지 못한다면, CRL을 실제 문제에 적용하는 것은 여전히 제한적일 것이라고 결론짓는다.