📊 statistics

The Good, the Bad, and the Ugly of Markov Boundary for Tabular Prediction

이론적으로는 예측에 최적이지만, 표 형식 학습에서 마르코프 경계(Markov boundary)를 사용하는 것은 현재의 인과 발견 방법론들이 계산 예산 내에서 이를 정확하게 복구하지 못한다는 점에 의해 실질적으로 저해되며, 이는 예측 목표와 정렬된 새로운 특성 선택 전략을 필요로 하는 구조적 복구와 예측 성능 사이의 결정적인 격차를 드러낸다.

원저자: Shu Wan, Abhinav Gorantla, Huan Liu, K. Selçuk Candan

게시일 2026-08-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shu Wan, Abhinav Gorantla, Huan Liu, K. Selçuk Candan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

데이터 과학의 세계에서 컴퓨터는 정보가 담긴 표를 바탕으로 예측을 수행하라는 요청을 끊임없이 받습니다. 한 열에는 집값이나 질병의 가능성처럼 우리가 알고 싶은 정답이 들어 있고, 수백 개의 다른 열에는 평수, 연식, 또는 혈압과 같은 잠재적인 단서들이 들어 있는 스프레드시트를 상상해 보십시오. 목표는 가장 정확한 답을 이끌어내는 완벽한 단서들의 조합을 찾는 것입니다. 수십 년 동안, 확률 이론의 강력한 아이디어 하나가 이 문제에 대해 깔끔한 해결책을 제시해 왔습니다. 이 이론은 어떤 특정한 질문에 대해서도, 예측을 하는 데 필요한 모든 것을 포함하면서 동시에 표에 있는 다른 모든 단서를 완전히 무용지물로 만드는 아주 작고 완벽한 단서 그룹이 존재한다고 제안합니다. 이 완벽한 그룹을 '마르코프 경계(Markov boundary)'라고 부릅니다. 이 이론은 우아합니다. 만약 당신이 이 작은 그룹을 찾아낼 수 있다면, 나머지 데이터를 버리고 더 단순한 모델을 학습시켜도 모든 데이터를 사용했을 때와 동일한 결과를 얻을 수 있다는 것입니다. 이는 적은 데이터가 더 나은 답을 이끌어내는 세상을 약속합니다.

하지만 애리조나 주립 대학교의 연구진은 이 우아한 이론이 현대의 예측용 컴퓨터 프로그램에 적용되었을 때 실제로 작동하는지 테스트해 보기로 했습니다. 그들은 실제 세계의 데이터를 모사하도록 설계된 3,450개의 다양한 합성 문제들로 구성된 SCM3K라는 거대한 테스트 환경을 구축했습니다. 이 문제들은 규모 면에서 매우 다양했는데, 어떤 것은 단서가 40개뿐이었고 어떤 것은 1,000개까지 달했습니다. 그들은 단순한 통계 도구부터 고급 인공지능 모델에 이르기까지 여섯 가지 유형의 예측 엔진을 테스트했습니다. 연구진은 먼저 명쾌한 질문을 던졌습니다. 만약 예측 엔진에게 이론적으로 완벽한 그룹의 단서들만 제공한다면, 표의 모든 단서를 모두 살펴보도록 강제했을 때보다 더 나은 성능을 보일 것인가? 대답은 단호하게 '예'였습니다. 데이터가 방대하고 중복된 정보가 많을 때, 컴퓨터를 필수적인 단서들로만 제한하는 것이 정확도를 크게 향상시켰습니다. 쓸모없는 데이터가 제거될수록 예측은 더욱 날카로워졌습니다. 이론이 내내 옳았던 것처럼 보였습니다.

그러나 연구진은 그다음 단계인 논리적 질문을 던졌습니다. 컴퓨터가 예측을 수행하기 전에 스스로 그 완벽한 단서 그룹을 찾아내도록 하면 어떻게 될까? 그들은 이러한 경계를 발견하기 위해 설계된 기존 도구들을 사용했고, 그 결과를 예측 엔진에 입력했습니다. 여기서 이야기는 급격히 반전되었습니다. 완벽한 그룹을 찾도록 설계된 도구들이 약속된 혜택을 제공하는 데 실패했습니다. 많은 경우, 컴퓨터가 추측한 최선의 완벽한 그룹을 사용하는 것이 전체 표의 데이터를 모두 사용하는 것보다 오히려 예측력을 떨어뜨렸습니다. 연구진은 이러한 경계를 찾기 위해 사용된 도구들이 예측이라는 목적을 위해 만들어진 것이 아님을 발견했습니다. 이 도구들은 데이터의 정확한 수학적 구조를 찾는 용도로 만들어졌는데, 이는 데이터가 커질 때 믿기 힘들 정도로 어렵고 느린 작업입니다. 이 도구들이 작업을 마칠 때쯤에는, 특히 완벽한 그룹이 가장 도움이 되었을 법한 크고 복잡한 시나리오에서 이미 컴퓨팅 자원이나 시간이 바닥난 상태였습니다.

실패의 원인은 단순히 속도 때문만이 아니라, 목표의 근본적인 불일치에 있었습니다. 이러한 경계를 찾는 도구들은 두 종류의 실수를 똑같이 나쁜 것으로 취급합니다. 즉, 실제로 중요한 단서를 놓치는 것과 중요하지 않은 단서를 포함하는 것을 동일하게 간주합니다. 하지만 예측의 세계에서 이 두 실수는 결코 같지 않습니다. 중요한 단서를 놓치는 것은 답을 망치는 재앙이지만, 쓸모없는 추가 단서를 포함하는 것은 예측 엔진이 충분히 무시할 수 있는 사소한 번거로움일 뿐입니다. 연구진은 이 도구들이 너무 신중하여, 쓸모없는 것을 추가하지 않기 위해 오히려 중요한 단서까지 빠뜨리는 경향이 있으며, 이러한 신중함이 최종 예측을 해친다는 것을 발견했습니다. 나아가, 그들은 '완벽한' 단서 그룹만이 좋은 답을 얻는 유일한 방법은 아니라는 점도 발견했습니다. 약간 더 큰 규모의 그룹으로서, 비록 몇몇 불필요한 정보를 포함하더라도, 취약하고 정교한 정확한 그룹보다는 차라리 조금 더 넓은 범위가 더 효과적일 때가 많았습니다.

이 연구는 완벽하고 최소한의 단서 그룹이라는 개념이 수학적으로는 타당할지라도, 그 정확한 그룹을 쫓는 것은 예측을 위한 잘못된 전략이라고 결론짓습니다. 연구진은 데이터 과학의 미래가 다른 접근 방식에 있다고 제안합니다. 단 하나의 정확한 단서 세트를 찾으려 애쓰는 대신, 비록 필요 이상으로 조금 더 크더라도 견고하고 안전한 그룹을 찾아야 합니다. 우리는 중요한 단서를 놓치는 것이 쓸모없는 단서를 포함하는 것보다 훨씬 더 치명적이라는 사실을 이해하는 방법론이 필요합니다. 목표는 숨겨진 데이터 구조를 완벽하게 재구성하는 것이 아니라, 사용 중인 특정 예측 엔진에 가장 잘 작동하는 단서 세트를 찾는 것이어야 합니다. 완벽한 이론적 경계는 존재하지만, 예측이라는 실질적인 과업을 위해서는, 약간 불완전하더라도 더 관대한 단서 세트가 진정한 승자가 되는 경우가 많습니다.

기술 요약: 표 형식 예측을 위한 마르코프 경계(Markov Boundary)의 선(Good), 악(Bad), 그리고 추(Ugly)

문제 정의
표 형식 예측(Tabular prediction)에서 목표는 일련의 특성들로부터 타겟 변수 $Y$ 를 추정하는 것이다. 이론적으로 마르코프 경계(Markov boundary) $B(Y)$ — $Y$ 를 다른 모든 변수와 조건부 독립으로 만드는 가장 작은 특성 집합—는 이상적인 특성 집합이다. 이는 충분성(모든 예측 정보를 유지함)과 최소성(중복되는 열을 제외함)을 동시에 갖는다. 표준적인 그래프 가정(마르코프 및 충실성) 하에서, 모델을 $B(Y)$ 로 제한하는 것은 예측력을 보존하면서 차원을 축소해야 한다.

그러나 현대의 표 형식 예측은 모델이 노이즈를 암묵적으로 필터링할 수 있다고 가정하며 전체 특성 집합을 사용하여 회귀 모델을 학습시키는 데 의존하는 경우가 많다. 반대로, 인과 발견(Causal discovery) 알고리즘은 $B(Y)$ 를 명시적으로 복구하려고 시도하지만 확장성 문제에 직면한다. 이 논문의 핵심 질문은 다음과 같다: 마르코프 경계가 유한 샘플 표 형식 예측에 진정으로 유용한가, 그리고 "경계를 발견한 후 예측한다"는 표준 파이프라인이 실질적인 이득을 가져다주는가?

방법론
저자들은 이 질문을 평가하기 위해 구조적 인과 모델(SCM)로부터 생성된 3,450개의 태스크를 포함하는 합성 벤치마크인 SCML3K를 사용한다.

데이터셋 구축: 태스크는 특성 수( $F$ , 40에서 1,000까지), 그래프 밀도(희소함에서 조밀함까지), 그리고 6가지 SCM 패밀리(선형/비선형, 가우시안/비가우시안, 이분산성)에 따라 다양하게 구성된다.
회귀 모델: 여섯 가지 서로 다른 모델이 테스트된다: Ridge, LASSO, MLP, XGBoost, 그리고 두 가지 표 형식 파운데이션 모델(TabPFN, TabICL).
평가 지표:
- 오라클 MB 갭(Oracle MB Gap): 전체 특성 집합으로 학습했을 때와 실제(오라클) 마르코프 경계로 학습했을 때의 테스트 RMSE 차이.
- 추정 파이프라인: 오프더쉘(off-the-shelf) 인과 발견 알고리즘(GES, Grow-Shrink, HITON-MB)을 사용하여 경계를 추정하고, 그 후 복구된 마스크를 사용하여 회귀 모델을 학습시키는 실제적인 파이프라인을 테스트한다.
- 실패 분석: 추정 파이프라인이 실패하는 이유를 분석하며, 확장성 한계와 거짓 음성(경계 특성을 놓침) 대 거짓 양성(중복 특성을 포함함)의 비대칭적 비용을 조사한다.
- 대안 집합: "레이어드 블랭킷(layered blankets)"(경계의 상위 집합)과 "예측 이득 맵(prediction gain maps)"을 탐색하여, 엄격하게 최소적이지는 않지만 예측에 최적인 특성 집합을 식별한다.

주요 결과

오라클 갭은 실재하며 회귀 모델에 따라 달라진다:
- 오라클 마르코프 경계로 학습하는 것은 대부분의 회귀 모델, 특히 고차원 및 희소한 환경에서 예측을 크게 개선한다.
- 이러한 개선은 암묵적 특성 선택 능력이 약한 모델(예: Ridge, RMSE 35% 감소)에서 가장 두드러졌으며, 내재적 선택 능력이 강한 모델(예: LASSO, 2% 감소)에서는 덜했다.
- 표 형식 파운데이션 모델(TabPFN, TabICL)조차 오라클 경계로부터 유의미한 이득을 얻었으며, 이는 이들이 중복된 특성에 면역이 있지 않음을 나타낸다.
"추정 후 예측(Estimate-Then-Predict)" 파이프라인은 실패한다:
- 현재의 인과 발견 추정기들(GES, Grow-Shrink, HITON-MB)은 실질적인 이득을 제공하지 못한다. 이들은 오라클 갭이 가장 큰 고차원 영역에 도달하기 전에 계산 예산을 모두 소진한다.
- 설령 실행되더라도, 복구된 마스크는 전체 특성 집합보다 성능이 우수한 경우가 드물다.
- 확장성: 제약 기반 방법론은 조합 폭발( $O(F^d)$ )로 인해 고차원 설정으로의 확장이 제한되며, 오라클의 이점이 미미한 저차원 설정( $F \le 200$ )에 머물러 있다.
비대칭적 손실 및 구조적 불일치:
- 거짓 음성은 비용이 크다: 실제 경계 특성을 놓치는 것은 샘플 크기가 커져도 사라지지 않는 모집단 수준의 편향(누락 변수 편향)을 유발한다.
- 거짓 양성은 허용 가능하다: 중복된 특성을 추가하는 것은 유한 샘플 분산을 증가시키지만, 모집단의 조건부 기댓값은 보존한다.
- 인과 발견 지표(예: F1 점수, SHD)는 이러한 오류를 대칭적으로 취급하며, 예측보다는 구조적 복구에 최적화되어 있다. 결과적으로, 고정밀/저재현(high-precision/low-recall) 추정기(인과 발견에서 흔히 나타나는 형태)는 중요한 경계 변수를 탈락시키기 때문에 예측 성능을 개선하는 데 실패하는 경우가 많다.
최소성을 넘어:
- 정확한 마르코프 경계만이 전체 테이블보다 나은 성능을 보이는 유일한 특성 집합은 아니다.
- 경계의 상위 집합(예: 배우자(spouses)와 이웃(neighbors)을 포함하는 "layered blankets")은 충분성을 보존하며, 취약한 정확한 경계 추정치보다 더 견고할 수 있다.
- "예측 이득 맵"은 많은 회귀 모델에 대해, 높은 재현율을 가진 마스크(일부 거짓 양성을 포함하더라도)가 높은 정밀도와 낮은 재현율을 가진 마스크보다 우월하다는 것을 보여준다.

주요 기여

경험적 증거: 마르코프 경계가 이론적으로는 최적이지만, 표 형식 데이터에 대한 현재의 "인과 발견 후 예측" 파이프라인은 효과적이지 않다는 것을 보여주는 대규모의 통제된 평가를 제공한다.
실패 진단: 실패의 세 가지 근본 원인을 식별한다: (1) 인과 추정기의 확장성 한계, (2) 예측에서의 거짓 음성 대 거짓 양성의 비대칭적 비용, (3) 정확한 최소 경계만이 유용한 대상이라는 오해.
새로운 목표: 목표를 "정확한 경계 복구"에서 "예측에 정렬된 특성 선택(prediction-aligned feature selection)"으로 전환할 것을 제안한다. 이는 충분성과 견고성을 확보하기 위해 어느 정도의 중복을 허용하는 것을 포함한다.
향후 연구 방향: 두 가지 구체적인 연구 경로를 제시한다:
1. 아모티즈 추정(Amortized Estimation): 합성 SCM 태스크에 대해 파운데이션 모델을 사전 학습시켜, 개별 데이터셋마다 발생하는 탐색 비용을 우회하여 예측과 경계 추정을 동시에 학습하도록 한다.
2. 결합 학습(Joint Learning): 특성 마스크와 예측기를 동시에 학습시켜, 특성 선택을 별도의 전처리 단계로 취급하는 대신 예측 손실을 최적화하면서 모집단 충분성으로 정규화한다.

의의 및 주장
본 논문은 "마르코프 경계"가 유용한 이론적 개념이지만, 표 형식 예측을 위한 비지도 인과 발견의 맥락에서는 부적절한 실무적 목표라고 주장한다. 저자들은 커뮤니티가 정확한 구조적 복구를 예측의 대리 지표로 삼는 것에서 벗어나야 한다고 주장한다. 대신, 특성 선택은 **예측에 정렬(prediction-aligned)**되어야 하며, 엄격한 최소성보다는 경계 정보의 유지(재현율)를 우선시하고, 합성 사전 지식(synthetic priors)을 활용하여 경계 추정의 규모를 키워야 한다. 이 연구는 인과적 특성 선택과 경험적 모델 선택 사이의 간극을 메우며, "좋은" 특성 집합은 정확한 경계 자체가 아니라 경계 주변의 견고한 영역임을 시사한다.

유사한 논문