📈 economics

SplitWise Regression: Stepwise Modeling with Adaptive Dummy Encoding

이 논문은 수치형 예측 변수를 얕은 결정 트리를 통해 임계값 기반의 이진 특징으로 적응적으로 변환함으로써, AIC 또는 BIC에 따라 모델 적합도를 개선하는 경우에만 이를 수행하여 비선형 관계를 포착하는 것과 모델 해석력을 유지하는 것 사이의 균형을 달성하도록 단계적 회귀를 강화하는 새로운 R 패키지인 SplitWise를 소개한다.

원저자: Marcell T. Kurbucz, Nikolaos Tzivanakis, Nilufer Sari Aslam, Adam M. Sykulski

게시일 2026-02-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Marcell T. Kurbucz, Nikolaos Tzivanakis, Nilufer Sari Aslam, Adam M. Sykulski

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 자동차의 엔진 크기나 무게와 같은 특징을 바탕으로 자동차의 성능을 어떻게 잘 예측할 수 있을지 고민하고 있다고 상상해 보십시오. 전통적으로 통계학자들은 단순한 "직선형" 접근 방식을 사용합니다. 즉, 엔진 크기가 두 배가 되면 성능도 일정하게 변한다고 가정하는 것입니다. 이해하기는 쉽지만, 현실은 직선이 아니기 때문에 종종 틀리곤 합니다. 때로는 엔진이 너무 커졌을 때 비로소 성능이 눈에 띄게 저하되기도 하고, 어떤 특징은 특정 임계값을 넘어야만 의미를 갖기도 합니다.

반면, 현대의 머신러닝은 복잡한 "블랙박스" 방식(심층 신경망 등)을 사용하여 이러한 기묘하고 비직선적인 패턴을 찾아냅니다. 하지만 이 방식들은 너무 복잡해서 왜 그런 예측을 내놓았는지 아무도 설명할 수 없습니다. 마치 올바른 방향을 알려주기는 하지만, 정작 지도는 보여주지 않는 GPS를 가진 것과 같습니다.

두 세계의 장점을 결합한 "SplitWise"

이 논문은 **SplitWise 회귀(SplitWise Regression)**라는 새로운 도구를 소개합니다. 이것은 복잡하고 비직선적인 현실을 다룰 수 있으면서도, 단순하고 투명한 모델을 구축하도록 돕는 똑똑하고 유연한 조수라고 생각하면 됩니다.

작동 원리는 다음과 같습니다.

1. "스마트 스위치" (적응형 더미 인코딩 - Adaptive Dummy Encoding)

표준 모델에서 "연령"과 같은 변수는 연속적인 선으로 취급됩니다. 하지만 SplitWise는 이렇게 묻습니다. "이 변수가 선처럼 움직이는가, 아니면 '변곡점'을 가지고 있는가?"

만약 데이터가 "연령"이 50세 이후부터 건강 결과에 영향을 미치기 시작한다는 것을 보여준다면, SplitWise는 억지로 직선을 긋지 않습니다. 대신, 스마트 스위치를 만듭니다. 이 스위치는 "연령" 변수를 간단한 "예/아니오" 질문으로 바꿉니다. "이 사람이 50세 이상인가?"

예라면, 하나의 규칙을 적용합니다.
아니오라면, 다른 규칙을 적용하거나 아예 적용하지 않습니다.

이것은 온도 조절기와 같습니다. 방의 온도가 정확히 어떤 곡선을 그리며 변하는지 알 필요는 없습니다. 그저 "온도가 70도 이상인가? 그렇다면 에어컨을 켜라"는 것만 알면 됩니다. Splitwise는 데이터 속에서 이러한 "임계점"(thresholds)을 자동으로 찾아냅니다.

2. "엄격한 회계사" (AIC/BIC를 이용한 단계적 선택 - Stepwise Selection)

*"만약 이런 '예/아니오' 스위치를 계속 추가한다면, 모델이 너무 복잡하고 혼란스러워지지 않을까?"*라고 걱정할 수 있습니다.

여기서 Splitwise의 "엄격한 회계사"가 등장합니다. 모델에 새로운 스위치를 추가하기 전에, 이 회계사는 AIC 또는 BIC라고 불리는 재무 장부를 확인합니다. 이 점수들은 다음 두 가지 사이의 균형을 맞춥니다:

모델이 데이터를 얼마나 잘 설명하는가 (정확도).
모델에 규칙이 얼마나 많은가 (복잡도).

만약 새로운 "스위치"(예: "혈압이 140보다 높은가?")를 추가하는 것이 추가되는 복잡성을 정당화할 만큼 충분히 점수를 높여주지 못한다면, 회계사는 "아니요, 모델을 단순하게 유지하겠습니다"라고 말합니다. 이를 통해 모델이 패턴을 학습하는 대신 노이즈를 암기해 버리는 "과적합(overfitting)"의 함정을 피하고, 모델을 읽기 쉽고 이해하기 쉽게 유지합니다.

3. "두 가지 요리법" (반복적 방식 vs 단변량 방식 - Iterative vs Univariate)

논문은 Splitwise가 모델을 구축하는 두 가지 방법을 설명합니다:

"팀 회의" 방식 (Iterative Mode): 알고리즘이 모든 변수를 함께 살펴봅니다. "이미 '엔진 크기'가 모델에 있다면, '무게 > 2000lbs'라는 조건을 추가하는 것이 도움이 될까?"라고 묻습니다. 이는 정밀하며 변수 간의 상호작용을 고려합니다.
"단독 정찰" 방식 (Univariate Mode): 알고리즘이 각 변수를 개별 식재료를 검사하는 정찰병처럼 하나씩 살펴봅니다. 각 식재료의 최적 형태를 독립적으로 결정한 다음, 최종 요리를 완성합니다. 이는 변수가 매우 많은 거대 데이터셋에서 더 빠릅니다.

연구 결과

저자들은 만든 데이터(정답을 알고 있는 데이터)와 실제 세상의 데이터(자동차 연비, 집값, 와인 품질 등) 모두에 대해 Splitwise를 테스트했습니다.

결과: Splitwise는 전통적인 직선형 방식보다 더 정확하면서도, 복잡한 머신러닝 모델보다 더 단순한(변수가 적은) 모델을 일관되게 구축했습니다.
최적의 지점: 이 방식은 모델을 읽기 힘든 블랙박스로 만들지 않으면서도, 데이터의 "굴곡"과 "도약"(비선형성)을 포착해 냈습니다.
도구: 이들은 누구나 사용할 수 있도록 이 기능을 R 프로그래밍 언어의 무료 소프트웨어 패키지로 출시했습니다.

핵심 요약

Splitwise는 딱딱한 자(ruler)에서, 데이터의 행동이 변하는 정확한 지점에 딱 들어맞는 유연한 줄자(measuring tape)로 업그레이드하는 것과 같습니다. 이 방식은 의사, 정책 입안자, 혹은 자신의 결정을 설명해야 하는 엔지니어들이 이해할 수 있을 만큼 투명성을 유지하면서도, 단순한 모델이 놓칠 수 있는 복잡하고 비선형적인 관계를 잡아낼 만큼 똑똑합니다.

이 논문이 주장하지 않는 것:
이 논문은 전적으로 통계적 성능과 소프트웨어 도구 자체에 초점을 맞추고 있습니다. 이 방법이 특정 임상 시험에서 테스트되었다거나, 특정한 미래의 의료 결과나 금융 시장의 폭락을 예측한다는 주장은 하지 않습니다. 단지 이 수학적 방법이 명확하고 정확한 회귀 모델을 구축하는 데 있어 기존의 대안들보다 더 효과적임을 증명할 뿐입니다.

기술 요약: SplitWise 회귀 (SplitWise Regression)

문제 정의

회귀 모델링에서 선형 모델 고유의 해석 가능성을 희생하지 않으면서 비선형 관계를 포착하는 것은 지속적인 과제입니다. 전통적인 선형 회귀는 계수가 예측 변수의 영향력을 직접 정량화하여 투명성을 제공하지만, 임계값 효과나 복잡한 비선형성(예: 특정 연령 이후 건강 결과가 급격히 변화하는 경우)을 모델링하는 데 한계가 있습니다. 반대로, 의사결정 나무(decision trees)나 신경망과 같은 머신러닝 기법은 이러한 복잡한 관계를 모델링할 수 있지만, 의료, 금융, 공공 정책과 같이 이해관계가 높은 분야에서 매우 중요한 전역적 해석 가능성(global interpretability)이 결여된 "블랙박스" 구조를 생성하는 경우가 많습니다.

RuleFit이나 트리 기반 구성 요소를 포함한 선과의 결합 방식(예: M5, PILлоT)과 같은 기존의 하이브리드 접근법들은 이러한 간극을 메우려고 시도합니다. 그러나 이들은 종-종 중첩된 분할(nested splits)이나 앙상블 구성 요소가 포함된 복잡한 모델 구조를 생성하여 투명성을 저해합니다. 또한, 현재의 단계적 선택(stepwise selection) 방법들은 일반적으로 p-값 임계값이나 정보 기준(information criteria)에 의존하지만, 모델의 견고성을 높이고 과적합을 줄이기 위해 수치형 변수 내에서 최적의 임계값을 자동으로 감지하지는 못합니다. 따라서 제어된 방식으로 비선형성을 도입하여, 전역 선형 방정식의 일관성을 유지하면서도 선형 모델의 성능을 직접적으로 향상시킬 수 있는 이진 임계값 변수를 생성하는 접근 방식이 구체적으로 필요합니다.

방법론

본 논문은 적응형 임계값 기반 변환을 단계적 회귀 과정에 통합하는 결정론적 프레임워크인 SplitWise를 소개합니다. 핵심 혁신은 수치형 예측 변수가 표준 선형 항으로 모델에 들어갈지, 아니면 데이터 기반 절단점(cut-points)으로부터 유도된 하나 이상의 이진(dummy) 지표로 들어갈지를 자동으로 결정하는 능력에 있습니다.

알고리즘 모드

SplitWise는 모델 적합도와 복잡성 사이의 균형을 맞추기 위해 아카이케 정보 기준(AIC) 또는 베이지안 정보 기준(BIC)을 활용하는 두 가지 별개의 모드로 작동합니다.

반복 모드 (Iterative Mode):
- 단계적 절차(전진, 후진 또는 양방향)를 통해 모델을 구축합니다.
- 각 단계에서 제외된 예측 변수를 평가하여 최적의 형태(선형 또는 더미 변환 형태)를 찾고, 현재 포함된 예측 변수를 제거하는 것이 개선되는지 확인합니다.
- 후보 변환은 rpart 패키지를 사용하여 최대 깊이가 2인 얕은 의사결정 나무를 통해 생성됩니다.
- 알고리즘은 가장 낮은 AIC/BIC를 산출하는 동작(추가, 제거 또는 형태 전환)을 선택합니다.
- 이 모드는 변수 간 상호작용 및 결합 효과를 고려하므로 일반적으로 정밀도가 더 높습니다.
단변량 모 모드 (Univariate Mode):
- 각 예측 변수를 독립적으로 평가하여 최적의 표현 방식(무효, 선형, 단일 분할 더미 또는 이중 분할 더mi)을 결정합니다.
- 최적의 분할 지점을 식별하기 위해 동일한 얕은 트리 로직을 사용합니다.
- AIC/BIC를 기준으로 각 변수에 대한 최적의 변환을 선택한 후, 후속 단계적 선택 과정을 통해 최종 모델을 구성합니다.
- 이 모드는 고차원 데이터에서의 확장성을 위해 설계되었습니다.

소프트웨어 구현

이 방법은 오픈 소스 R 패키지(Splitwise)로 구현되었습니다. 이 패키지는 기본 R 함수(lm, step)와 트리 기반 분할을 위한 rpart 패키지를 주로 사용하여 외부 의존성을 최소화합니다. 패키지는 표준 회귀 모델 객체(splitwise_lm)를 출력하며, 이는 선형 구조를 유지하면서도 특정 절단점 및 더미 인코딩(예: $I(\text{혈압} > 140)$ )에 대한 메타데이터를 포함하여 최종 모델이 인간이 읽을 수 있고 감사 가능하도록 보장합니다.

주요 기여

적응형 더미 인코딩: 변수를 고정된 선형 항으로 취급하는 전통적인 단계적 회귀와 달리, SplitWise는 정보 기준을 개선할 경우 수치형 예측 변수를 동적으로 이진 임계값 특징으로 변환합니다.
해석 가능성 보존: 결과 모델은 소수의 임계값 특징이 보강된 전역 선형 방정식입니다. 이는 전체 트리 앙상블의 복잡성을 피하면서도 관련 비선형성을 포착합니다.
간결성 및 안정성: 이 프레임워크는 희소 모델(sparse models)을 생성하도록 설계되었습니다. AIC/BIC를 사용하여 선택함으로써 과적합을 방지하고 의미 있는 변환만이 유지되도록 합니다.
오픈 소스 도구 제공: SplitWise R 패키지의 출시는 분석가들이 복잡한 트리 탐색 알고리즘을 수동으로 구현할 필요 없이 이러한 방법을 적용할 수 있는 재현 가능하고 사용자 친화적인 도구를 제공합니다.

실험 결과

저자들은 합성 데이터셋과 실제 데이터셋을 모두 사용하여 클래식 단계적 회귀, 최적 부분 집합 선택(best subset selection), 그리고 패널티 회귀 기법(LASSO, Ridge, Elastic Net)을 대상으로 SplitWise를 평가했습니다.

합성 데이터셋

성능: 15, 30, 60개의 예측 변수가 있는 데이터셋 전반에서 SplitWise(특히 반복 모드)는 일관되적으로 가장 낮은 RMSE와 가장 높은 조정된 $R^2$ 를 달로 달성했습니다.
모델 선택: 대부분의 시나리오에서 가장 낮은 AIC 및 BIC 값을 생성하여, 적합도와 복잡성 사이의 우수한 트레이드오프를 보여주었습니다.
희소성: Splitwise는 높은 정확도를 유지하면서도 매우 희소한 모델(예: 15개 예측 변수 설정에서 4~5개 변수)을 식별한 반면, 전통적인 단계적 및 패널티 방법은 유사하거나 더 낮은 성능을 보이면서도 더 큰 모델을 선택하는 경ことが 잦았습니다.
안정성: 이 방법은 리샘플링 실행 시 동일한 예측 변수가 선택되는 비율(stability)에서 높은 안정성을 보였으며, 종종 1.00에 도달했습니다. 반면 전통적인 단계적 방법은 고차원에서 더 낮은 안정성을 보였습니다.

실제 데이터셋

Bodyfat, Boston Housing, Mtcars, Wine Quality Red/White의 5개 데이터셋에 대해 평가되었습니다:

예측 정확도: Splitwise(반복 모드)는 Boston Housing 및 Wine Quality와 같은 복잡한 데이터셋에서 일관되게 가장 낮은 RMSE를 달성했습니다.
변수 선택: 이 방법은 전통적인 방법들과 비교하여 적거나 대등한 수의 예측 변수로 이러한 결과를 달 achieved 했습니다. 예를 들어, Wine Quality (Red) 데이터셋에서 7개의 변수만으로 다른 방법들을 능가했습니다.
비교: 전통적인 단계적 방법은 저차원 데이터셋(예: Bodyfat)에서는 경쟁력이 있었으나, 더 복잡한 시나리오에서는 효율성과 안정성 면에서 어려움을 겪었습니다. 패널티 방법은 계산 효율성은 높았으나 일반적으로 RMSE 및 조정된 $R^2$ 측면에서 뒤처졌습니다.

의의 및 주장

본 논문은 SplitWise가 높은 예측 성능과 해석 가능성이 모두 타협 불가능한 도메인을 위한 실질적인 솔루션을 제공한다고 주장합니다. 모델 선택의 엄격함과 적응형 임계값 설정을 결합함으로써, 분석가들이 불투명한 머신러닝 앙상블에 의존하지 않고도 비선형성을 모델링할 수 있게 해줍니다.

저자들은 Splitwise가 "전통적인 단계적 및 패널티 회귀 기법보다 일관되게 더 간결하고 일반화 가능한 모델을 생성한다"고 위치시킵니다. 그들은 이 방법이 선형 회귀의 투명성을 유지하면서 연속 변수의 의미 있는 분기점(breakpoints)을 발견할 수 있게 한다고 강조합니다. 저자들은 이 방법이 선형 모델링의 해석 가능성을 대체하는 것이 아니라 강화하기 위한 결정론적 프레임워크임을 명시하며, 따라서 의료, 경제학, 사회과학 분야에 적합하다고 언급합니다. 향서 연구로는 파이썬(Python)으로의 확장, 일반화 선형 모델(GLM) 및 시계열 적용, 그리고 초고차원 환경을 위한 가속화된 변형 개발 등을 꼽았습니다.