Linear Models, Variable Selection, Artificial Intelligence

다음은 Alrawkan 외가 저술한 논문 "선형 모델, 변수 선택, 인공지능"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

선형 회귀 분석에서의 변수 선택은 통계학의 근본적인 과제이며, 특히 "활성" (유의미한) 예측 변수와 "비활성" (노이즈) 예측 변수를 구별할 때 중요한 문제입니다. 전통적인 방법들은 여러 가지 한계를 안고 있습니다:

• 단계적 방법 (전진/후진/단계적): 이러한 방법들은 순차적 가설 검정에 의존하므로, 공선성, 변수 진입 순서, 그리고 p-값의 불안정성에 민감합니다. 또한, 약간만 변형된 데이터셋에 대해서도 서로 다른 모델을 산출하는 경향이 있습니다.
• 정보 기준 (AIC/BIC): 복잡성에 대한 패널티를 부과하지만, 방대한 수의 후보 모델 ($2^p$) 을 평가해야 하며, 명시적인 모델링 없이는 비선형 구조나 다중공선성을 본질적으로 처리하지 못합니다.
• 페널티 회귀 (LASSO/Elastic Net): 이러한 방법들은 계수를 0 으로 수축시키지만, 하이퍼파라미터 ($\lambda$) 의 신중한 튜닝이 필요하며, 예측 변수들이 높은 상관관계를 가질 때 변수 선택에서 일관성이 부족할 수 있습니다.
• 핵심 쟁점: 전통적인 임계값 기반 규칙 (예: $|t| > 2$인 변수 선택) 은 종종 실패합니다. 특히 고노이즈 또는 소표본 시나리오에서 활성 및 비활성 예측 변수에 대한 $t$-통계량의 분포가 중첩되는 경우가 크기 때문입니다.

2. 방법론

저자들은 변수 선택을 이진 분류 문제로 재정의하여 **인공 신경망 (ANN)**을 사용하는 것을 제안합니다. 새로운 분석적 규칙을 유도하는 대신, 이 방법은 시뮬레이션된 데이터로부터 활성 및 비활성 변수 간의 결정 경계를 학습합니다.

A. 데이터 생성 및 훈련 전략

핵심 혁신은 합성 데이터 기반 접근법을 사용하는 것입니다:

1. 시뮬레이션: 표본 크기 ($n$), 오차 분산 ($\sigma^2$), 예측 변수 수 ($p$) 를 다양하게 하여 수천 개의 선형 회귀 데이터셋을 생성합니다.
2. 그라운드 트루스: 각 데이터셋에 대해 사전에(true binary indicator vector, $\Gamma$) 실제 이진 지표 벡터를 정의하여 어떤 변수가 활성 ($\beta \neq 0$) 이고 어떤 변수가 비활성 ($\beta = 0$) 인지를 명시합니다.
3. 특징 추출: 각 시뮬레이션된 데이터셋에 대해 (표준화된 데이터에서 절편 없이) 일반 최소제곱법 (OLS) 회귀를 적합시킵니다. ANN 의 입력 특징은 각 계수에 대한 결과 $t$-통계량입니다: $T = \{t_{\hat{\beta}_1}, t_{\hat{\beta}_2}, \dots, t_{\hat{\beta}_p}\}$.
4. 목표: 출력은 이진 벡터 $\Gamma$(활성은 1, 비활성은 0) 입니다.
5. 훈련: 역전파를 통해 ANN(Keras/TensorFlow 사용) 을 훈련시켜 $t$-통계량 벡터를 실제 포함 지표에 매핑합니다. 네트워크는 다양한 노이즈 및 표본 크기 조건에서 $t$-값과 변수 유의성 간의 복잡하고 비선형적인 관계를 학습합니다.

B. 패딩을 통한 확장성

변동하는 예측 변수 수를 재훈련 없이 처리하기 위해 저자들은 패딩 메커니즘을 사용합니다:

• ANN 은 고정된 100 개의 예측 변수 입력 크기를 받도록 설계됩니다.
• 데이터셋의 예측 변수 수 $p$가 100 미만인 경우, $t$-값 벡터가 길이가 100 이 되도록 0 으로 패딩됩니다.
• 출력 역시 100 길이의 이진 벡터이며, 첫 $p$개 항목은 실제 변수에 해당하고 나머지는 무시됩니다.
• 이를 통해 단일 사전 훈련된 모델이 최대 100 개의 예측 변수를 가진 모든 데이터셋을 처리할 수 있습니다.

3. 주요 기여

1. AI 기반 변수 선택: ANN 을 범용 선택기로 활용하여 OLS $t$-통계량을 기반으로 신호와 노이즈를 구별하도록 학습시키는 새로운 프레임워크를 도입했습니다. 이는 단계적 휴리스틱이나 수동 튜닝의 필요성을 우회합니다.
2. 중첩에 대한 강건성: 활성 및 비활성 $t$-분포가 중첩되는 다양한 시나리오에서 훈련함으로써, ANN 은 고정된 임계값보다 유연한 결정 규칙을 개발합니다.
3. 확장성: 패딩 기법은 단일 모델이 최대 100 개까지의 변동하는 예측 변수 수를 처리할 수 있게 하여, 고정 아키텍처 신경망의 일반적인 한계를 해결합니다.
4. 오픈 소스: 저자들은 사전 훈련된 ANN 모델, 시뮬레이션 코드, 그리고 검증을 위해 사용된 WHO 데이터셋을 제공합니다.

4. 결과

A. 시뮬레이션 연구 (성능 지표)

이 방법은 표본 크기 ($n=50, 250, 1000$) 와 분산 ($\sigma^2 = 0.01, 0.1, 0.5$) 을 달리하여 LASSO, 전진 선택, 후진 제거, AIC, BIC 와 비교되었습니다.

• 거짓 양성 (FP): ANN 은 매우 낮은 거짓 양성률(높은 올바른 음성률) 을 보여주었습니다. 예를 들어, $n=50, \sigma^2=0.5$에서 ANN 의 FP 비율은 0.011 이었던 반면, LASSO 는 0.882 였습니다.
• 참 양성 (TP): ANN 은 고노이즈, 소표본 시나리오에서 LASSO 에 비해 참 양성률 (올바른 양성) 이 낮게 나타났습니다. 예를 들어, $n=50, \sigma^2=0.5$에서 ANN 의 CP 는 0.391 이었던 반면, LASSO 는 0.949 였습니다.
• 트레이드오프: ANN 은 보수적입니다. 모든 약한 신호를 포착하는 것 (2 종 오류) 보다 잘못된 포함 (1 종 오류) 을 피하는 것을 우선시합니다. 표본 크기가 증가함에 따라 방법 간 성능 격차는 줄어듭니다.
• 계산 효율성:
  • LASSO: 가장 빠름 (< 0.001 초).
  • ANN: 매우 빠름 (0.067 초), 포괄적인 모델 탐색이 필요한 AIC/BIC (1.0 초) 보다 훨씬 빠름.
  • 단계적: 중간 속도.

B. 실세계 적용 (WHO 데이터셋)

이 방법은 세계보건기구 (WHO) 데이터 (141 개 국가, 2000 년 및 2015 년) 에 적용되어 기대 수명을 예측했습니다.

• 일관성: ANN 은 다른 방법들에 비해 더 작고 간결한 변수 하위 집합을 선택했습니다.
  • 2000 년 데이터: ANN 은 HIV/AIDS와 ICR만 선택했습니다. LASSO 는 거의 모든 변수를 선택했고, 단계적 방법은 5 개를 선택했습니다.
  • 2015 년 데이터: ANN 은 성인 사망률, HIV/AIDS, 1-19 세 마른 체형, ICR을 선택했습니다.
• 해석: ANN 의 보수적인 선택은 다중공선성이 존재할 때 강력한 예측력을 갖추지 못하지만 단계적 검정에서는 통계적으로 유의미할 수 있는 변수들을 필터링한다는 것을 시사합니다.

5. 의의 및 결론

• 보조 도구: 이 접근법은 전통적인 통계를 대체하는 것이 아니라, 전통적인 방법이 불안정하거나 상충되는 결과를 산출하는 상황에서 강력한 데이터 기반 대안을 제공합니다.
• 안정성: ANN 은 단계적 회귀에 비해 변수의 특정 순서나 사소한 데이터 변형에 덜 민감한 안정적인 선택 규칙을 제공합니다.
• 향후 방향: 저자들은 이 프레임워크를 결측 데이터, 범주형 변수, 비선형 회귀, 시계열 모델 처리로 확장할 것을 제안합니다. 또한 고차원 사례 ($n < p$) 를 위한 어텐션 메커니즘 탐색도 제안합니다.

요약하자면, 이 논문은 합성 선형 모델로 훈련된 ANN 이 변수 유의성의 "형태"를 효과적으로 학습할 수 있음을 보여주며, 복잡한 회귀 설정에서 거짓 양성을 최소화하는 빠르고 확장 가능하며 매우 보수적인 변수 선택 방법을 제공합니다.