Impact Range Assessment (IRA): An Interpretable Sensitivity Measure for Regression Modelling

기술 요약: 회귀 모델링을 위한 영향 범위 평가 (Impact Range Assessment, IRA)

문제 정의
회귀 모델은 예측 변수와 수치형 반응 변수 사이의 관계를 모델링하는 데 널리 사용되지만, 개별 예측 변수의 영향력을 해석하는 것은 여전히 어려운 과제입니다. 선형 회귀에서 계수는 척도 의존적이며, 표준화 후에는 원래의 단위 해석 능력을 상실합니다. 비선형 모델, 특히 머신러닝 알고리즘의 경우, 해석 가능한 파라미터의 부재로 인해 예측 변수의 영향력을 비교하기가 어렵습니다. 기존의 민감도 분석 방법들은 한계가 있습니다. 국소 미분 기반 접근 방식은 입력 공간의 제한된 영역 내에서의 효과만을 포착하며, 소볼(Sobol)이나 모리스(Morris)와 같은 전역 방법론은 계산 집약적이고 수학적으로 복잡한 경우가 많습니다. 또한, 산점도와 같은 시각적 검사 방법은 예측 변수의 중요도를 순위 매길 수 있는 정량적 지표가 부족합니다. 따라서 관찰된 전체 범위에 걸쳐 예측 변수의 영향을 정량화할 수 있는 직관적이고 효율적이며 모델 불가지론적인(model-agnostic) 방법이 필요합니다.

방법론: 영향 범위 평가 (IRA)
저자들은 연속형 수치 예측 변수가 회귀 모델의 반응 변수에 미치는 최대 영향을 정량화하기 위해 설계된 모델 불가지론적 민감도 척도인 영향 범위 평가(IRA)를 제안합니다. 이 방법은 다른 예측 변수들을 배경 관측치(background observations)를 기준으로 고정한 상태에서, 특정 예측 변수를 관찰된 데이터 범위 내에서 변화시킬 때 발생하는 반응 변수의 총 잠재적 변화량을 측정함으로써 작동합니다.

IRA 알고리즘은 다음의 5단계로 구성됩니다:

1. 선택 (Selection): 단일 예측 변수를 "대상 예측 변수(focus predictor)"로 선택합니다.
2. 보간 (Interpolation): 대상 예측 변수의 최솟값과 최댓값 사이에서 균등하게 간격을 둔 $M$개의 값을 생성합니다.
3. 배경 샘플링 (Background Sampling): 원래의 훈련 데이터셋에서 복원 추출을 통해 $K$개의 관측치를 무작위로 추출하여 배경 맥락(background contexts)으로 사용합니다.
4. 수정 (Modification): 각 배경 관측치에 대해, 대상 예측 변수를 $M$개의 보간된 값들로 교체하여 배경 샘플당 $M$개의 수정된 입력 세트를 생성합니다.
5. 계산 (Calculation): 모델은 모든 수정된 세트에 대해 반응 값을 예측합니다. 각 배경 관측치 $k$에 대해, 예측 출력의 범위($\max \hat{y}_i^k - \min \hat{y}_i^k$)를 계산합니다. 예측 변수 $i$에 대한 IRA 값은 모든 $K$개의 배경 관측치에 대한 이러한 범위들의 평균입니다:
   $$IRA_i = \frac{1}{K} \sum_{k=1}^{K} (\max \hat{y}_i^k - \min \hat{y}_i^k)$$

이 방법은 두 가지 실행 모드를 지원합니다:

• 단일 실행 (Single-execution): 예측 변수의 영향에 대한 점 추정치를 제공합니다.
• 반복 실행 (Repeated-execution): 서로 다른 무작위 배경 샘플을 사용하여 프로세스를 반복함으로써 IRA 값의 분포를 생성하고, 결과의 안정성과 불확실성을 평가하기 위해 95% 신뢰 구간(CI)을 계산할 수 있습니다.

주요 결과
이 방법은 합성 데이터셋(선형 및 비선형)과 사료 공장(feed mill) 데이터셋을 이용한 실제 사례 연구를 통해 평가되었습니다.

• 합성 선형 데이터: 선형 회귀 모델에 적용했을 때, 단일 실행 IRA는 유의미한 예측 변수와 무의-미한 노이즈 변수를 성공적으로 구분해 냈습니다. 유의미한 예측 변수($X_1, X_3, X_4, X_6, X_7$)는 무의미한 변수($X_2, X_5, X_8$)보다 현저히 높은 IRA 값을 나타냈습니다. 결과는 다양한 보간 지점(50–500) 및 배경 샘플 크기(50–500) 설정에서도 견고하고 동일하게 나타났으며, 이는 단순 선형 모델의 경우 반복 분석이 불필요함을 시사합니다.
• 합성 비선형 데이터: 랜덤 포레스트 회귀 모델에 적용했을 때, IRA는 역시 유의미한 예측 변수를 무의미한 변수보다 높은 값으로 정확히 식별했습니다. 연구 결과, 50개의 보간 지점을 사용하는 것은 비선형 관계에서 영향을 다소 과소평가하는 경경향이 있었으나, 100개 이상의 지점을 사용하면 안정적인 추정치를 제공했습니다. 마찬가지로, 배경 관측치를 50개에서 100개로 늘리면 안정성이 향상되었으나 100개를 초과하면 효과가 미미했습니다. 100개의 보간 지점과 200개의 배경 관측치 구성이 안정성과 계산 비용 사이의 균형을 맞추는 데 최적이라고 판단되었습니다. 반복 IRA 분석(50–90회 반복)은 순위의 안정성을 확인하였고 좁은 신뢰 구간을 제공했습니다.
• 사례 연구 (펠릿 내구성 지수): 사료 제조 데이터를 사용하여 펠릿 내구성 지수(PDI)를 예측하는 다중 선형 회귀 모델에서, IRA는 영향력에 따라 예측 변수의 순위를 매겼습니다. 결과는 "지방 함량(Fat Content)", "ADF 함량(ADF Content)", "실내 습도(Indoor Humidity)"가 가장 영향력 있는 요인임을 강조했습니다.
  • 기존 방법과의 비교: 저자들은 예측 변수를 평균으로부터 ±20%만큼 변화시키는 기존의 국소 민감도 분석(You 등)과 IRA를 대조했습니다. 국소 방법은 좁은 범위를 기준으로 "팽창 온도(Expanding Temperature)"를 가장 영향력 있는 변수로 식별했으나, 전체 관찰 범위(62.5°C ~ 111.7°C)를 고려한 IRA는 "누적 생산량(Cumulative Production)"이 더 넓은 수치적 범위를 가짐에도 불구하고, "지방 함량"이 더 큰 총 영향(PDI 약 5.5 단위 변화)을 가진다는 것을 밝혀냈습니다(누적 생산량은 약 1.6 단위 변화). 이는 전역적 요약 지표를 제공하는 IRA의 능력을 입증했습니다.

의의 및 주장
본 논문은 IRA가 예측 변수의 영향을 해석하고 순위를 매기는 단순하고 직관적인 접근 방식을 제공하여 모델의 투명성과 신뢰성을 높인다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 해석 가능성: 예측 변수의 변화에 따른 반응 변수의 최대 가능한 변화량을 나타내는 단일하고 해석 가능한 값을 제공하며, 이는 기술적 사용자뿐만 아니라 비기술적 사용자에게도 접근 가능합니다.
2. 모델 불가지론: 이 방법은 변환된 변수나 서로 다른 척도를 가진 예측 변수를 포함하여 선형 및 비선형 모델 모두에 적용 가능합니다.
3. 상호작작용 포착: 배경 관측치를 활용함으로써, IRA는 예측 변수를 독립적으로 변화시키는 방식과 달리, 실제적인 예측 변수 조합에 기반한 상호작용 효과를 부분적으로 포착합니다.
4. 견고성: 반복 분석을 통해 결과의 안정성을 평가하고 신뢰 구간을 생성할 수 있어, 무작위 샘플링에 내재된 불확실성을 해결합니다.

한로점
저자들은 다음과 같은 몇 가지 제약 사항을 인정합니다:

• IRA는 적절한 변형 없이는 이산형 수치 또는 범주형 예측 변수에 적합하지 않습니다.
• 출력의 확률적 특성 때문에 로지스틱 회귀에 적용하기 어렵습니다.
• IRA 값은 데이터셋에 의존적이며, 예측 변수의 범위가 다른 서로 다른 데이터셋 간에는 비교할 수 없습니다.
• 결과는 극단값에 민-감할 수 있습니다. 저자들은 이상치가 있는 경우 분석 범위를 제한(예: 25~75 백분위수)할 것을 권장합니다.
• 모델에 따라 파라미터 튜닝(보간 지점 수 및 배경 샘플 수)이 필요할 수 있습니다.