Retrospective Orthogonal Design: Response-Surface Reconstruction from Observational Data

기술 요약: 회고적 직교 설계 (Retrospective Orthogonal Design, ROD)

문제 정의
관측 연구에서 회귀 계수 추정치와 분산 분해는 예측 변수 간의 다중공선성으로 인해 불안정한 경우가 많다. $X^\top X$가 대각 행렬인 균형 실험 설계와 달리, 관측 데이터는 비대각 그람 행렬(Gram matrix)을 생성하며, 이로 인해 계수 추정치, 고유 분산 귀속(unique variance attribution), 그리고 순차적 제곱합(SS)이 모델 설정 및 항 삽입 순서에 크게 의존하게 된다. 주성분 회귀(PCR)나 직교 다항 대비(orthogonal polynomial contrasts)와 같은 기존의 해결책은 원래 변수 공간에서의 해석력을 희생하거나 예측 변수 간의 의존성을 해결하지 못하는 경우가 많다. 비모수적 방법(예: 회귀 트리, 스플라인)은 엄밀한 경험적 직교성을 결여하고 있어, 전역적인 귀속(global attribution)이 분할이나 평활화 선택에 의존하게 만든다. 저자들은 기존 방법들이 관측된 데이터 구조를 보존하면서도 설정 불변적인 귀속을 제공하는, 해석 가능한 직교 응답 표면(response surface)을 재구성하는 데 실패하고 있다고 주장한다.

방법론: 회고적 직교 설계 (ROD)
ROD는 관측 데이터의 분석을 확률적으로 균형 잡힌 격자(probability-balanced lattice) 상의 표면 재구성 문제로 재정의한다. 워크플로우는 다음 8단계로 구성된다:

1. 예측 변수 분할: 예측 변수를 "격자 예측 변수"(격자 구축용)와 "블록 예측 변수"(표준 코딩 처리용)로 나눈다.
2. 확률 척도 재매핑: 격자 예측 변수를 확률 척도($r_j = F_j(x_j)$)로 변환한 후, 특정 분포을 가정하지 않고도 주변 점유율을 균형 있게 맞추고 희소한 꼬리 부분을 줄이기 위해 참조 척도($z_j = 2a r_j - a$)로 변환한다.
3. 격자 해상도 선택: 교차 검증을 통해 순위 허용 가능한 후보들 중에서 격자 해상도 $L$을 선택한다. 격자는 $L^k$개의 셀을 생성한다.
4. 셀 할당 및 정규화: 관측치를 격자 셀에 할당한다. 각 셀이 동일한 목표 총 가중치를 갖도록 가중치를 정규화하여, 균형 잡힌 곱 참조 측도(balanced product reference measure)를 확립한다.
5. 셀 식별: 점유된 셀은 가중치가 적용된 관찰 평균을 유지한다. 비어 있는(지원되지 않는) 셀은 완성을 위해 식별된다.
6. 격자 완성: 빈 셀은 점유된 셀의 평균을 보존하면서 선택된 규칙(예: 전역 주효과 WLS 또는 국소 역거리 가중치)을 사용하여 채워진다.
7. 재구성 및 평가: 완성된 격자 상에 직교 대비 행렬 $X_L$을 구축한다. 계수는 $\hat{\beta}_L = c_L^{-1} X_L^\top W_L \tilde{y}_L$로 추정되며, 이때 $X_L^\top W_L X_L = c_L I$를 만족한다. 표면은 프루덴탈 폴리헤드라(Freudenthal polyhedra) 상의 조각별 아핀 보간(piecewise-affine interpolation)을 통해 평가되며, 이는 격자 정점에서의 연속성과 정확성을 보장한다.
8. 교정 및 투영: 특정 구조적 기저(예: 특정 다항식 형태)가 선언된 경우, 재구성된 표면을 해당 기저로 투영한다. 예측 변수의 기하학적 구조와 재구성 파이프라인으로부터 유도된 "응답 자유(response-free)" 교정 행렬은 유한 해상도 회복 손실을 보정하여, 고유의 직교 표면을 선언된 과학적 기저로 매핑한다.

이론적 특성
본 논문은 허용 가능한 격자에 대해 가중 그람 행렬이 $X^\top W X = cI$를 만족함을 입증한다. 이는 다음을 의미한다:

• 대수적 직교성: 선언된 참조 측도 하에서의 엄밀한 직교성.
• 설정 불변성: 직교 항의 포함 여부에 관계없이 대비 효과와 계수가 불변함.
• 순서 독립적 제곱합(SS): 잔류 대비 공간 내에서 제1종, 제2종, 제3종 제곱합이 일치하여, 항 삽입 순서에 대한 의존성을 제거함.
• 이중 정체성: 이 방법은 직교 대비 시스템인 동시에 재구성된 응답 표면으로서 기능함.

주요 결과
저자들은 9가지 데이터 생성 프로세스(DGP)를 아우르는 6,480개의 시뮬레이션 조건(표본 크기, 예측 변수 차원, 상관 수준 변화 포함)에서 ROD를 평가하였다.

• 예측 성능: ROD는 9개 중 5개의 프로세스에서 다항 회귀(POLY)와 대등하거나 이를 능가했다. 특히 임계값(thresholds), XOR 형태의 부호 상호작용, 국소적 돌출부(localized bumps)가 있는 표면에서 탁월한 성능을 보였으며, POLY 대비 평균 $\Delta R^2$가 각각 0.22, 0.32, 0.09만큼 높았다. 선형 및 이차 상호작용 프로세스의 경우, ROD는 POLY와 실질적으로 구분이 불가능했다(평균 $\Delta R^2 \approx 0.0001$). 그러나 더 매끄럽거나 분포가 복잡한 프로세스(예: 지수 성장, 허들 모델)에서는 POLY보다 낮은 성능을 보였다.
• 계수 회복: 사전 지정된 구조적 기저로 교정된 ROD 투영은 거의 제로에 가까운 편향과 안정적인 분산을 보였으며, 파라미터 편향이 차원 증가에 따라 커지는 고차원 설정에서 파라미터 모델보다 우수한 성능을 보였다.
• 실증적 적용: 가중 민서(Mincer) 임금 방정식 분석(CPS 데이터)에서, ROD는 가장 높은 표본 외 $R^2$ 추정치(0.1824)를 달성하였으며, 이는 POLY(0.1799)와 매우 근접했다. 결정적으로, ROD는 OLS와 POLY가 각각 6개 및 120개의 가능한 항 삽입 순서에 따라 크게 달라지는 것과 달리, 단일하고 포괄적이며 순서에 불변하는 제곱합 할당을 제공했다.

의의 및 주장
저자들은 ROD의 주요 기여가 보편적인 예측 우위보다는 해석적 안정성에 있다고 주장한다. 균형 잡힌 참조 표면을 사전에 구축함으로써, ROD는 귀속(attribution)을 모델링 선택이나 항 순서의 결과가 아닌, 재구성의 재현 가능한 속성으로 만든다.

• 귀속: ROD는 변수의 상관관계가 존재하는 상황에서 변동에 대한 안정적이고 비교 가능하며 추적 가능한 설명을 필요로 할 때, 변수를 중복되지 않는 고유한 몫으로 분해할 수 있게 한다.
• 투명성: 이 방법은 불완전한 지원(incomplete support)을 명시적인 완성 규칙을 통해 처리함으로써, 관측되지 않은 영역에 대한 가정을 가시화하고 감사 가능하게 만든다.
• 한계: 저자들은 ROD가 표상적(representational)이지 인과적(causal)이지 않다는 점을 강조한다. 즉, 능력 편향(ability bias)과 같은 식별 문제를 해결하지 않는다. ROD의 직교성은 선언된 참조 측도와 선택된 완성 규칙에 조건부적이다. 이 방법은 예측이 유일한 목적이거나 저차원 파라미터 모델로 충분한 경우보다는, 비선형성과 다중공선성이 존재하는 상황에서 변동에 대한 안정적이고 비교 가능하며 추적 가능한 설명을 요구할 때 가장 가치 있다.

저자들은 재구성, 검증 및 교정 절차를 용이하게 하기 위해 운영 가능한 Python 구현체(ROD 0.4)를 제공한다.