The Triply-Randomized Negative Binomial Beta for Robust Regression and Conjugate Models of Bounded Support Data

기술 요약: 삼중 무작위화 음이항 베타(The Triply-Randomized Negative Binomial Beta)

문제 제기
베타 분포는 $[0, 1]$ 범위의 지지(support)를 가진 반응을 다루는 회귀 문제에서 표준적인 가능도(likelihood)로 사용된다. 그러나 이 분포는 세 가지 결정적인 한계를 지닌다: (1) 이상치(outlier)에 대한 민감성, (2) 정확한 0 또는 1의 관측치를 수용할 수 없는 능력(표준 베타 밀도는 경계에서 0임), (3) 닫힌 형태의 공액 사전 분포(closed-form conjugate priors)가 결여되어 있어, 특히 계층적 또는 구조적 모델에서 궤적 가능한 사후 추론을 어렵게 만든다는 점이다. 가우시안 가능도와 같이 비제한적 지지(unbounded support)를 갖거나 데이터 변환을 사용하는 기존의 대안들은 경계 동작을 포착하지 못하거나 해석 불가능한 파라미터를 생성하는 경우가 많다. 또한, 경계 동작을 처리할 수 있는 다른 유계 지지 분포들은 닫힌 형태의 밀도나 공액 구조가 결여되어 있어 추론 비용이 매우 높다.

방법론
저자들은 이러한 단점들을 해결하기 위해 삼중 무작위화 음이항 베타(TNBbeta) 분포, 즉 $TNBbeta(p, q, \varepsilon)$를 제안한다. 이 분포는 세 개의 종속적인 음이항(NB) 보조 변수를 사용하여 표준 베타 분포의 형상 파라미터(shape parameters)를 무작위화함으로써 구축된다:

1. $C \sim NB(\varepsilon, 1-q)$
2. $A | C=c \sim NB(\varepsilon+c, 1-p)$
3. $B | C=c \sim NB(\varepsilon+c, p)$
4. $Y | A, B, C \sim Beta(\varepsilon+C+A, \varepsilon+C+B)$

$Y$의 주변 분포(marginal distribution)는 다음 파라미터들로 매개변수화된 닫힌 형태의 밀도를 제공한다:

• $p$ (중앙값, Median): 중심 경향성을 제어한다.
• $q$ (집중도, Concentration): 중앙값 주변의 분산을 제어한다.
• $\varepsilon$ (경계 파라미터, Boundary Parameter): 경계 $0$과$1$에서의 거동을 결정한다.$\varepsilon=1$일 때, 이 분포는 경계에서 양의 밀도를 허용하여 정확한 0 또는 1의 관측치를 수용할 수 있다.$\varepsilon < 1$일 때, 분포는 경계에 모드를 갖는 삼봉형(tri-modal) 거동을 보일 수 있다.

주요 기여

1. 분포 정의: 본 논문은 TNBbeta를 정의하고, 파라미터 $p$와 $q$가 피셔 직교성(Fisher orthogonal)을 가짐을 증명하여 중앙값과 집중도에 대한 독립적인 추론을 가능하게 한다. 표준 베타와 달리, 중앙값은 형상 파라미터의 함수가 아닌 직접적인 파라미터이다.
2. 역 공액성(Reverse Conjugacy): 핵심적인 이론적 기여는 "역 공의성"의 입증이다. 데이터 $Y$가 주어졌을 때 보조 변수 $A, B, C$의 완전 조건부 분포(complete conditional distributions) 역시 음이항 분포를 따른다. 이러한 성질은 매우 드문데, 이는 음이항 분포가 베타 형태의 가능도에 대한 공액 사전 분포가 될 수 있음을 확립하기 때문이다.
3. 데이터 증강 프레임워크: 저자들은 TNBbeta 회귀 모델을 위한 조건부 공액 깁스 샘플러(conditionally conjugate Gibbs sampler)를 개발하였다. 이 프레임워크는 다음을 결합한다:
   • 혼합 구조를 처리하기 위한 음이항 보조 변수 활용.
   • $p$와 $q$의 로짓 링크 함수를 처리하기 위해 Libby-Novick 베타(TNBbeta의 특수 사례)에 적응된 새로운 폴리아-감마 증강(Pólya-gamma augmentation) 기법.
   • 이 방식은 가우시안 사전 분포를 사용할 때 회귀 계수($\beta_p, \beta_q$)에 대한 닫힌 형태의 가우시안 업데이트를 허용하여, 계층적, 공간적, 시계열 모델에서 효율적인 추론을 용이하게 한다.
4. 경계 처리: $\varepsilon=1$일 때 특정 보조 변수 구성을 도입함으로써, 임의의 데이터 변환 없이도 정확한 경계 관측치($y=0, y=1$)를 명시적으로 처리한다.

실험 결과
저자들은 합성 데이터 및 실제 데이터셋을 통해 TNBbeta 회귀를 표준 베타 회귀, 연속 이항(cobin), 그리고 연속 이항 혼합(micobin) 모델과 비교 평가하였다:

• 노이즈에 대한 강건성: 이상치가 주입된 합성 실험에서, TNBbeta 모델은 표준 베타 및 cobin 모델보다 현저히 높은 강건성을 보였다. 표준 베타와 cobin 모델은 이상치에 맞춰 사후 예측을 이동시킨 반면, TNBbeta 모델은 경계 모드가 극단적인 값을 흡수함으로써 실제 중앙값 근처에서 안정적인 예측을 유지했다.
• 예측 성능: 산림 캐노피 피복, 자전거 공유, 신용 데이터 등을 포함한 실제 데이터셋에서, TNBbeta 모델은 이상치나 복잡한 구조가 존재하는 상황에서 베타 회귀보다 더 낮은 정보율(정보 손실률, 즉 더 나은 홀드아웃 예측 성능)을 자주 달로 달성했다.
• 계산 효율성: TNBbeta의 깁스 샘플러는 데이터 증강 기반 대안들(cobin/micobin)보다 일관되게 더 높은 초당 유효 샘플 수(ESS/sec)를 생성했다. 단순한 데이터셋에서는 표준 베타 회귀를 위한 HMC가 더 빠를 때도 있었으나, 상관관계가 있는 예측 변수가 있을 경우 HMC의 효율성은 크게 저하된 반면, TNBbeta 깁스 샘플러는 안정성을 유지했다.
• 공간 모델링: ICAR 사전 분포를 사용한 산림 캐노피 피복 사례 연구에서, TNBbeta 프레임워크는 빠른 수렴(2분 미만)과 함께 공간 모델의 모듈형 구축을 가능하게 했다. 반면, HMC를 통한 공간 베타 회귀는 막대한 계산 비용(최대 60분)을 발생시켰으며, micobin 공간 모델은 닫힌 형태의 밀도가 없어 가능도 평가를 위해 추가 시간이 필요했다.

의의
본 논문은 TNBbeta가 효율적으로 적합될 수 있는 $[0, 1]$ 유계 지지 데이터를 위한 베이지안 모델의 범주를 실질적으로 확장한다고 주장한다. 닫힌 형태의 중앙값 매개변수화된 가능도와 조건부 공액 성질을 제공함으로써, 이 연구는 이전에는 계산적으로 불가능했거나 근사가 필요했던 복잡한 사전 구조(공간, 시계열, 계층적 구조)를 사용할 수 있게 한다. 이 프레임워크는 로짓 링크된 회귀 계수를 통한 해석력을 유지하면서도, 이상치나 정확한 경계 값을 포함하는 데이터에 대해 표준 베타 회귀의 강력한 대안을 제시한다.