기술적 요약: 트윈 네트워크에서의 드롭아웃 분산 국소화

문제 제기

심층 트윈 네트워크 모델 (예: TARNet, DragonNet) 은 관측 데이터로부터 개별 치료 효과 (ITE) 를 추정하는 표준 도구입니다. 몬테카를로 (MC) 드롭아웃과 딥 앙상블은 불확실성 추정을 제공할 수 있지만, 이러한 추정치는 일반적으로 **단일화 (monolithic)**되어 있습니다. 즉, 모델 실패의 원인을 구분하지 못하는 단일 분산 점수입니다. 실무자들은 높은 불확실성이 다음 중 어디에서 기인하는지 판단할 수 없습니다.

1. 인코더 수준의 문제: 공변량 공간의 불충분한 커버리지 (외삽), 이는 더 다양한 공변량 데이터가 필요함을 시사합니다.
2. 헤드 수준의 문제: 잘 커버된 영역에서의 노이즈가 많은 결과 매핑, 이는 더 많은 결과 관측치나 헤드의 용량 증가가 필요함을 시사합니다.

이러한 구분이 없으면 불확실성 점수는 수정 조치에 대한 지침을 제공하지 못합니다. 본 논문은 구조화되고 해석 가능한 불확실성 정량화가 결여된 심층 인과 모델의 문제를 해결하기 위해, 아키텍처 모듈별로 불확실성을 분해하는 방법을 제안합니다.

방법론

저자들은 자연스러운 모듈식 구조 (공유 인코더 $\Phi$ 뒤를 이은 별도의 결과 헤드 $f_0, f_1$) 와 전체 분산의 법칙을 활용하여 트윈 네트워크 모델을 위한 계층별 분산 분해를 제안합니다.

1. 분산 분해

트윈 네트워크 출력 $\hat{Y}_t(x)$에 대해, 총 예측 분산은 두 가지 구성 요소로 분해됩니다.
$$\text{Var}(\hat{Y}_t(x)) = \underbrace{\text{Var}_{\theta_e}(\mathbb{E}_{\theta_t}[\hat{Y}_t(x) \mid \theta_e])}_{\sigma^2_{\text{enc}}} + \underbrace{\mathbb{E}_{\theta_e}[\text{Var}_{\theta_t}(\hat{Y}_t(x) \mid \theta_e)]}_{\sigma^2_{\text{head}}}$$

• $\sigma^2_{\text{enc}}$ (인코더 구성 요소): 헤드를 결정론적으로 유지한 상태에서 공유 인코더의 드롭아웃 마스크로 인한 분산을 측정합니다.
• $\sigma^2_{\text{head}}$ (헤드 구성 요소): 고정된 인코더 실현을 조건으로 결과 헤드의 드롭아웃 마스크로 인한 평균 분산을 측정합니다.

2. 실용적 추정

계산 비용이 많이 드는 중첩 몬테카를로 절차 없이 이러한 구성 요소를 추정하기 위해, 저자들은 제어된 드롭아웃 근사를 사용합니다.

• 인코더 전용 모드: 인코더에서 드롭아웃 활성화; 헤드는 결정론적.
• 헤드 전용 모드: 헤드에서 드롭아웃 활성화; 인코더는 결정론적.
• 전체 모드: 모든 곳에서 드롭아웃 활성화 (표준 MC 드롭아웃).

추론 시 총 비용은 MC 샘플 수 $N$에 대해 $3N$번의 순전파이며, 표준 MC 드롭아웃의 $N$번과 비교됩니다. 저자들은 $\hat{\sigma}^2_{\text{enc}} + \hat{\sigma}^2_{\text{head}} \approx \sigma^2_{\text{tot}}$가 높은 충실도 ($R^2 > 0.99$) 로 실험적으로 검증됨을 확인했습니다.

주요 기여

1. 아키텍처 국소화: 불확실성 신호를 인코더 및 헤드 구성 요소로 분리하여 특정 실패 모드의 진단을 제공하는 단순하고 아키텍처를 인지하는 분해.
2. 진단 워크플로우: 제안된 2 단계 워크플로우:
   • $\sigma^2_{\text{enc}}$를 사용하여 잠재적인 분포 외 (OOD) 포인트나 외삽 위험을 플래그합니다.
   • $\sigma^2_{\text{head}}$를 사용하여 인코더 불확실성이 낮은 분포 내 포인트 간의 불확실성을 순위 매깁니다.
3. 실증적 검증: 합성 공변량 이동 체계와 실제 쌍둥이 코호트 전반에 걸쳐 이 분해가 실행 가능한 통찰력을 제공함을 입증.

실험 결과

이 방법은 공변량 이동 정도가 다양한 세 가지 합성 데이터 생성기 (v1~v3) 와 유도된 다변량 샘플링 편향을 가진 실제 동성 쌍둥이 코호트에서 평가되었습니다.

1. 합성 데이터 발견

• 이동 하에서의 인코더 분산 우세: 강한 이동 체계 (v1, v2) 에서 인코더 구성 요소 ($\sigma^2_{\text{enc}}$) 는 ITE 오차의 지배적 예측 변수 ($\rho_{\text{enc}} \approx 0.53$) 로 작용하여 총 분산 ($\rho_{\text{tot}} \approx 0.45$) 보다 성능이 뛰어났습니다. 이러한 체계에서 헤드 구성 요소는 거의 0 이거나 음수였습니다.
• 헤드 분산의 조건적 정보성: 헤드 구성 요소 ($\sigma^2_{\text{head}}$) 는 고인코더 분산 포인트가 필터링된 후에만 강력한 오차 예측 변수 ($\rho_{\text{head}} > 0.5$) 가 됩니다. 이는 분포 내 영역 내에서 불확실성을 순위 매기는 데 유용함을 확인시켜 줍니다.
• 앙상블과의 비교: 딥 앙상블은 강한 이동 하에서 MC 드롭아웃보다 성능이 뛰어났는데 (아마도 진정한 모델 불일치 때문일 것임), 하지만 약한 이동 하에서는 거의 0 에 가까운 상관관계로 무너졌습니다. MC 드롭아웃은 모든 체계에서 중간 정도의 신호를 유지했습니다.

2. 실제 쌍둥이 코호트

• OOD 감지: 유도된 편향이 있는 쌍둥이 데이터셋에서 $\sigma^2_{\text{enc}}$는 OOD 샘플에서 크게 급증했습니다 ($\Delta \sigma^2_{\text{enc}} \approx 0.004$), 반면 $\sigma^2_{\text{head}}$는 평평하게 유지되었습니다.
• 오차 예측: 유도된 편향 하에서 $\sigma^2_{\text{enc}}$는 주요 오차 예측 변수가 되었습니다 ($\rho_{\text{enc}} \approx 0.89$).
• OOD 감지의 한계: 저자들은 명시적으로 이 분해가 신뢰할 수 있는 이진 OOD 감지기 (ROC-AUC 값이 우연 수준인 0.54~0.62 에 가까움) 가 아님을 지적합니다. 이 방법의 가치는 분류가 아닌 오차 예측 및 진단적 국소화에 있습니다.

중요성 및 주장

이 논문은 해결된 문제가 아닌 진단 도구에 대한 개념 증명으로 이 작업을 위치시킵니다. 주요 중요성은 실행 가능성에 있습니다.

• 실용적 지침: 분산을 국소화함으로써, 이 방법은 실무자에게 더 다양한 공변량을 수집해야 하는지 ($\sigma^2_{\text{enc}}$가 높은 경우), 아니면 더 많은 결과 데이터가 필요한지 ($\sigma^2_{\text{head}}$가 높은 경우) 알려줍니다.
• 비용 효율성: 이 분해는 표준 MC 드롭아웃에 비해 계산 비용을 거의 추가하지 않습니다.
• 겸손함: 저자들은 저차원 합성 생성기의 사용, 실제 데이터에서의 인위적으로 유도된 이동, 그리고 MC 드롭아웃을 거친 사후 근사에 대한 의존성 등 한계를 인정합니다. 그들은 관찰된 상관관계가 합성 데이터에서는 중간 정도이고 저노이즈 쌍둥이 데이터셋에서는 더 강하며, 궁극적인 목표는 단순히 더 나은 불확실성 설명이 아니라 더 나은 데이터 수집 및 모델 업데이트 결정을 이끌어내는 분해를 입증하는 것이라고 강조합니다.