Inference conditional on selection: a review

이 논문은 데이터에 의존하여 통계적 질문이 결정되는 선택적 추론 (selective inference) 의 필요성을 설명하고, '승자' 추론, 회귀 트리, 클러스터링 등 세 가지 주요 사례를 통해 조건부 보장을 제공하는 다양한 방법론을 검토하고 시뮬레이션 및 단일 세포 RNA 시퀀싱 데이터 적용을 통해 그 유효성을 입증합니다.

핵심

데이터로 만든 질문, 데이터로 답할 수 있을까?

"선택적 추론 (Selective Inference)"에 대한 쉬운 설명

이 논문은 현대 과학 연구에서 흔히 발생하는 **'이중 사용 (Double Dipping)'**이라는 문제를 해결하는 방법을 소개합니다. 쉽게 말해, **"데이터를 보다가 흥미로운 패턴을 발견하고, 그 패턴을 증명하기 위해 다시 같은 데이터를 사용하는 것"**이 왜 위험한지, 그리고 어떻게 올바르게 해결할 수 있는지 설명합니다.

---

1. 문제 상황: "이중 사용"의 함정

상상해 보세요. 여러분이 100 명의 학생의 시험 점수를 분석하고 있습니다.

• 과거의 방식 (올바른 방법): "A 학급과 B 학급의 평균 점수를 비교해보자"라고 미리 계획을 세우고 데이터를 분석합니다.
• 현대의 방식 (문제 있는 방법): 데이터를 쭉 훑어보다가 "어? C 학급과 D 학급이 가장 점수 차이가 크네?"라고 발견합니다. 그리고는 **"C 와 D 학급의 점수 차이를 통계적으로 검증해볼까?"**라고 말합니다.

여기서 문제가 생깁니다. C 와 D 학급을 선택한 이유가 바로 그 데이터의 점수 차이 때문이죠. 그런데 그 같은 데이터로 다시 검증을 하면, 마치 주사위를 100 번 던져서 10 번 연속 '6'이 나왔을 때, "이 주사위는 정직하지 않아!"라고 결론 내리는 것과 같습니다. 사실은 우연일 확률이 높지만, 우리가 그 우연을 '특이한 사건'으로 골라냈기 때문에, 통계적 검증은 그 우연을 '진실'인 것처럼 과장해버립니다.

이걸 논문에서는 **"이중 사용 (Double Dipping)"**이라고 부릅니다. 마치 같은 요리 재료를 두 번 써서 요리한 뒤, "이 요리가 정말 맛있어!"라고 주장하는 것과 비슷합니다.

2. 세 가지 예시로 본 문제

논문은 이 문제가 실제로 어떻게 발생하는지 세 가지 예시로 보여줍니다.

1. 승자의 저주 (Winner's Curse):
   • 상황: 100 개의 새로운 약을 실험했습니다. 그중 가장 효과가 좋았던 '약 A'를 골라냅니다.
   • 문제: '약 A'가 가장 좋게 나온 건 진짜 효과가 좋아서가 아니라, 우연히 가장 좋은 결과가 나온 것일 수 있습니다. 그런데 그 '약 A'의 효과를 다시 같은 데이터로 계산하면, 실제 효과보다 훨씬 과장된 수치가 나옵니다. (가장 높은 점수를 받은 학생이 진짜로 천재인지, 아니면 운이 좋았는지 구분하지 못하는 상황)
2. 회귀 트리 (Regression Tree):
   • 상황: 환자 데이터를 분석해서 "이런 특징을 가진 환자들"이라는 그룹을 자동으로 찾아냅니다.
   • 문제: 그 그룹이 가진 평균 치료 효과를 계산할 때, 그룹 자체가 데이터에서 '찾아낸' 것이므로, 그 효과를 과장해서 보고하게 됩니다.
3. 클러스터링 (Clustering):
   • 상황: 세포 데이터를 분석해서 "유사한 세포들"끼리 무리를 짓습니다 (예: 암세포 vs 정상세포).
   • 문제: 이렇게 묶인 그룹들 사이의 차이를 검증할 때, 그룹을 묶은 기준이 바로 데이터이기 때문에, 그 차이를 실제보다 훨씬 확실한 것처럼 잘못 판단합니다.

3. 해결책: "조건부 추론" (Conditional Inference)

이 문제를 해결하기 위해 논문은 **'조건부 추론'**을 제안합니다.

비유로 설명하자면:

• 기존 방식: "이 주사위를 던져서 6 이 나왔으니, 이 주사위는 6 이 나올 확률이 100% 야!"라고 말합니다. (데이터 전체를 다 보고 결론 내림)
• 조건부 추론: "우리가 6 이 나올 것 같아서 이 주사위를 골랐다는 사실을 인정하고, 그 조건 (6 이 나올 것 같았음) 을 고려해서 다시 확률을 계산하자"라고 말합니다.

즉, **"데이터를 보고 무엇을 선택했는지 (Selection) 를 인정하고, 그 선택 과정을 통계 계산에 반영하자"**는 것입니다. 이렇게 하면, 우연히 발견된 패턴을 진실인 것처럼 착각하는 것을 막을 수 있습니다.

4. 해결 방법의 종류 (요리법 비교)

논문은 이 문제를 해결하는 여러 방법을 소개합니다. 마치 같은 요리를 하더라도 재료를 나누는 방식이 다르듯, 데이터를 어떻게 나누고 사용하는지에 따라 방법이 나뉩니다.

1. 샘플 분할 (Sample Splitting):

   • 방식: 데이터를 반으로 나눕니다. 절반은 '그룹 찾기 (선택)'에 쓰고, 나머지 절반은 '검증 (추론)'에 씁니다.
   • 장점: 매우 간단하고 확실합니다.
   • 단점: 데이터가 반으로 줄어듭니다. 마치 요리 재료를 반만 써서 맛을 보는 것과 같아, 결과가 덜 정확해질 수 있습니다.

2. 데이터 얇게 만들기 (Data Thinning):

   • 방식: 데이터를 반으로 자르는 게 아니라, 데이터의 '정보'를 반으로 쪼개서 사용합니다. (예: 소금기 있는 국물을 반으로 나누어 한쪽은 맛을 보고, 한쪽은 간을 맞춘다)
   • 장점: 데이터를 완전히 버리지 않고 효율적으로 사용합니다.
   • 단점: 특정 수학적 가정 (정규분포 등) 을 만족해야만 쓸 수 있습니다.

3. 완전 조건부 추론 (Full CSI):

   • 방식: 데이터를 다 쓰되, "우리가 이 그룹을 선택한 이유"를 수학적으로 완벽하게 계산에 포함시킵니다.
   • 장점: 데이터를 가장 많이 활용합니다.
   • 단점: 계산이 매우 복잡하고, 선택이 애매할 때는 결과가 너무 넓게 (무의미하게) 나올 수 있습니다.

4. 무작위화 조건부 추론 (Randomized CSI):

   • 방식: 데이터에 약간의 '노이즈 (소음)'를 섞어서 선택 과정을 부드럽게 만든 뒤, 그걸로 검증합니다.
   • 장점: 계산이 복잡하지 않으면서도 데이터를 잘 활용합니다.
   • 단점: 약간의 무작위성 (랜덤성) 을 도입해야 합니다.

5. 실제 적용: 세포 연구 (단일 세포 RNA 시퀀싱)

논문은 이 방법들을 실제 의학 데이터 (세포 연구) 에 적용해 보았습니다.

• 결과: 기존의 잘못된 방법 (이중 사용) 은 많은 가짜 발견 (False Discovery) 을 만들어냈습니다. 하지만 새로운 방법들 (데이터 얇게 만들기, 조건부 추론 등) 을 쓰면, 가짜 발견을 줄이면서도 진짜 중요한 세포 차이를 찾아낼 수 있었습니다.

6. 결론: 과학자들이 무엇을 알아야 할까?

이 논문의 핵심 메시지는 다음과 같습니다.

"데이터를 보고 질문을 만들었다면, 그 질문에 답할 때도 그 '질문 만들기 과정'을 고려해야 한다."

과학자들은 이제부터:

1. 데이터를 보다가 흥미로운 것을 발견하면, 그것을 '새로운 발견'이라고 바로 믿지 말아야 합니다.
2. 그 발견이 우연인지, 진짜인지 확인하기 위해 선택적 추론 (Selective Inference) 방법을 사용해야 합니다.
3. 데이터의 양과 계산의 복잡성 사이에서 균형을 잡는 방법을 선택해야 합니다.

이 논문은 과학 연구의 '신뢰성'을 높이기 위해, 우리가 데이터를 대하는 태도를 바꿔야 한다고 경고하고 있습니다. 마치 주사위를 던져서 6 이 나왔을 때, "이 주사위는 6 이 나오게 만들어졌어"라고 말하지 않고, "우리가 6 을 골랐으니, 그걸 고려해서 다시 계산해보자"라고 생각하는 것과 같습니다.

기술 요약

선택적 추론 (Selective Inference) 에 대한 조건부 추론: 리뷰 논문 요약

이 논문은 현대 과학적 워크플로우에서 데이터에 기반하여 모델, 가설, 매개변수가 선택되는 상황에서 발생하는 선택적 추론 (Selective Inference) 문제를 다루고 있습니다. 저자들은 전통적인 통계적 방법이 이러한 데이터 기반 선택을 고려하지 않을 때 신뢰구간의 명목상 커버리지 (nominal coverage) 나 제 1 종 오류 통제와 같은 보장을 제공하지 못한다고 지적하며, **조건부 보장 (conditional guarantees)**을 달성하는 다양한 방법론들을 검토하고 비교합니다.

1. 문제 제기 (Problem)

1.1 배경: 이중 사용 (Double Dipping) 의 문제

전통적인 통계학에서는 모델, 가설, 매개변수가 데이터 관찰 전에 사전에 정의됩니다. 그러나 현대 과학 (신경과학, 유전체학, 생태학 등) 에서는 데이터를 탐색하여 유망한 가설이나 매개변수를 선택한 후, 동일한 데이터로 이를 검증하는 이중 사용 (Double Dipping) 관행이 흔합니다.

• 결과: 이러한 데이터 기반 선택을 고려하지 않고 t-검정이나 Wald 구간과 같은 고전적 방법을 적용하면, 선택된 매개변수에 대한 신뢰구간의 실제 커버리지가 명목 수준 (예: 90%) 보다 현저히 낮아집니다. 이는 과학적 재현성 위기 (Replication Crisis) 의 원인 중 하나로 지목됩니다.

1.2 구체적인 사례 (Motivating Examples)

논문은 선택적 추론이 필요한 세 가지 주요 시나리오를 제시합니다:

1. 승자 (Winner) 에 대한 추론: 여러 후보 중 관측값이 가장 큰 '승자'의 평균 효과를 추정할 때 발생하는 승자의 저주 (Winner's Curse) 문제.
2. 회귀 트리 (Regression Tree) 영역에 대한 추론: CART 와 같은 알고리즘으로 데이터 공간을 분할한 후, 특정 영역 (Region) 의 평균을 추정할 때.
3. 클러스터링 후 추론: 단일 세포 RNA 시퀀싱 (scRNA-seq) 데이터에서 세포 유형을 클러스터링한 후, 추정된 클러스터 간 유전자 발현 차이를 검정할 때.

2. 방법론 및 핵심 개념 (Methodology)

2.1 무조건부 vs 조건부 커버리지

선택적 추론에서 요구되는 보장의 종류로 **무조건부 커버리지 (Unconditional Coverage)**와 **조건부 커버리지 (Conditional Coverage)**가 있습니다.

• 무조건부 커버리지: 모든 가능한 선택 시나리오를 평균낸 전체적인 커버리지입니다. 다중 검정 보정 (Bonferroni 등) 을 통해 달성할 수 있으나, 특정 선택이 발생했을 때의 신뢰도를 보장하지는 않습니다.
• 조건부 커버리지 (Selective Coverage): 특정 선택 사건 (Selection Event) 이 발생했다는 조건 하에서 매개변수가 신뢰구간에 포함될 확률을 보장합니다.
  • 저자의 주장: 과학적 관점에서는 조건부 커버리지가 더 중요합니다. 예를 들어, 잘못된 '승자'를 선택했을 때 (즉, 최적의 정책이 아닌 것을 선택했을 때), 고전적 방법은 과도한 확신을 가지게 되지만, 조건부 방법은 선택된 대상에 대해 정확한 추론을 제공합니다.

2.2 조건부 커버리지를 달성하는 방법론들의 통합 (Unifying Recipe)

논문은 다양한 접근법들이 다음과 같은 **통합된 레시피 (General Recipe)**를 따름을 보여줍니다:

1. 데이터 분할: 데이터를 선택 세트 ($Y^{sel}$) 와 추론 세트 ($Y^{inf}$) 로 나눕니다 (중첩 가능하거나 동일할 수도 있음).
2. 선택: $Y^{sel}$을 사용하여 추론 대상 (매개변수) 을 선택합니다.
3. 조건부 추론: $Y^{inf}$를 사용하여 선택된 대상에 대한 추론을 수행하되, 최소한 선택 사건이 발생했다는 조건을 부여합니다.

이 레시피를 기반으로 한 주요 방법론들은 다음과 같습니다:

• 전체 조건부 선택적 추론 (Full CSI):

  • 전체 데이터 ($Y^{sel} = Y^{inf} = Y$) 를 사용합니다.
  • 선택 사건을 조건으로 하여 통계량의 분포를 정확히 (또는 근사적으로) 도출합니다.
  • 장점: 모든 정보를 활용합니다.
  • 단점: 선택 사건이 모호할 때 (예: 두 후보의 값이 매우 비슷할 때) 신뢰구간이 무한히 넓어질 수 있으며, 새로운 선택 규칙마다 분포를 분석적으로 유도해야 하는 계산적 복잡성이 있습니다.

• 샘플 분할 (Sample Splitting):

  • 데이터를 독립적인 두 부분으로 나누어 선택과 추론을 분리합니다.
  • 장점: 구현이 간단하고 기존 소프트웨어를 사용할 수 있습니다.
  • 단점: 선택에 사용되지 않은 데이터 ($Y^{sel}$) 의 정보가 폐기됩니다. 또한, 클러스터링과 같이 선택된 그룹이 추론 세트에 존재하지 않을 수 있는 상황에서는 적용이 어렵습니다.

• 데이터 조각내기 (Data Thinning):

  • 가우스, 포아송 등 특정 분포족에서 데이터를 두 개의 독립적인 성분으로 분해합니다.
  • 장점: 샘플 분할의 단점 (데이터 폐기) 을 해결하면서도 독립성을 유지합니다.
  • 단점: 분포 가정 (예: 정규성) 이 필요하며, 과분산 (overdispersion) 이 있는 경우 적용이 제한적입니다.

• 랜덤화 조건부 선택적 추론 (Randomized CSI):

  • 선택 단계에 노이즈를 주입하여 선택 사건을 '무작위화'합니다.
  • 장점: Full CSI 의 무한한 신뢰구간 문제를 피하면서도 데이터의 모든 정보를 활용합니다.
  • 단점: 각 선택 규칙에 대해 새로운 조건부 분포를 유도해야 합니다.

• 데이터 조각화 (Data Fission):

  • 데이터 조각내기 (Thinning) 와 유사하지만, 선택과 추론 세트가 독립적이지 않아도 되는 더 일반적인 프레임워크입니다.
  • 장점: 이산형 데이터 (예: 베르누이) 나 과분산 데이터 등 Thinning 이 불가능한 상황에서도 적용 가능합니다.
  • 단점: 조건부 분포에서의 추론이 복잡할 수 있습니다.

• 데이터 조각내기 (Data Carving):

  • 샘플 분할 시 폐기되는 정보를 조건부 분포를 통해 추론에 재사용합니다.
  • 단점: 계산이 복잡하고 전용 소프트웨어가 부족합니다.

3. 실험 결과 (Results)

3.1 시뮬레이션 (회귀 트리 예시)

• 설정: CART 알고리즘으로 생성된 영역의 평균에 대한 신뢰구간을 비교했습니다.
• 결과:
  • 고전적 방법: 신호가 약할 때 명목 커버리지 (90%) 를 크게 하회했습니다.
  • Full CSI: 선택 품질은 가장 높았으나, 신호가 약할 때 신뢰구간이 매우 넓거나 무한해졌습니다.
  • 샘플 분할/데이터 조각내기: 신뢰구간 길이가 유한했으나, 선택에 할당된 정보량이 줄어들어 선택 품질이 떨어졌습니다. 또한 샘플 분할의 경우 특정 영역에 테스트 데이터가 없을 경우 무한 구간이 발생할 수 있었습니다.
  • 랜덤화 CSI (Randomized CSI): 가장 균형 잡힌 성능을 보였습니다. Full CSI 의 무한 구간 문제를 피하면서도, 샘플 분할/조각내기보다 좁은 신뢰구간을 제공했습니다. 신호가 강해질수록 선택에 덜 의존하여 추론에 더 많은 정보를 할당하는 적응적 특성을 보였습니다.

3.2 실제 데이터 적용 (단일 세포 RNA 시퀀싱)

• 데이터: PBMC(말초혈액 단핵구) 데이터셋 (음성 및 양성 대조군).
• 목표: 클러스터링 후 유전자 발현 차이를 검정.
• 결과:
  • 음성 대조군 (동질적 세포): 고전적 방법은 p-값 분포가 균일하지 않아 많은 위양성을 발생시켰습니다. 조건부 방법들 (Thinning, Fission, Full CSI) 은 p-값이 균일 분포에 더 가까웠으나, 분포 가정 위반으로 인해 여전히 약간 보수적이지 않은 (anti-conservative) 경향을 보였습니다.
  • 양성 대조군 (이질적 세포): 모든 조건부 방법들이 높은 정확도로 세포 유형을 복원했습니다. 고전적 방법보다 검정력 (Power) 이 약간 낮았으나, 이는 선택 편향을 보정한 결과로 해석됩니다.
  • 한계: Full CSI 는 특정 클러스터링 알고리즘 (k-means 등) 에만 적용 가능하여 유연성이 떨어졌습니다. 반면, 데이터 조각화 (Fission) 는 다양한 분포에 적용 가능했으나 구현이 복잡했습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 조건부 보장의 중요성 강조: 무조건부 보장보다 조건부 보장이 과학적 추론 (특히 데이터 기반 선택 후의 검증) 에 더 적합함을 논리적으로 증명했습니다.
2. 방법론의 통합적 관점: Full CSI, 샘플 분할, 데이터 조각내기, 랜덤화 CSI 등 다양한 최신 방법론들이 동일한 '조건부 추론 레시피'를 따름을 보여주어, 이 분야의 지식을 체계화했습니다.
3. 정보의 트레이드오프 분석: 선택에 사용되는 정보량과 추론에 남는 정보량 (Fisher Information) 사이의 상충 관계 (Trade-off) 를 정량화하고, 각 방법론이 이 균형을 어떻게 다루는지 분석했습니다.
4. 실제 적용의 현실적 제약 제시: 이론적으로 완벽한 방법 (Full CSI) 이라도 계산적 복잡성이나 분포 가정으로 인해 실제 데이터 분석 (예: scRNA-seq) 에 적용하기 어려울 수 있음을 보여주었습니다. 특히, 랜덤화 CSI 와 데이터 Fission 이 실용적인 대안으로 부상할 수 있음을 시사했습니다.

5. 결론 및 향후 방향

이 논문은 선택적 추론 분야에서 조건부 커버리지를 달성하는 것이 필수적임을 강조하며, 다양한 방법론들의 장단점을 명확히 비교했습니다.

• 현재의 한계: 대부분의 방법이 강한 분포 가정을 필요로 하거나, 특정 알고리즘에 국한되어 있어 유연성이 부족합니다.
• 향후 과제:
  • 분포 가정이 약하거나 없는 (assumption-lean) 유연한 방법론 개발.
  • 다양한 분석 파이프라인에 적용 가능한 범용 소프트웨어 개발 (예: Seurat 등 생물정보학 도구와의 통합).
  • 과학자들과의 소통 강화: 데이터 기반 선택의 위험성과 이를 해결하는 방법론의 중요성에 대한 인식 제고.

결론적으로, 연구자들은 선택의 질과 추론의 정밀도 사이의 균형을 고려하여, 자신의 데이터 특성과 가용한 계산 자원에 맞는 적절한 선택적 추론 방법을 선택해야 합니다.