Testing the limits of past-adapted explanations by post-endpoint randomisation: anticipatory EEG as a worked case

기술 요약: 사후 엔드포인트 무작위화를 통한 과거 적응적 설명의 한계 검증

문제 제기
예측 신경과학, 특히 사건 전 뇌 활동인 예비적 뇌파(EEG) 신호(예: CNV)와 관련하여, 연구자들은 일반적으로 사건이 발생하기 전의 정보인 '과거 적응적(past-adapted)' 요소들(경과 시간, 단서 확률, 조건부 위험도, 각성도, 시행 이력 등)을 사용하여 사건 전 활동을 설명한다. 예측 모델은 이러한 요인들을 사용하여 데이터를 적합(fit)시킬 수 있지만, '적합'이 곧 '충분성(sufficiency)'을 입증하는 것은 아니다. 핵심적인 문제는, 이러한 과거 적응적 요인들이 확정된 엔드포인트(committed endpoint) 내의 체계적 변동을 모두 소진하는지, 아니면 측정 시점에는 아직 가용하지 않은 정보에 의해 질서 지워질 수 있는 미해결된 체계적 변동이 남아 있는지를 구별하는 것이다. 표준적인 적합도 측정치는 이 문제를 해결할 수 없다. 즉, 적합도가 단순히 우연이나 과적합(overfitting)에 의해 데이터에 맞춘 것인지, 아니면 미래 의존적 정보가 필요하지 않음을 증证明하는 것인지에 대한 가능성을 열어둔 채로 남겨두기 때문이다.

방법론: 레벨 II-A 설계 기반 추론
본 논문은 **사후 엔드포인트 무작위화(post-endpoint randomisation)**를 통해 적합과 충분성의 구분을 테스트하는 레벨 II-A 설계 기반 추론 프레임워크를 소개한다. 이 방법론은 엄격한 시간적 경계와 일련의 운영 및 통계적 조건을 기반으로 한다:

1. 엔드포인트 확정(Endpoint Commitment): 단일 시행 엔드포인트(예: CNV 유사 진폭)는 $t_1$ 시점까지 가용 가능한 정보($F_{t_1}$)만을 사용하여 "잠금(lock)"된다. 여기에는 기록된 예비적 구조를 제거하기 위해 "순방향 전용(forward-only)" 비교기(레이블이 없는 예측기)를 사용하는 과정이 포함되어 "동결된 잔차(frozen residual)"를 생성하는 단계가 포함된다.
2. 사후 확정 무작위화(Post-Commitment Randomisation): 엔드포인트가 고정된 직후에 시스템은 명령 사건(imperative event)에 지연 시간($\tau_L$)을 할당한다. 이 지연은 사전 할당 층(strata)에 근거한 선언된 무작위화 법칙에 따라 추출되지만, 엔드포인트 구축 및 비교기 피팅으로부터는 엄격히 격리되어 있다.
3. 귀무가설(The Null Hypothesis): "과거 적응적 요인화(past-adapted factorisation)" 하에서, 할당된 지연(미래의 레이블)은 이미 확정된 엔드포인트 또는 동결된 잔차와 통계적으로 독립적이어야 한다. 형식적으로, $P(\tau_L \in D | F_{t_1}) = P_{sch}(D | R_j)$이다. 만약 과거 적응적 클래스가 충분하다면, 할당된 지연은 엔드포인트를 체계적으로 질서 지울 수 없다.
4. 유효성 조건: 프레임워크는 다음을 요구한다:
   • (R1) 운영 스케줄러(Operational Scheduler): 지연은 엔드포인트 확정 후에 생성되고 은닉된다.
   • (R2) 시간적 무결성(Temporal Integrity): 엔드포인트나 비교기에 사후 데이터(예: 제로 페이즈 필터링)가 유출되지 않아야 한다.
   • (R3) 표본 유지 무결성(Retained-Sample Integrity): 선택 과정(전달, 아티팩트 제거, 포함 여부)이 지연과 엔드포인트 사이에 의존성을 유발해서는 안 된다(지연 중립성).
5. 의사결정 구조: 분류기는 비보상적(non-compensatory)이며 엄격한 계층 구조를 따른다:
   • 감사(Audits): 시간적 유출, 전달 준수, 스케줄러 무결성을 점검한다.
   • 자격 검증(Qualifications): 선택 편향(콜라이더 진단), 참가자 추정 가능성, 경로 타당성(할당-격리 vs. 순차적 e-값)을 점검한다.
   • 추론(Inference): 경로별 보정(무작위화 테스트 또는 마팅게일 e-값)을 사용하여 유의미한 음의 기울기($\beta_\tau < 0$)를 테스트하고, 레이블 블라인드 해상도 하한선에서 도출된 크기 임계값($\beta_{min}$)을 사용한다.
   • 결과(Outcomes): 시스템은 결과를 다음으로 분류한다: 지지된 음의 편차(Supported Negative Departure) (불충분성의 증거), 순방향 전용 적절(Forward-Only Adequate) (긍정적 귀무가설), 진단 실패(Diagnostic Failure), 선택 제한(Selection-Limited), 반대 방향(Opposite-Direction), 또는 불확정(Inconclusive).

주요 기여

• 레벨 II-A 프레임워크: "과거가 그것을 설명한다"라는 가정을 테스트 가능하고 크기가 정량화된 주장으로 전환하는 새로운 추론 구조를 제공한다. 이는 단순한 "적합을 보여주는 것"에서 "미래 의존적 질서화를 배제하는 것"으로 증명의 부담을 옮긴다.
• 사후 엔드포인트 무작위화 프로브: 엔드포인트 이후에 할당되는 지연을 부정적 대조군(negative control)으로 사용한다. 이는 어떤 체계적 질서화가 과거 적응적 클래스의 실패를 의미하는지 보여주는 "경계 테스트"를 생성한다.
• 크기 정량화된 긍정적 귀무가설(Magnitude-Qualified Affirmative Null): 본 논문은 '순방향 전용 적절' 결과를 단순한 비기각이 아닌, 경계가 설정된 결론으로 정의한다. 이는 분석 파이프라인이 특정 크기의 효과(시뮬레이션으로 보정된 허위 적절도율에 의해 결정됨)를 탐지할 수 있는 감도를 갖추고도 이를 발견하지 못함을 요구한다.
• 합성 벤치마킹: 저자들은 1200개의 시뮬레이션 데이터셋을 포함한 완전히 명시된 오픈 소스 벤치마크 파이프라인(Level II-A 사후 엔드포인트 무작위화 벤치마크)을 제공한다. 이는 허위 지원을 제어하고, 주입된 신호를 회복하며, 운영 실패(유출, 선택 편향, 콜라이더 효과)를 올바르게 식별하는 파이프라인의 능력을 검증한다.

결과
논문은 오직 합성 데이터로부터의 결과만을 제시하며, 인간 EEG 데이터는 분석되지 않았다. 합성 벤치마크는 7가지 시나리오 패밀리에 대해 파이프라인을 검증했다:

• 클린 널(Clean Null): 순수 순방향 생성기 하에서, 파이프라인은 0/1200의 지지된 결과를 생성했다(허위 지원율 = 0.000). 파이프라인은 **89.4%**를 "순방향 전용 적절"로, **9.8%**를 "불확정"(해상도 제한 때문)으로 분류하여, 정보 비용을 인정하면서도 엄격한 허위 양성 제어를 보여주었다.
• 주입된 신호(Injected Signal): 유의미한 음의 기울기($-60 \mu V s^{-1}$)가 주입되었을 때, 파이프라인은 **99.1%**의 사례에서 이를 지지했으며 **0%**의 허위 적절도 결과를 냈다.
• 실패 모드:
  • 시간적 유출: 사후 엔드포인트 유출이 있는 모든 데이터셋은 100% "진단 실패"로 올바르게 분류되었다.
  • 선택 편향: 표준 선택 또는 콜라이더 유발 편향이 있는 시나리오는 각각 99.7% 및 **99.9%**의 확률로 "선택 제한" 결과로 올바르게 경로가 지정되어 허위 지원을 방지했다.
  • 반대 방향: 양의 주입은 **99.3%**의 확률로 "반대 방향 편차"로 올바르게 분류되어, 음의 가설에 대한 지지로 해석되는 것을 차단했다.
• 해상도 경계: 벤치마크는 긍정적 귀무가설을 위한 허위 적절도 경계를 설정했다: 할당-격리 경로의 경우 15 $\mu V s^{-1}$, 순차적 e-값 경로의 경우 30 $\mu V s^{-1}$이다. 이 수치 미만에서는 파이프라인이 작은 체계적 편차와 클린 널을 신뢰성 있게 구별할 수 없다.

의의 및 주장
본 논문은 생물학적 발견이라기보다 방법론적 경계를 제공한다고 주장한다. 그 의의는 다음과 같다:

1. 엄격한 배제: 단순한 모델 적합을 넘어, 과거 적응적 모델 클래스가 확정된 엔드포인트를 설명하기에 충분한지를 테스트하는 방법을 제공한다.
2. 메커니즘 중립성: "지지된 음의 편차"는 과거 적응적 클래스가 불충분함을 나타내지만, 그것이 구체적으로 어떤 메커니즘인지(예: "예지력"이나 특정 물리적 기질을 증명하는 것이 아님)를 식별하지는 않는다. 이는 단지 선언된 과거 적응적 요인들이 변동을 모두 소진하지 못했음을 확립할 뿐이다.
3. 보정된 널(Calibrated Nulls): "증거의 부재"를 파이프라인의 감도(허위 적절도율)에 의해 보정함으로써, "증거의 부재"를 "경계가 설정된 긍정적 결론"으로 전환한다.
4. 일반성: 본 논문은 예기적 EEG를 예시로 들었으나, 저자들은 이 설계가 도메인 일반적(domain-general)이며, 통계량이 외생적 레이블이 생성되기 전에 돌이킬 수 없이 확정되는 모든 시나리오(예: 예측, 임상 시험, 알고리즘 의사결정 시스템)에 적용 가능하다고 밝히고 있다.

저자들은 이 논문에서 어떠한 실증적 결정도 내리지 않는다고 명시적으로 밝힌다. 이 작업은 그러한 결정을 내릴 수 있는 규칙을 확립하고, 합성 데이터를 통해 그 규칙이 선언된 대로 작동함을 입증하는 것이다. 프레임워크가 클래스 수준의 거부에서 실질적인 메커니즘 이론으로 나아가기 위해서는 독립적인 재현(레벨 II-B)이 필요하다.