I-SAFE: Wasserstein Coherence Metrics for Structural Auditing of Scientific AI Models

기술적 요약: I-SAFE – 개입형 보안, 정확성, 공정성 및 설명 가능성

1. 문제 제기

과학적 머신러닝에서 딥러닝 모델은 종종 홀드아웃 예측 성능 (예: 정확도, AUROC) 을 기준으로 평가됩니다. 그러나 높은 벤치마크 성능은 과학적으로 의미 있는 행동을 나타내는 취약한 지표일 뿐입니다. 모델은 해당 도메인의 근본적인 구조적 속성을 학습하는 대신, "단순화"된 특징, 데이터셋 고유의 규칙성, 또는 분포 편향 (예: 타겟 편향 또는 스캐폴드 효과) 을 악용하여 강력한 예측 점수를 달성할 수 있습니다.

기존 평가 방법은 과학적으로 관련된 구조를 학습한 모델과 단순히 통계적 상관관계를 암기한 모델을 구분하지 못합니다. furthermore, 기존 사후 감사 (post-hoc auditing) 방법들은 종종 스칼라 요약 (예: 평균 민감도 또는 단일 지점 귀속) 에 의존하는데, 이는 과학적으로 관련된 입력 구조가 교란될 때 전체 출력 분포가 어떻게 재구성되는지를 놓칠 수 있습니다. 따라서 관찰적 평가에서 개입형 평가 (interventional evaluation) 로 전환하여 모델이 단순히 올바르게 예측하는지뿐만 아니라, 통제된 구조 유도 교란 하에서 예측이 어떻게 변화하는지를 평가하는 프레임워크가 필요합니다.

2. 방법론: I-SAFE 프레임워크

저자들은 블랙박스 과학 예측기를 위한 사후, 모델 무관 감사 프레임워크인 I-SAFE(개입형 보안, 정확성, 공정성 및 설명 가능성) 를 소개합니다. 이 프레임워크는 외부 구조적 사전 지식 (structural prior) 에 의해 유도된 개입 하에서 모델 출력 분포의 일관성을 평가합니다.

핵심 구성 요소:

• 블랙박스 예측기 ($f_{BB}$): 입력 - 출력 매핑을 통해서만 접근 가능한 훈련된 모델.
• 구조적 사전 지식 ($P$): 모델과 독립적인 도메인 지식에서 유래된 외부 매핑으로, 주어진 작업에 대해 어떤 입력 구성 요소가 과학적으로 관련되는지 식별합니다. 예를 들어, 약물 - 표적 상호작용 (DTI) 에서 이 사전 지식은 단백질 결합 주머니 내의 특정 아미노산 잔기를 식별합니다.
• 개입 설계: 이 프레임워크는 매칭된 교란 쌍을 구성합니다:
  • 기작적 교란 ($\phi_{mech}$): 구조적 사전 지식 ($P(x)$) 에 의해 선택된 구성 요소에 적용된 수정.
  • 위장 교란 (Spurious Perturbations, $\phi_{spur}$): 동일한 교란 연산자와 카디널리티를 사용하여 사전 지식 외부의 구성 요소 ($S_{spur} \subset P(x)^c$) 에 적용된 수정.
• 개입 반응 프로파일: 이 프레임워크는 고정된 감사 세트에서 이러한 교란 전후의 모델 원본 출력 분포를 비교합니다.

세 가지 일관성 지표:
I-SAFE 는 세 가지 보완적 지표를 사용하여 출력 분포의 "순위 일관성"을 정량화합니다. 스칼라 요약과 달리, 이러한 지표는 분포 이동의 기하학적 구조를 포착합니다.

1. 분위기 기반 지표 (QBM): 위치 수준 일관성을 측정합니다. 원본 및 교란된 출력 간의 경험적 분위기 (예: 사분위수) 변위를 총 평균 제곱 오차와 비교합니다. 낮은 값은 분포 위치의 더 큰 이동을 나타냅니다.
2. 워셔슈타인 일관성 지표 (WCM): 서열 일관성을 측정합니다. 최적 수송 이론에 기반하여, 교란 후 입력과 출력의 자연스러운 짝짓기가 얼마나 잘 보존되는지 평가합니다. 이는 자연 대응 하의 변위를 출력의 최적 재배열 (순열) 하의 변위와 비교합니다. 이는 척도 불변이며 정규화됩니다.
3. 변환 불변 WCM (TI-WCM): 형태 일관성을 측정합니다. 이 변형은 전역 평균 이동 (이동) 의 효과를 제거하여 분포의 형태 (분산 및 고차 모멘트) 변화를 격리합니다.

감사 논리:
감사는 각 지표에 대해 사전 지식 상대 대비 (prior-relative contrast, $\Delta M = M_{spurious} - M_{mech}$) 를 계산합니다. 양의 대비는 사전 지식에 선택된 구성 요소의 교란이 비사전 지식 구성 요소의 교란보다 출력 분포의 더 일관된 (즉, 더 구조화되고 예측 가능한) 재구성을 유도함을 나타냅니다.

3. 주요 기여

• 프레임워크 소개: 평가 대상이 스칼라 요약에서 개입 하의 전체 출력 분포 변화로 전환되는 사후 감사 도구로서 I-SAFE 를 제안합니다.
• 지표 정의: 분포 응답을 위치, 서열 구조, 형태로 분해하는 세 가지 구체적 지표 (QBM, WCM, TI-WCM) 의 공식화. 이러한 지표는 최적 수송 이론에 기반하며 모델 무관하도록 설계되었습니다.
• 사전 지식 상대 대비: 교란 규칙과 카디널리티를 통제하면서 매칭된 위장 대조군에 대한 기작적 교란을 비교함으로써 구조적 사전 지식의 효과를 격리하는 대비적 평가 전략의 도입.
• 이론적 속성: 지표가 $[0, 1]$ 범위 내에 제한되며 (WCM 의 경우 척도 불변) 다양한 유형의 분포 재구성을 구별할 수 있음을 증명하는 증명.

4. 실험 결과

이 프레임워크는 약물 - 표적 상호작용 (DTI) 예측을 위한 Davis 키나제 벤치마크에 적용되었습니다.

• 설정: DeepDTA, DeepConvDTI, TAPB의 세 가지 시퀀스 기반 DTI 모델이 감사되었습니다. 구조적 사전 지식은 KLIFS(Kinase–Ligand Interaction Fingerprints and Structures) 결합 주머니 주석에서 유래되었습니다.
• 예측 영역: 세 모델 모두 Davis 테스트 세트에서 비교 가능한 예측 성능 (AUROC) 을 보였으며, 유사한 예측 영역 내에서 작동했습니다.
• 결과:
  • TAPB: QBM 및 WCM 모두에서 유의하게 양의 사전 지식 상대 대비를 보였습니다 ($\Delta QBM \approx +0.093$, $\Delta WCM \approx +0.063$). 이는 KLIFS 결합 주머니 잔기가 교란되었을 때, 비주머니 잔기가 교란되었을 때와 비교하여 TAPB 의 출력 분포가 위치와 순위를 보존하는 매우 일관된 방식으로 재구성되었음을 나타냅니다.
  • DeepDTA 및 DeepConvDTI: 무시할 수 있거나 음의 대비를 보였습니다. DeepDTA 는 사전 지식 정렬 이점을 보이지 않았으며, DeepConvDTI 는 음의 서열 대비를 보여 일관된 응답이 결합 주머니 구조와 구체적으로 연결되지 않았음을 시사합니다.
  • 형태 분석: TI-WCM 대비는 모든 모델에서 음수이거나 0 에 가까웠으며, TAPB 에서 감지된 일관된 신호가 잔류 형태 보존이 아닌 위치 및 순위 이동에 의해 주도되었음을 나타냅니다.

실험 결론: 유사한 정확도에도 불구하고, 모델들은 근본적으로 다른 개입 행동을 보였습니다. 오직 TAPB 만이 그 예측이 과학적으로 관련된 결합 주머니 구조 주변에 조직화되었음을 입증했으며, 이는 표준 정확도 기반 평가로는 보이지 않는 차이입니다.

5. 중요성 및 주장

본 논문은 I-SAFE 가 구조적으로 의미 있는 교란 하에서 훈련된 과학 예측기가 어떻게 작동하는지 평가하기 위한 통계적으로 근거된, 사전 지식 상대 테스트를 제공한다고 주장합니다.

• 인과 주장과의 차별성: 저자들은 I-SAFE 가 모델의 인과적 유효성을 확립하거나 모델이 진정한 인과 메커니즘을 회복했음을 증명하지는 않는다고 명시합니다. 대신, 이는 모델의 출력 분포가 외부 도메인 특이적 사전 지식과 일관되게 조직화되었는지 평가하기 위한 재사용 가능한 지표를 제공합니다.
• 스칼라 감사를 넘어선 접근: 이 프레임워크는 집계 성능 지표로는 보이지 않는 분포 이동의 기하학적 구조 (위치, 순서, 형태) 를 포착함으로써 스칼라 감사의 한계를 해결합니다.
• 모델 무관 유용성: 이 방법은 입력이 구조적 분해를 허용하고 외부 구조적 사전 지식을 사용할 수 있는 모든 도메인에 적용 가능하므로, 블랙박스 과학 AI 의 구조적 감사를 위한 일반적 도구입니다.
• 겸손한 범위: 저자들은 이 감사가 기존 모델에 대한 진단 도구이지 훈련 절차가 아님을 강조합니다. 이는 모델의 성공이 관련 구조적 특징에 의해 주도되는지 아니면 위장 상관관계에 의해 주도되는지 식별하는 데 도움이 되어, 과학적 AI 에서 더 정밀한 평가 주장을 지원합니다.