ISAAC: Auditing Causal Reasoning in Deep Models for Drug-Target Interaction

기술 요약: ISAAC – 약물-표적 상호작용 예측을 위한 심층 모델의 인과적 추론 감사

1. 문제 제기

심층 학습 모델은 과학적 벤치마크에서 높은 예측 정확도를 자주 달성하지만, 이러한 성능이 반드시 모델이 기전적으로 근거 있는 추론을 학습했음을 의미하지는 않습니다. 대신 모델은 인과적 타당성이 결여된 표적 내 분포와 상관관계는 있지만 인과적 유효성이 없는 '단순화 (shortcut)' 특징, 데이터셋 고유의 인공물, 또는 허위 상관관계에 의존할 수 있습니다. 이 문제는 약물 - 표적 상호작용 (DTI) 예측과 같은 과학적 영역에서 특히 중요합니다. 여기서 유효한 출력은 표면적 통계적 패턴이 아닌 근본적인 분자 기전 (예: 국소화된 단백질 - 리간드 상호작용) 에 의존해야 합니다.

현재 평가 패러다임은 고정된 데이터 분포에서의 라벨과 일치도를 평가하는 관찰적 지표인 예측 정확도에 크게 의존합니다. 정확도만으로는 인과적 의존성과 허위 연관성을 구분할 수 없습니다. 기존 해석 가능성 방법 (예: 할로이 맵) 은 상관관계 기반 설명을 제공하지만 인과적 유효성을 보장하지 않으며, 견고성 기반 접근법은 종종 훈련된 고정 모델의 추론 행위를 감사하기보다는 훈련 목적에 초점을 맞춥니다. 따라서 예측이 구조적으로 의미 있는 입력 구성 요소에 의해 주도되는지 명시적으로 테스트할 수 있는 표준 프레임워크가 부족합니다.

2. 방법론: ISAAC 프레임워크

이 격차를 해결하기 위해 저자들은 ISAAC(인과적 추론을 위한 개입 기반 구조 감사 접근법)을 소개합니다. ISAAC는 통제된 입력 수준 개입을 사용하여 예측 체제에 조건부로 모델의 추론을 행동적 속성으로 평가하는 사후 (post-hoc) 구조 감사 프레임워크입니다.

핵심 개념:

• 개입적 행동: 결정론적 연산자 $I$를 입력 $x$에 적용하여 개입된 입력 $x^I$를 생성함으로써 추론을 탐구합니다. 모델 $f_\theta$는 고정된 시스템으로 간주되며, 출력의 변화는 오직 개입에 의해 유도됩니다.
• 구조화된 입력: 입력은 식별 가능한 구성 요소 (예: 단백질 서열의 아미노산 잔기) 로 분해됩니다.
• 정합된 개입 클래스: 외부에서 지정된 구조적 사전 지식 (예: 알려진 결합 주머니) 을 기반으로 두 가지 개입 클래스를 정의합니다.
  • 기전적 개입 ($I_{mech}$): 구조적 사전 지식 ($S \subseteq S_{prior}$) 에 의해 관련성이 식별된 구성 요소에 적용된 교란.
  • 허위 개입 ($I_{spur}$): 사전 지식으로 정의된 영역 밖의 구성 요소 ($S' \subseteq S_{comp}$) 에 적용된 교란으로, 기전적 집합과 카디널리티와 연산자가 일치하도록 매칭됩니다.
• 개입 반응 차이: $\delta_\theta(x, I) = f_\theta(x^I) - f_\theta(x)$로 정의되며, 모델 출력의 상대적 변화를 포착합니다.

지표:
ISAAC는 다음 세 가지 지표를 통해 추론 일관성을 정량화합니다:

1. 추론 점수 (RS): $RS(x) = \frac{|m_{mech}(x)|}{|m_{mech}(x)| + |m_{spur}(x)|}$로 정의된 입력별 측정치입니다. 여기서 $m$은 부호 있는 개입 반응의 중앙값을 나타냅니다. RS는 정렬되지 않은 교란보다 기전적으로 정렬된 교란에 대한 상대적 선호도를 정량화합니다.
2. 분리 계수 ($C_{sep}$): 기전적 효과의 고유 변동성으로 정규화된 기전적 반응과 허위 반응 분포 간의 기하학적 분리를 측정합니다.
3. 중첩률: 기전적 반응의 사분위수 범위 내에 속하는 허위 반응의 비율입니다.

3. 실험 설정

이 프레임워크는 약물 - 표적 상호작용 (DTI) 예측, 특히 Davis 벤치마크(키나제 억제제 상호작용) 컨텍스트에서 구현되었습니다.

• 모델: 다양한 귀납적 편향을 가진 세 가지 시퀀스 기반 아키텍처 (DeepDTA, DeepConvDTI, TAPB(Target-Aware Prediction Benchmark)) 가 감사되었습니다.
• 개입 설계: 개입은 약물 ($d$) 을 고정하고 단백질 표적 서열 ($t$) 에만 적용되었습니다.
  • 구조적 사전 지식: 기전적으로 관련 있는 잔기를 식별하기 위해 KLIFS 결합 주머니 주석에서 파생되었습니다.
  • 개입: 마스킹 및 물리화학적 제약이 있는 치환이 포함되었습니다. 기전적 범위는 KLIFS 주머니에서 샘플링되었고, 허위 범위는 매칭된 카디널리티를 가진 비주머니 잔기에서 샘플링되었습니다.
• 프로토콜: 모델은 표준 절차를 사용하여 훈련 및 검증되었습니다. 모든 모델이 비교 가능한 체제에서 작동하도록 예측 성능 (AUROC) 이 확인되었습니다. 감사는 재훈련 없이 테스트 데이터의 구조적으로 유효한 부분 집합 (208 개 표적) 에 대해 사후적으로 수행되었습니다.

4. 주요 결과

실험은 예측 정확도와 추론 행동 간의 상당한 분리를 드러냈습니다:

• 예측 성능: 세 모델 모두 감사 부분 집합에서 거의 구별되지 않는 AUROC 점수 (0.876~0.907 범위) 를 달성하여 비교 가능한 예측 체제에서 작동했음을 확인했습니다.
• 추론 점수 (RS): 유사한 정확도에도 불구하고 모델들은 추론 점수에서 크고 재현 가능한 차이를 보였습니다:
  • TAPB: 가장 높은 RS(0.521) 와 높은 분리 계수 (0.458) 를 달성하여 기전적 반응과 허위 반응 간의 일관된 분리를 나타냈습니다.
  • DeepDTA: 중간 RS(0.441) 를 보였으나 분리는 낮았습니다.
  • DeepConvDTI: 가장 낮은 RS(0.414) 와 거의 제로에 가까운 분리 (0.061) 를 보여 기전적 교란에 대한 민감도가 약하고 정렬된 구조에 대한 일관된 선호도가 없음을 나타냈습니다.
• 정확도에 대한 결론: 약 3% 의 AUROC 차이는 추론 점수 차이 (0.414~0.521 범위) 의 크기와 상관관계가 없었습니다. 이는 정확도 기반 평가가 모델 반응의 구조적 조직화 차이를 감지하지 못함을 보여줍니다.

5. 중요성 및 주장

본 논문은 과학적 머신러닝에서 모델 추론을 특징짓기 위해 예측 정확도만으로는 불충분하다고 주장합니다. 주요 기여점은 다음과 같습니다:

• ISAAC 프레임워크: 예측 정확도와 독립적으로 사전 지식 상대적 구조 민감도를 평가하는 원칙적인 개입 기반 감사 프로토콜.
• 행동적 구분: 표준 정확도 기반 평가 하에서는 보이지 않는 추론 행동의 체계적 차이 (예: 국소화된 결합 부위 의존성 대 전역 서열 통계 의존성) 를 드러낼 수 있는 능력.
• 모델 중립적 감사: 이 방법은 재훈련, 내부 모델 접근, 또는 개입 수준 감독 없이 고정된 모델에 대해 사후적으로 작동하므로 구조화된 입력을 가진 아키텍처 및 도메인 전반에 적용 가능합니다.

저자들은 그들의 발견이 '예측 성공'과 '추론의 조직화' 사이의 구분을 강조한다고 역설합니다. 구조적으로 정렬된 교란과 정렬되지 않은 교란에 대한 반응을 대조함으로써 ISAAC는 기존 벤치마크에서는 구별할 수 없는 모델을 구분할 수 있는 기반을 제공하며, 기전적 유효성이 중요한 과학적 응용 분야에 대해 더 투명한 평가를 제공합니다.

인정된 한계:

• 구조적 사전 지식 (KLIFS) 이 모든 친화도 결정 잔기를 포착하지 못할 수 있으므로, 지표는 절대적 인과적 유효성이 아닌 사전 지식 상대적 민감도를 반영합니다.
• 허위 제어는 카디널리티는 일치하지만 공간적 연속성은 일치하지 않아 기하학적 비대칭을 도입합니다.
• 현재 연구는 단일 데이터셋과 세 가지 특정 아키텍처에 대한 표측면 개입으로 제한됩니다.