🧬 biology

Constructed negatives determine the population a benchmark can rank over

이 논문은 부정 사례(negatives)를 구성할 때 주석이 미흡한 엔티티들을 배제함으로써 벤치마크 순위가 근본적으로 제한된다고 주장하며, 높은 누락률(W > 0.5)이 엄격한 모델 순위 산정을 방해한다는 점을 입증하고, 커뮤니티가 타겟 정의, 샘플링 지원, 그리고 비교를 위한 근거를 투명하게 보고할 것을 촉구한다.

원저자: Justin Li

게시일 2026-10-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Justin Li

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

생물학적 발견의 광활한 풍경 속에서, 과학자들은 종종 단백질이 어떻게 상호작용하는지 또는 화학적 태그가 어디에 부착되는지를 예측하기 위해 컴퓨터 모델에 의존합니다. 이러한 모델을 가르치기 위해, 연구자들은 일어나는 일(양성)의 예시와 일어나지 않는 일(음성)의 예시를 모델에게 보여주어야 합니다. 문제는 우리가 일어나는 일에 대해서는 좋은 목록을 가지고 있지만, 일어나지 않는 모든 것에 대한 완전한 목록은 거의 가지고 있지 않다는 점입니다. 대신, 과학자들은 아직 발견되지 않은 상호작용이나 변형은 아마도 사건이 아닐 것이라고 가정함으로써 "음성" 목록을 만드는 경우가 많습니다. 이 가정은 새로운 모델이 얼마나 잘 수행되는지를 판단하는 데 사용되는 벤치마크, 즉 표준 테스트의 기초가 됩니다. 만약 테스트가 결함이 있다면, 최선의 모델을 매기는 순위는 신뢰할 수 없게 되며, 이는 연구자들이 새로운 약물이나 생물학적 통찰력을 찾는 과정에서 잘못된 길로 빠지게 만들 수 있습니다.

툴레인 대학교의 연구자 저스틴 리(Justin Li)는 이러한 테스트가 흔히 구축되는 방식에 존재하는 근본적인 결함을 밝혀냈습니다. 그는 과학자들이 "음성" 예시를 선택하는 방식이 종종 생물학적 세계의 거대한 부분을 누락시켜, 결과적으로 테스트가 평가한다고 주장하는 후보들의 대다수를 무력화시킨다는 사실을 발견했습니다. 리의 연구는 만약 테스트가 가능한 후보의 절반 이상을 제외한다면, 설령 한 모델이 테스트에서 더 높은 점수를 받더라도 추가적인 가정 없이는 두 모델 사이의 엄격한 순위를 식별할 수 없음을 보여줍니다. 이 연구는 단순히 사소한 오류를 지적하는 것이 아니라, 벤치마크가 순위를 매기고자 하는 대상 인구가 실제로는 매우 작고 대표성이 없는 조각이라는 것을 입증하며, 이 테스트에서 나타난 개선 사항이 전체 그림에 적용될 때는 사라지거나 심지어 역전될 수 있음을 보여줍니다.

문제의 핵심은 많은 연구자가 데이터를 깨끗하게 유지하기 위해 사용하는 규칙에 있습니다. 실제 생물학적 사건을 아직 발견되지 않았다는 이유만으로 실수로 "음성"으로 분류하는 것을 피하기 위해, 과학자들은 포함 기준을 매우 높게 설정하곤 합니다. 그들은 "우리는 이미 많은 것을 알고 있는 단백질만을 음성 예시로 사용할 것이다"라고 말할 수 있습니다. 이것이 정확성을 보장하기 위한 안전한 방법처럼 들리겠지만, 리는 이 규칙이 거의 모든 것을 걸러내는 체 역할을 한다는 것을 보여주었습니다. 단백질에 대한 화학적 변형을 다루는 8가지 서로 다른 과제에서, 이 규칙은 후보 단백질의 60%에서 97%를 제외했습니다. 최악의 경우, 테스트는 자신이 커버해야 할 단백질의 아주 작은 부분만을 살펴보고 있었습니다.

리는 표적 인구 중 얼마나 많은 부분이 누락되었는지 정확하게 측정하는 방법을 개발했습니다. 그는 누락된 부분이 전체의 절반을 초과하면, 제외된 영역에 대한 가정 없이는 모델 간의 엄격한 순위를 보장할 능력을 테스트가 상실한다는 것을 발견했습니다. 도서관의 품질을 판단하기 위해 맨 위 선반에 있는 책들만 읽는다고 상상해 보십시오. 만약 아래쪽 선반에 더 좋은 책들이 있다면, 당신의 판단은 틀릴 것입니다. 이러한 생물학적 테스트에서 "맨 위 선반"은 잘 주석이 달린 작은 단백질 그룹이며, "아래쪽 선반"은 테스트가 무시하는 방대한 대다수의 단백질입니다. 무시된 부분이 이토록 크다면, 어떤 모델은 단지 그 작고 쉬운 그룹에서 잘 작동한다는 이유만으로 테스트에서 최고처럼 보일 수 있지만, 나머지 생물학적 세계에서는 처참하게 실패할 수 있습니다.

이를 증명하기 위해, 리는 표준 모델과 전체 단백질에 대한 추가 정보를 포함한 버전을 비교하는 특정 실험을 수행했습니다. 잘 주석이 달린 단백질만을 살펴보는 표준 테스트에서는 추가 정보가 도움이 되는 것처럼 보였습니다. 그러나 리가 이전에 제외되었던 단백질들을 포함하여 테스트를 재구성했을 때, 추가 정보는 8가지 과제 중 7가지에서 오히려 모델의 성능을 저해했습니다. 좁은 테스트에서는 유용한 업그레이드로 보였던 특징이, 모델이 전체 범위의 후보들을 다루어야 하는 상황이 되자 오히려 약점이 된 것입니다. 이러한 역전 현상은 초기 테스트가 모델의 진정한 일반화 능력을 측정하는 것이 아니라, 단지 모델이 특정하고 좁은 규칙에 얼마나 잘 들어맞는지를 측정했을 뿐임을 보여줍니다.

이 연구는 또한 컴퓨터가 어떤 단백질들이 서로 달라붙는지를 예측하는 능력을 테스트하는 데 사용되는 인기 있는 벤치마크를 조사했습니다. 이 벤치마크는 음성 예시를 만들기 위해 2단계 필터를 사용합니다. 첫째, 연결이 너무 많은 전체 단백질을 제거하고, 둘째, 네트워크 구조에서 너무 가까이 있는 단백질 쌍을 제거합니다. 리는 첫 번째 단계만으로도 전체 단백질이 제외된다는 것을 발견했으며, 이는 일부 단백질의 경우 음성 예시가 전혀 존재하지 않음을 의미합니다. 두 번째 단계는 다른 많은 단백질에 대해 거의 모든 쌍을 제거합니다. 그 결과, "음성" 예시가 너무 희박하고 편향되어 있어 실제 단백질 상호작용의 세계를 대표하지 못하는 테스트가 만들어졌습니다. 실제로, 이 테스트는 자체적으로 명시한 우주 내의 단백질 중 73%를 제외하며, 테스트가 측정한다고 주장하는 것과 실제로 보는 것 사이에 거대한 간극을 남깁니다.

리의 연구는 이러한 모델들이 쓸모없다는 것을 시사하는 것이 아니라, 우리가 실제로 무엇을 테스트하고 있는지에 대해 정직해져야 한다고 말합니다. 벤치마크는 자신이 생물학적 세계의 어느 부분을 커버하는지 명확히 밝혀야 하며, 무엇을 제외하는지 인정해야 합니다. 만약 테스트가 후보의 절반 이상을 제외한다면, 추가적인 가정 없이는 전체 인구에 대해 한 모델이 다른 모델보다 우수하다고 인증할 수 없습니다. 연구자는 과학자들이 포함된 후보와 제외된 후보의 수를 정확하게 보고할 것을 권고하며, 공정한 비교를 위해 테스트가 대상의 충분한 부분을 커버하지 않는 한 모델이 우월하다고 주장하는 것에 대해 주의를 기울여야 한다고 제안합니다.

이 연구 결과는 생물학적 예측 분야에 대한 필요한 교정 역할을 합니다. 리는 모델이 보는 데이터와 모델이 놓치는 데이터 사이의 성능을 분리함으로써, 모델이 나아가야 할 더 명확한 경로를 제시했습니다. 이 연구는 "깨끗한" 음성을 만들기 위해 엄격한 필터를 사용하는 현재의 관행이 오히려 해가 될 수 있으며, 모델이 불완전하고 복잡한 생물학적 데이터라는 현실에 직면했을 때 사라져 버릴 진보의 환상을 만들어내고 있다고 시사합니다. 해결책은 이러한 테스트를 포기하는 것이 아니라, 그 한계를 온전히 이해한 상태로 설계하여, 그들이 만들어내는 순위가 테스트 자체의 특성이 아니라 모델의 진정한 잠재력을 반영하도록 하는 것입니다.

기술 요약: 구축된 음성 사례(Constructed Negatives)가 벤치마크가 순위를 매길 수 있는 모집단을 결정한다

문제 제ない (Problem Statement)
생물학적 벤치마크는 종종 충분한 주석 깊이(annotation depth, 예: 기록된 사이트가 적은 단백질)가 부족한 엔티티를 제외함으로써 음성 집합(negative sets)을 구축한다. 이러한 설계 방식은 특정 영역의 샘플링 확률이 0이 되는 "양성 위반(positivity violation)"을 초래한다. 중요도 가중치(importance weighting)를 통해 불균등한 샘플링 확률을 교정할 수 있는 공변량 변화(covariate shift)와 달리, 확률이 정확히 0인 영역은 추가적인 가정 없이는 복구할 수 없다. 결과적으로, 벤치마크에서 측정된 순위는 음성 후보 생성 규칙이 상당 부분의 후보 음성 사례를 배제할 경우, 의도된 배포 모집단으로 확장되지 않을 수 있다. 본 논문은 제외된 질량( $W$ )이 모델 비교를 무효화하는 정도에 대한 공식적인 경계(formal bounds)의 부재와, 순위를 인증할 수 있는 구체적인 모집단이 무엇인지에 대해 다룬다.

방법론 (Methodology)
저자는 음성 집합의 샘플링 지지(sampling support)를 기반으로 배포 효과( $\Delta_{deploy}$ )를 관찰된 성분과 관찰되지 않은 성분으로 분해하는 이론적 프레임워크를 개발한다.

AUROC의 분해: 전체 타겟에 대한 두 모델 간의 차이는 다음과 같이 층위별 효과(stratum-specific effects)의 가중 합으로 표현된다:
$\Delta_{deploy} = \sum_k w_k \cdot \Delta_k$
여기서 $w_k$ 는 $k$ 번째 층위(주석 깊이에 의해 정의됨)에서의 타겟 음성 질량이다.
오차 특성화: 벤치마크에서 보고된 효과( $\Delta_{bench}$ $Δ_{b e n c h}$ )와 실제 배포 효과 사이의 불일치는 다음과 같이 분해된다:
- 누락된 영역 항(missing-region term): $W \cdot (\bar{\Delta}_U - \Delta_O)$ , 여기서 $W$ 는 샘플링 규칙에 의해 제외된 후보 음성 사례의 비율이다.
- 영역 내 항(within-region term): $(\Delta_O - \Delta_{bench})$ , 이는 샘플링된 영역 내에서의 분포 차이를 나타낸다.
식별 경계 (Identification Bounds): 제외된 영역( $U$ )에 대한 사전 지식이 없다고 가정할 때, 저자는 배포 효과에 대한 날카로운 경계(sharp bounds)를 도출한다. 저자는 만약 $W > 0.5$ 라면, 관찰된 격차와 상관없이 두 모델의 엄격한 순위 결정은 보장될 수 없음을 입증한다. 엄격한 양의 순위가 성립하려면 관찰된 격차( $D_O$ )가 $D_O \geq W / (1 - W)$ 를 만족해야 한다.
실증적 검증:
- PTM 작업: 이 프레임워크를 8개의 DeepMVP 작업(번역 후 조절(PTM) 예측)에 적용한다. 저자는 원래의 공여 임계값(donor thresholds)에 의해 제외되었던 단백질들을 포함하도록 음성 집합을 재구성하고, 모델 순위의 "역전"을 측정한다.
- PPI 작업: UPNA-PPI 벤치마크를 분석하여, 단백질 수준의 제외(구성 모델 프리필터를 통한 것)와 쌍(pair) 수준의 제외(길이 3 경로 규칙에 의한 것)를 구분한다.
- 통제된 실험: 알려진 그라운드 트루스와 통제된 특징을 가진 합성 모집단을 사용하여 형태 제한(예: 단조성)을 테스트하고, 영역 내 이동(within-region shift) 항의 크기를 정량화한다.

주요 기여 (Key Contributions)

순위 유효성에 대한 공식적 경계: 본 논문은 벤치마크의 순위가 식별 가능한지를 결정하는 수학적 조건( $W \leq 0.5$ 및 $D_O \geq W/(1-W)$ )을 제공한다. 저자는 대부분의 현재 PTM 벤치마크에서 $W$ 가 0.5를 초과하며, 이는 제외된 영역에 대한 가정 없이는 엄격한 순위가 식별되지 않음을 보여준다.
오차 원인의 분해: 연구는 누락된 지지(관찰되지 않은 영역)로 인한 오차와 샘플링된 영역 내의 분포 변화로 인한 오차를 분리한다. 많은 경우, 누락된 영역 항이 지배적이며, 이는 $\Delta_{bench} \approx \Delta_O$ 라는 영역 내 근사가 배포 주장에 불충분함을 보여준다.
단위 수준 지지 분석 (Unit-Level Support Analysis): 저자는 평가 단위(예: 단백질 쌍 vs 단백질)에 따라 지지를 확인해야 한다고 강조한다. 어떤 규칙은 모든 단백질을 유지(한계적 커버리지)할 수 있지만, UPNA-PPI 분석에서 나타난 것처럼 대다수의 비상호작용 쌍을 제외(쌍 수준의 지지 위반)할 수 있다.
재구성 증거: ESM2 임베딩을 사용한 재구성 실험을 통해, 샘플링된 영역 내에서는 유익한 특징(예: 단백질 수준 임베딩)이 더 넓은 범위의 재구성된 음성 사례에 대해 평가될 때는 해로울 수 있으며, 이것이 8개 중 7개 작업에서 부호 역전(sign reversal)을 일으킴을 보여준다.

결과 (Results)

PTM 벤치마크: 8개의 DeepMVP 작업 전반에서 제외된 후보 음성 질량( $W$ )은 0.605에서 0.977 사이로 나타났다. 모든 작업이 $W > 0.5$ 임계값을 초과하므로, 전체 프로테옴에 대해 엄격한 순위는 보장되지 않는다. 스크린을 통과하도록 타겟을 제한하더라도(예: $W \leq 0.5$ 요구), 유지되는 후보 보유 단백질의 비율은 현저히 떨어진다(예: N-글리코실화의 경우 1.5%, 인산화 S/T의 경우 66.1%).
부호 역전: ESM2 임베딩을 사용한 증강 실험에서, 모델은 임계값 샘플링 영역 내에서는 양의 이득( $\Delta_O > 0$ )을 보였으나, 재구성된 음성 사례에서는 8개 작업 중 7개에서 음의 성능( $\Delta_R < 0$ )을 보였다. 이는 제외된 영역의 기여도가 관찰된 영역의 기여도를 압도할 수 있음을 확인시켜 준다.
UPNA-PPI 분석: UPNA-PPI 벤치마크는 공개된 음성 사례에서 우주 구성원의 73.0%(17,975개 중 13,116개)를 제외한다. 프리필터는 전체 단백질을 제외하며, 길이 3 경로는 특정 쌍을 제외한다. 분석 결과, 모든 단백질이 적어도 하나의 적격한 파트너를 가질 수는 있지만, 비-에지(non-edge) 쌍의 최대 95.8%가 부적격하여 쌍 수준의 평가를 위한 지지를 위반함을 밝혔다.
형태 제한: 누락된 영역에 대한 가정(예: 깊이에 따른 성능의 단조성)을 테스트한 결과, 관찰된 층위가 희소하거나 가정된 효과의 방향이 잘못된 경우 이러한 제한이 자주 실패함을 보여주었다.

의의 및 주장 (Significance and Claims)
본 논문은 구축된 음성 사례가 모델이 점수화되기 전에 평가 모집단을 정의한다고 주장한다. 이 논문의 주요 의의는 초점을 "어떤 모델이 더 나은가"에서 "이 순위가 어떤 모집단에 대해 유효한가"로 전환하는 데 있다.

보고 표준: 저자는 벤치마크가 후보 우주(candidate universe), 음성의 가중치, 제외된 질량( $W$ ), 그리고 생존한 층위의 수를 명시적으로 보고할 것을 권장한다.
주장의 구분: 순위 주장은 반드시 관찰된 영역의 격차와 영역 내 샘플링에 대한 처리를 동반해야 한다. 만약 $W > 0.5$ 라면, 저자는 순위 역전이 입증되었다고 보고하기보다 "명시된 정보 하에서 미결정됨(unresolved under stated information)"으로 보고해야 한다고 단언한다.
한계: 저자는 자신의 분석이 추가적인 가정 없이 상호작용의 생물학적 부재를 검증하거나 전체 참조 프로테옴을 다루지는 않는다고 겸허히 밝힌다. 저자는 비제로(non-zero) 포함 확률을 유지하는 것이 교정을 위해 필요하지만, 그것이 분산이나 라벨 불확실성을 제거하지는 못한다는 점을 강조한다. 이 연구는 설계상의 한계와 관찰된 성능을 구분하는 진단 프레임워크 역할을 하며, 전체 지지 하에서의 메트릭 왜곡과 타겟 모집단의 특정 영역 제외를 혼동하지 않도록 한다.

유사한 논문