The Mechanistic Invariance Test: Genomic Language Models Fail to Learn Positional Regulatory Logic

본 논문은 대규모 게놈 언어 모델 (gLMs) 이 실제 위치적 조절 논리를 학습하지 못하고 AT 함량과 같은 표면적 통계적 패턴에만 의존하여 실패함을 '기작 불변성 테스트 (MIT)'를 통해 입증하고, 이러한 한계가 모델의 규모 확대로는 해결되지 않으며 구조적 혁신이 필요함을 주장합니다.

핵심

🧬 DNA 언어 모델의 '가짜 지능'을 폭로하다: 위치를 모른 채 단어만 외운 AI

이 논문은 최근 생물학계를 뜨겁게 달구고 있는 **DNA 언어 모델 (gLM)**에 대한 충격적인 고발장입니다. 이 모델들은 방대한 양의 DNA 데이터를 학습하여 유전자 변이를 예측하거나 유전자 발현을 분석하는 등 놀라운 성과를 내고 있습니다. 하지만 이 논문은 **"이 모델들이 정말로 유전자의 작동 원리 (메커니즘) 를 이해하고 있는 걸까, 아니면 단순히 통계적 단서만 이용하고 있는 걸까?"**라는 근본적인 질문을 던지며, **"아직까지 아무도 진실을 모르고 있다"**는 결론을 내립니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 핵심 비유: "레시피 vs. 재료의 냄새"

생각해 보세요. 어떤 요리사가 매운 스프를 만드는 법을 배웠다고 칩시다.

• 진정한 이해 (Mechanistic Understanding): "고추를 특정 순서로 넣고, 특정 시간 동안 끓여야 매운맛이 난다"는 것을 안다.
• 통계적 단서 (Statistical Shortcut): "이 스프는 고추 가루가 많이 들어간 냄새가 나면 맛있는 거야!"라고만 안다.

이 논문은 현재 가장 최신의 DNA AI 모델들이 **진정한 이해 (위치와 순서)**를 배운 것이 아니라, **재료의 냄새 (단순한 구성 성분)**만 맡고 있다는 것을 증명합니다.

2. 실험: '위치 무용지물' 테스트 (MIT)

연구진은 **MIT (Mechanistic Invariance Test)**라는 새로운 시험지를 만들었습니다. 이는 AI 가 유전자의 '위치'를 진짜로 이해하는지 확인하는 시험입니다.

• 시험 문제: 박테리아의 스위치 (프로모터) 는 특정 부위 (-35 박스) 와 다른 부위 (-10 박스) 사이에 정확한 간격이 있어야 작동합니다. 만약 스위치가 고장 났을 때, 그 위에 '보상 요소 (UP element)'를 붙여주면 고쳐질 수 있습니다.
• 핵심 조건: 이 보상 요소는 정확한 위치에 있어야만 작동합니다. 같은 성분이라도 잘못된 위치에 붙이면 아무 소용이 없습니다.

연구진은 AI 에게 두 가지 DNA 를 보여줬습니다.

1. 정답 (E): 보상 요소를 올바른 위치에 붙인 DNA.
2. 함정 (H): 보상 요소를 잘못된 위치에 붙였지만, 성분 (A, T, G, C 비율) 은 똑같은 DNA.

3. 충격적인 결과: AI 는 '위치'를 눈치채지 못한다

결과가 매우 놀랐습니다.

• 진짜 생물학자 (또는 간단한 규칙 모델): "정답 (E) 은 작동하고, 함정 (H) 은 작동 안 하니까, E 가 더 중요해!"라고 정확히 판단했습니다.
• 최첨단 AI 모델 (Evo2, Caduceus 등): **"음... 함정 (H) 이 정답 (E) 보다 더 좋아 보이네!"**라고 오히려 거꾸로 판단했습니다.

왜일까요? AI 는 위치를 보지 못했습니다. 대신 성분만 봤습니다.

• 보상 요소 (UP element) 는 A 와 T 가 매우 많은 (AT-rich) 성분입니다.
• AI 는 "아, A 와 T 가 많으면 좋은 DNA 구나!"라고 배웠습니다.
• 그래서 올바른 위치든 잘못된 위치든, A 와 T 가 많기만 하면 AI 는 "이거 좋은 거야!"라고 점수를 줍니다.

비유하자면:

AI 는 "집에 고양이가 있으면 좋은 집이야!"라고 배웠습니다.
하지만 진짜 중요한 건 고양이가 **거실 (올바른 위치)**에 있는 게 아니라, **화장실 (잘못된 위치)**에 있든 지하실에 있든 **고양이 (성분)**만 있으면 "좋아!"라고 외치는 것입니다.

4. 더 큰 충격: 모델이 클수록 더 멍청해진다?

연구진은 10 억 개의 파라미터를 가진 초대형 모델 (Evo2-1B) 을 테스트했습니다.

• 예상: 모델이 크고 똑똑할수록 위치를 더 잘 이해할 것이다.
• 현실: 모델이 클수록 A 와 T 가 많을수록 좋은 DNA라는 편견을 더 강하게 갖게 되었습니다.
• 결론: AI 를 키우는 것 (Scale) 만으로는 이 문제를 해결할 수 없습니다. 오히려 잘못된 편견을 더 증폭시킬 뿐입니다.

5. 해결책: 거대한 AI 가 아니라 '작은 규칙'이 이겼다

이 논문은 가장 흥미로운 반전을 보여줍니다.

• 수십 억 파라미터의 거대 AI: 실패.
• 단순한 100 파라미터의 작은 규칙 모델 (PWM): 완벽한 성공!

이 작은 모델은 "A 와 T 가 많으면 좋은 게 아니라, A 와 T 가 특정 위치에 있어야 좋은 거야"라는 간단한 규칙만 따랐을 뿐입니다. 이는 AI 가 가진 **방대한 능력 (Capacity)**이 부족해서가 아니라, **학습 방식 (Inductive Bias)**이 근본적으로 잘못되어 있음을 의미합니다.

6. 요약 및 시사점

이 논문의 메시지를 한 문장으로 정리하면 다음과 같습니다.

"현재의 DNA AI 모델들은 유전자의 '문법 (위치와 순서)'을 배우지 못하고, 단순히 '단어 (성분)'의 빈도수만 외우고 있을 뿐이다."

왜 이것이 중요한가요?
만약 우리가 이 AI 를 이용해 새로운 유전자를 설계하거나 질병 치료제를 개발한다면, AI 가 "성분은 맞는데 위치가 틀린" 엉뚱한 DNA 를 만들어낼 수 있습니다. 이는 실패뿐만 아니라 위험으로 이어질 수 있습니다.

결론적으로:
우리는 AI 를 더 크게 만드는 것보다, 유전자의 작동 원리 (위치, 간격, 방향성) 를 AI 가 제대로 이해하도록 설계를 바꿔야 합니다. 마치 요리사에게 "고추 냄새만 맡지 말고, 고추가 언제 들어가는지 배워라"라고 가르쳐야 하는 것과 같습니다.

이 연구는 AI 가 과학적 발견을 돕기 전에, 먼저 진짜 원리를 이해하고 있는지 검증하는 새로운 기준 (MIT) 을 제시했다는 점에서 매우 중요합니다.

기술 요약

논문 요약: 기계적 불변성 테스트 (MIT): 유전체 언어 모델이 위치적 조절 논리를 학습하지 못함

이 논문은 ICLR 2026 워크숍에서 발표된 것으로, 유전체 언어 모델 (Genomic Language Models, gLMs) 이 실제 생물학적 메커니즘을 학습했는지, 아니면 단순한 통계적 단서 (statistical shortcuts) 만 활용하는지 검증하는 기계적 불변성 테스트 (Mechanistic Invariance Test, MIT) 를 제안하고 그 결과를 보고합니다.

1. 문제 제기 (Problem)

유전체 언어 모델 (gLMs) 은 변이 효과 예측, 유전자 발현 모델링, 조절 요소 발견 등에서 최첨단 성능을 보이고 있습니다. 그러나 근본적인 의문이 제기됩니다: 이러한 모델들이 유전자 조절을 지배하는 '기계적 원리 (mechanistic principles)'를 학습했는가, 아니면 단순히 데이터의 '통계적 상관관계'만 암기했는가?

특히, 합성 생물학, 유전자 치료, 임상 변이 해석과 같이 새로운 구성에 대한 일반화가 필요한 응용 분야에서는 통계적 휴리스틱 (heuristic) 이 실패할 수 있어 위험합니다. 현재 gLM 들이 DNA 서열의 '위치 (position)'에 따른 조절 논리를 실제로 이해하는지, 아니면 단순히 '조성 (composition, 예: AT 함량)'에 반응하는지 명확히 구분할 수 있는 엄격한 벤치마크가 부재했습니다.

2. 방법론 (Methodology)

2.1 기계적 불변성 테스트 (MIT) 벤치마크

저자들은 650 개의 시퀀스로 구성된 벤치마크인 MIT 를 개발했습니다. 이는 8 가지 클래스로 구성되며, 자연 발생 프로모터와 통제된 합성 프로모터를 포함합니다.

• 핵심 비교: E. coli σ70 프로모터의 보상 (compensation) 메커니즘을 이용합니다. -10 박스 (TATAAT) 가 손상된 경우, -35 박스 상류의 AT 가 풍부한 UP 요소나 확장된 -10 모티프가 있으면 전사가 보상됩니다.
• 중요한 통제: Class D (손상됨) 와 Class E (보상됨) 는 AT 함량이 유사하지만, Class E 는 보상 요소가 올바른 위치에 있습니다.
• 스크램블 제어 (Scrambled Control, Class H): Class E 와 동일한 염기 조성을 가지지만, UP 요소를 -35 박스 하류 (기능적으로 무의미한 위치) 로 이동시켰습니다.
  • 가설: 모델이 위치를 이해한다면 $Score(E) > Score(H)$ 여야 함.
  • 대안: 모델이 조성만 이해한다면 $Score(E) \approx Score(H)$ 여야 함.

2.2 평가 지표

• 보상 민감도 점수 (CSS, Compensation Sensitivity Score): 보상된 시퀀스가 손상된 시퀀스보다 높은 점수를 받는 비율.
• 스크램블 제어 비율 (SCR, Scramble Control Ratio): 올바르게 배치된 보상 (Class E) 이 무작위 배치된 보상 (Class H) 보다 높은 점수를 받는 비율. (위치 인식 능력을 측정)
• 기전적 프로빙 (Mechanistic Probing): AT 함량 조절 (titration), 위치 제거 (ablation), 간격 (spacing) 변형, 가닥 (strand) 방향성 테스트 등을 통해 모델의 예측 동인을 분석했습니다.

2.3 평가 대상 모델

5 가지 주요 아키텍처 (자기회귀, 마스크, 양방향 상태 공간 모델) 를 대표하는 5 개의 gLM 을 평가했습니다:

• HyenaDNA, Evo2-1B, GROVER, Nucleotide Transformer (NT-500M), Caduceus.
• 비교 대상: 100 개 파라미터의 위치 인식 PWM (Position-Aware PWM) 및 물리 기반 모델.

3. 주요 결과 (Key Results)

3.1 보편적인 실패 모드 (Universal Failure Mode)

• 위치 인식 부재: 모든 gLM 은 SCR 점수가 0.5(무작위) 근처이거나 그보다 낮았습니다 (범위: 0.40–0.52). 이는 모델들이 올바른 위치에 배치된 보상 요소와 무작위 배치된 요소를 구분하지 못한다는 것을 의미합니다.
• 조성 편향 (Compositional Bias): 모델들은 AT 함량과 로그 가능도 (Log-Likelihood) 사이에 강한 양의 상관관계 ($r=0.78 \sim 0.96$) 를 보였습니다. 보상된 시퀀스가 AT 가 풍부하기 때문에 모델이 이를 '기능적'으로 인식한 것이 아니라, 단순히 'AT 가 많음'을 감지한 것입니다.
• 역설적 결과: Evo2-1B 와 Caduceus 와 같은 대형 모델은 올바른 위치보다 잘못된 위치에 있는 요소를 더 높은 점수로 평가했습니다. 이는 생물학적 현실을 반전시킨 결과입니다.

3.2 크기 (Scale) 의 한계

• 모델 파라미터 수가 증가할수록 (HyenaDNA 6.6M $\to$ Evo2-1B 1B) AT 함량에 대한 편향이 더 강해졌습니다 ($r=0.78 \to 0.96$). 즉, 모델의 규모 확대는 이러한 한계를 해결하지 못하고 오히려 증폭시킵니다.

3.3 간단한 모델의 우월성

• 100 개 파라미터의 위치 인식 PWM (PA-PWM) 은 CSS=1.00, SCR=0.98 의 완벽한 성능을 보였습니다.
• 이는 수십억 개의 파라미터를 가진 gLM 들이 학습 능력 부족이 아니라, 근본적으로 잘못 정렬된 인덕티브 바이어스 (inductive biases) 를 가지고 있음을 시사합니다.

3.4 추가 실험 결과

• 간격 민감도: 생물학적으로 최적인 17±1 bp 간격 대신, HyenaDNA 는 14 bp 에서 최대 성능을 보였습니다.
• 가닥 무관성 (Strand-blindness): 모든 모델은 정방향 (Forward) 과 역상보 (Reverse Complement) 서열을 구분하지 못했습니다 (정확도 44-50%).

4. 주요 기여 (Contributions)

1. MIT 벤치마크 개발: 조성 민감도와 진정한 위치 이해를 명확히 구분할 수 있는 650 개 시퀀스 벤치마크와 스크램블 제어 메커니즘을 제시했습니다.
2. gLM 의 근본적 한계 규명: 현재 존재하는 모든 주요 아키텍처의 gLM 이 유전자 조절의 '위치 문법 (positional grammar)'을 학습하지 못하고, 표면적인 통계적 특성 (AT 함량) 만 학습함을 입증했습니다.
3. 메커니즘적 프로빙: AT 조절, 위치 제거, 간격 변형 등을 통해 모델 예측이 생물학적 메커니즘이 아닌 조성 상관관계에 의해 주도됨을 체계적으로 증명했습니다.
4. 미래 방향 제시: 단순한 규모 확대 (Scaling) 가 해결책이 아니며, 위치 인식 어텐션, 혼합 아키텍처 (Neural + PWM) 등 아키텍처적 혁신이 필요함을 주장했습니다.

5. 의의 및 결론 (Significance)

이 연구는 유전체 AI 의 현재 발전 수준에 대한 중요한 경고입니다. gLM 들이 "AT 가 풍부한 서열은 프로모터 같다"는 단순한 휴리스틱을 학습하여 높은 예측 정확도를 보이는 것처럼 보일 수 있지만, 실제 생물학적 메커니즘 (위치 의존적 조절) 을 이해하지 못합니다.

• 임상 및 합성 생물학 적용의 위험: 새로운 서열 구성이나 변이 해석 시, 모델이 통계적 단서에만 의존하여 잘못된 결론을 내릴 수 있음을 시사합니다.
• 연구 방향 전환: 모델의 성능 향상을 위한 '규모 확대 (Scaling)'보다는, 생물학적 제약을 모델 구조에 통합하는 '아키텍처 혁신'이 시급함을 강조합니다.
• 진단 도구: MIT 는 향후 gLM 개발 과정에서 기계적 이해도를 평가하는 표준 진단 도구로 활용될 수 있습니다.

결론적으로, 현재 gLM 들은 유전체 데이터의 '표면 통계'는 포착하지만, 유전자 조절에 필수적인 '위치 문법'은 놓치고 있으며, 이를 해결하기 위해서는 근본적인 아키텍처적 재설계가 필요합니다.