인공지능 모델이 언어를 배울 때, 우리는 책이나 뉴스 같은 **인간 언어 (영어)**와 **유전자 (DNA)**를 비교했습니다.
인간 언어 (영어): 마치 **"소문"**을 퍼뜨리는 상황과 비슷합니다. "어제 비가 왔어"라고 들으면, 다음에 올 말은 "우산을 챙겨야지"일 가능성이 매우 높습니다. 문맥이 명확하고 예측이 쉽습니다.
유전자 (DNA): 마치 **"무작위 잡음"**을 듣는 상황과 비슷합니다. "A, T, G, C"라는 네 가지 알파벳만 반복되는데, 다음에 어떤 글자가 올지 전혀 알 수 없습니다. 문맥이 거의 없거나, 너무 많은 가능성이 동시에 존재합니다.
이 논문은 DNA 가 가진 이 **'예측 불가능한 혼란 (높은 엔트로피)'**이 인공지능이 학습하는 것을 방해한다고 말합니다.
🤖 2. 실험 내용: 5 명의 학생과 5 명의 선생님
저자들은 똑같은 구조를 가진 인공지능 모델 5 개 (앙상블) 를 만들었습니다.
A 그룹: 영어 텍스트로 학습.
B 그룹: DNA 서열로 학습.
그리고 이들에게 같은 문제를 풀게 했더니, 놀라운 결과가 나왔습니다.
🗣️ 비유 1: "동일한 답을 내놓는 학생들 vs 서로 다른 답을 내놓는 학생들"
영어 학생들 (A 그룹): "다음 단어는 뭘까?"라고 물으면, 5 명 모두 거의 동일한 답을 내놓습니다. (예: "우산") 서로 의견이 일치하고, 확신에 차 있습니다.
DNA 학생들 (B 그룹): 같은 질문을 하면, 5 명 모두 서로 다른 답을 내놓습니다. (1 번은 A, 2 번은 T, 3 번은 G...) 심지어 5 명 모두 "모르겠어요, 다 비슷할 것 같아요"라고 말하며 무작위로 찍는 수준이 됩니다.
이는 DNA 데이터가 너무 혼란스러워서, 모델들이 "정답"을 확신할 수 없기 때문입니다.
🧠 비유 2: "의미 있는 관계 vs 단순 암기"
모델의 두뇌 구조를 살펴보니 더 흥미로운 사실이 드러났습니다.
영어 모델: 단어와 단어 사이의 **관계 (문법, 맥락)**를 이해하는 부분 (트랜스포머 레이어) 에서 가장 활발하게 작동합니다. "비가 오면 우산"이라는 논리를 깨닫는 것입니다.
DNA 모델: 단어 사이의 관계를 이해하는 부분은 거의 작동하지 않고, **단순히 단어를 외우는 부분 (임베딩 레이어)**에서만 집중적으로 작동합니다. 마치 공식만 달달 외우는 학생처럼, 맥락은 무시하고 앞뒤 글자만 기계적으로 기억하려는 것입니다.
💡 3. 결론: 왜 DNA 모델은 실패할까?
이 논문의 결론은 다음과 같습니다.
혼란스러운 데이터: DNA 는 예측하기 너무 어렵습니다 (엔트로피가 높음). 그래서 AI 모델들이 "무슨 말인지" 확신하지 못하고, 서로 의견이 갈라집니다.
학습 방식의 한계: 현재 우리가 쓰는 "다음 글자 예측하기" 방식은 DNA 에는 적합하지 않을 수 있습니다. AI 가 DNA 의 복잡한 생물학적 의미를 깨닫기보다는, 단순히 글자 패턴만 외우게 만들기 때문입니다.
새로운 접근 필요: DNA 를 이해하려면 단순히 거대한 데이터를 학습하는 것만으로는 부족하며, 데이터의 본질적인 특성 (높은 혼란도) 을 고려한 새로운 학습 방법이 필요합니다.
📝 한 줄 요약
"인간 언어는 '소문'처럼 논리적이지만, DNA 는 '잡음'처럼 혼란스럽습니다. 그래서 AI 가 DNA 를 배울 때는 서로 의견이 맞지 않고, 맥락 대신 단순 암기만 하게 되어 실패합니다."
이 연구는 거대 유전자 모델 (Genomic Foundation Models) 이 왜 기대만큼 성능이 나오지 않는지 그 근본적인 이유를 '데이터의 혼란도'에서 찾았다는 점에서 매우 중요합니다.
1. 문제 정의 (Problem)
배경: 자연어 처리 (NLP) 분야에서는 BERT 나 RoBERTa 와 같은 대규모 자기지도학습 (Self-supervised) 기초 모델이 큰 성공을 거두었습니다. 이에 따라 유전체 (DNA 서열) 에도 동일한 접근법 (Autoregressive 또는 Masked Language Modeling) 을 적용한 유전체 기초 모델 (Genomic Foundation Models, GFMs) 이 활발히 연구되고 있습니다.
문제점: 그러나 GFMs 은 다양한 하위 작업 (downstream tasks) 에서 기대만큼의 성과를 내지 못하거나, 특정 작업에 맞춰 훈련된 작은 전용 모델보다 성능이 떨어지는 경우가 많습니다.
연구 동기: 기존 연구들은 GFMs 의 낮은 성능을 보고했지만, 왜 이러한 모델들이 유전체 데이터에서 제대로 작동하지 않는지에 대한 근본적인 이론적 설명은 부족했습니다. 저자들은 인간 텍스트와 DNA 서열이 정보이론적 관점에서 근본적으로 다르며, 특히 엔트로피 (Entropy) 의 차이가 모델의 한계를 결정짓는 핵심 요인이라고 주장합니다.
2. 방법론 (Methodology)
저자는 텍스트와 DNA 데이터에 대해 동일한 조건으로 훈련된 모델 앙상블을 비교 분석하여 엔트로피의 영향을 규명했습니다.
실험 설계:
모델: 총 3 개의 앙상블 (각각 N=5개의 BERT 인코더 모델) 을 구성했습니다.
텍스트 모델: 영어 텍스트 학습 (Byte-Pair Encoding, BPE 토크나이저 사용).
DNA 모델 (BPE): DNA 서열 학습 (BPE 토크나이저 사용).
DNA 모델 (k-mer): DNA 서열 학습 (중첩되지 않는 k-mer 토크나이저 사용).
통제 변수: 모든 모델은 아키텍처 (90M 파라미터), 훈련 토큰 수 (5B), 어휘 크기 (4096), 데이터 순서 (결정적 순서) 를 동일하게 유지하되, 초기 가중치만 무작위로 설정했습니다.
분석 기법:
앙상블 불일치 (Ensemble Disagreement): 서로 다른 모델 간의 예측 분포 차이를 측정하기 위해 Jensen-Shannon 거리 (JSD) 와 KL 발산을 사용했습니다.
정적 임베딩 (Static Embeddings): 첫 번째 임베딩 레이어 (단어 임베딩) 에서의 모델 간 일관성을 Top-k Jaccard 중첩, Spearman 상관관계, Procrustes 정렬 (Cosine Similarity 및 Disparity) 로 분석했습니다.
경험적 피셔 정보 (Empirical Fisher Information): 데이터가 모델 파라미터를 얼마나 강력하게 제약하는지 측정하기 위해 각 레이어 (임베딩, 트랜스포머 레이어, 헤드) 별 피셔 정보 행렬 (FIM) 의 대각선 요소를 집계하여 분포를 분석했습니다.
3. 주요 결과 (Key Results)
가. 높은 엔트로피와 예측 불확실성
DNA 모델은 텍스트 모델에 비해 예측 분포가 균일 (Uniform) 에 가까웠습니다.
KL 발산: 텍스트 모델은 균일 분포와 큰 차이를 보였으나 (높은 확신), DNA 모델 (특히 BPE) 은 약 3 비트, k-mer 모델은 1 비트 미만의 KL 발산을 보여 예측 불확실성이 매우 높음을 시사합니다.
핵심 발견: DNA 모델들은 "어떤 토큰이 나올지"에 대해 합의하는 것이 아니라, "모든 토큰에 대해 비슷한 확률을 부여"하는 경향이 있었습니다.
나. 모델 간 불일치 및 임베딩 불안정성
출력 분포: DNA 모델은 전체 확률 질량 (Top-p=100%) 을 볼 때는 유사해 보이지만, 확률 질량을 줄이는 (Nucleus sampling, Top-p 감소) 과정에서 모델 간 거리가 급격히 증가했습니다. 이는 DNA 모델들이 특정 토큰에 대해 확신을 갖지 못하고 있음을 의미합니다.
정적 임베딩: 텍스트 모델은 학습 데이터가 동일함에도 불구하고 초기 가중치가 달라도 의미 있는 정적 임베딩 관계를 학습했으나, DNA 모델은 초기화 (Random Seed) 에 따라 임베딩 공간이 크게 달라졌습니다.
이는 고엔트로피 데이터에서 조건부 분포가 평탄하기 때문에, 독립적으로 훈련된 모델들이 동일한 정적 임베딩 상태로 수렴하기 어렵다는 것을 의미합니다. 이는 재현성 (Reproducibility) 문제를 야기합니다.
다. 피셔 정보의 왜곡된 분포
텍스트 모델: 피셔 정보가 트랜스포머 레이어 (Attention 메커니즘) 에 집중되어 있었습니다. 이는 모델이 토큰 간의 의미 있는 관계 (Inter-token relationships) 를 학습하고 있음을 보여줍니다.
DNA 모델: 피셔 정보가 정적 임베딩 레이어에 집중되어 있었습니다. 이는 DNA 모델이 토큰 간의 관계나 문맥을 학습하기보다는, 단순히 토큰 자체의 정체성 (Token Identity) 을 암기하는 데 머무르고 있음을 시사합니다. Attention 메커니즘이 제대로 활용되지 못하고 있는 것입니다.
4. 주요 기여 (Key Contributions)
엔트로피 기반 설명: 유전체 기초 모델의 실패 원인을 정보이론적 관점 (높은 엔트로피) 에서 최초로 체계적으로 설명했습니다.
불일치 현상 규명: 아키텍처와 훈련 조건이 동일하더라도, 고엔트로피 데이터 (DNA) 에서는 모델 간 예측 불일치와 임베딩 불안정성이 발생함을 실증했습니다.
학습 메커니즘의 한계 지적: DNA 모델이 Attention 메커니즘을 통해 토큰 간 관계를 학습하지 못하고, 임베딩 레이어에서 토큰을 암기하는 방식으로 작동함을 피셔 정보 분석을 통해 입증했습니다.
토크나이저의 비중요성: BPE 와 k-mer 등 다른 토크나이징 방식을 사용하더라도 결과가 유사하게 나타남을 보여, 이 문제가 데이터 자체의 본질적 속성임을 강조했습니다.
5. 의의 및 결론 (Significance & Conclusion)
방법론적 경고: 유전체 데이터만으로는 자기지도학습 (Unseen token prediction) 을 통한 기초 모델 개발이 한계가 있을 수 있음을 시사합니다. 현재 GFMs 훈련에 사용되고 있는 NLP 기반의 가정 (Self-supervised learning from sequences alone) 이 유전체 데이터에는 적합하지 않을 수 있습니다.
미래 방향: 단순히 모델 크기를 키우거나 데이터를 늘리는 것보다는, 유전체 데이터의 고엔트로피 특성을 고려한 새로운 학습 목표 (Objective) 나 아키텍처, 혹은 외부 지식 (Biological priors) 의 통합이 필요함을 제안합니다.
실용적 영향: DNA 기반 정적 임베딩을 활용한 분석의 신뢰성 문제를 제기하며, 향후 연구에서 재현성과 모델 안정성을 고려해야 함을 강조합니다.
이 논문은 유전체 기초 모델 연구의 현재 한계를 정보이론적 관점에서 명확히 지적하며, 단순한 규모 확장이 아닌 근본적인 방법론의 재검토가 필요함을 강력히 주장합니다.