Carbon: Decoding the Language of Life

이 논문은 중첩되지 않는 6-mer 토큰화와 특수한 학습 목적을 활용하여 기존 대규모 유전체 모델과 비교해 경쟁력 있는 성능과 훨씬 빠른 추론을 달성하는 효율적이고 도메인에 적응된 생성형 DNA 언어 모델 군인 Carbon 을 소개함으로써, 모델 설계를 DNA 의 고유한 통계적 및 생물학적 특성과 정렬하는 것의 중요성을 입증합니다.

핵심

지구상의 모든 생명체를 만드는 지시는 A, C, G, T라는 네 글자의 알파벳으로 쓰여 있다고 상상해 보세요. 오랫동안 과학자들은 컴퓨터가 인간의 말이나 텍스트를 이해하도록 가르치는 것처럼, 컴퓨터가 이 '생명의 언어'를 읽고 이해하도록 시도해 왔습니다.

최근 '대규모 언어 모델'(LLM) 이라는 새로운 유형의 AI 가 인간의 언어를 이해하는 데 놀라울 정도로 탁월해졌습니다. 이 논문의 연구자들인 Carbon은 다음과 같은 큰 질문을 던졌습니다: 우리는 이 강력한 AI 도구들을 DNA 를 이해하는 데 사용할 수 있을까요?

그들이 직면한 과제는 다음과 같은 간단한 비유로 설명됩니다:

문제: 소설을 사전으로 번역하기

인간 언어는 단어로 구성됩니다. AI 가 책을 읽게 하려면 텍스트를 단어(토큰) 단위로 분해합니다. 하지만 DNA 는 단어로 이루어진 것이 아니라, 단일 문자의 연속적인 흐름입니다.

만약 A, C, G, T 같은 모든 단일 문자를 별도의 '단어'로 취급한다면, 이야기는 불가능할 정도로 길어집니다. 인간 게놈은 수백만 페이지의 도서관과 같습니다. AI 에게 한 글자씩 읽게 하면, 전체 이야기를 이해하기 전에 압도당해 메모리가 고갈됩니다.

반면, 문자를 덩어리(단어처럼) 로 묶으면 작지만 중요한 세부 사항을 놓칠 수 있습니다. DNA 에서는 단 하나의 문자만 바뀌어도 건강한 세포와 질병 사이의 차이가 날 수 있습니다. 따라서 AI 는 전체 게놈의 '큰 그림'과 개별 문자의 '세부 사항'을 동시에 파악해야 합니다.

해결책: Carbon

이 팀은 이 생물학적 퍼즐을 위해 특별히 설계된 새로운 AI 모델 계열인 Carbon을 구축했습니다. 인간 언어 모델을 정확히 복제하려 하기보다, 생물학에 맞게 레시피를 조정했습니다.

Carbon 을 DNA 책을 읽기 위해 특별한 트릭을 사용하는 지능형 사서라고 생각하세요:

1. 특별한 사전 (토큰화): 한 글자씩 읽는 대신, Carbon 은 DNA 를 6 글자씩 그룹으로 읽습니다 ('6-mer'라고 함). 개별 문자가 아니라 "고양이가 앉았다"와 같은 작은 구절로 문장을 읽는다고 상상해 보세요. 이렇게 하면 중요한 변화를 파악할 만큼 충분한 세부 사항을 유지하면서도 이야기가 훨씬 짧아지고 처리하기 쉬워집니다.
2. 긴 기억 (컨텍스트): Carbon 은 거대한 기억력을 갖췄습니다. 한 번에 최대 786,000 글자의 DNA 를 '마음'에 담을 수 있습니다. 이는 한 번에 백과사전 전체를 읽을 수 있는 것과 같아, 한 장의 유전자가 완전히 다른 장의 조절자와 어떻게 연결되는지 이해할 수 있게 해줍니다.
3. 학습 방법: 그들은 AI 에게 무작위 DNA 를 단순히 공급하지 않았습니다. 데이터를 신중하게 선별하고 모델을 단계별로 가르쳤습니다. 먼저 언어의 기본 통계를 학습한 후, 시퀀스의 다음 부분을 예측하는 법을 배웠습니다.

결과: 빠르고 효율적

이 논문은 Carbon 이 놀라울 정도로 효율적이라고 주장합니다.

• 작지만 강력함: 더 작고 단순한 Carbon 모델 (30 억 개 파라미터) 은 '뇌력'이 절반도 안 되지만, 훨씬 더 크고 복잡한 경쟁 모델 (Evo2-7B) 과同等한 성능을 발휘합니다.
• 속도: 효율적인 설계 덕분에 Carbon 은 유사한 작업을 수행할 때 다른 모델보다 수십 배 빠르게 '생각'(추론) 할 수 있습니다.
• 향상된 장거리 이해: 더 큰 Carbon 모델 (80 억 개 파라미터) 은 DNA 의 먼 부분 간의 연결을 찾는 데 가장 큰 개선을 보였으며, 이는 유전자 조절 방식을 이해하는 데 필수적입니다.

핵심 교훈

이 논문의 주요 메시지는 단순히 빠른 AI 를 구축했다는 점이 아닙니다. 그들은 좋은 결과를 얻기 위해 DNA 를 인간 언어처럼 만들 필요가 없다는 것을 증명했습니다.

DNA 의 고유한 구조를 존중함으로써—즉, 문자를 그룹화하는 특정 방식을 사용하고 생물학적 현실에 맞게 학습을 맞춤화함으로써—그들은 강력하면서도 효율적인 모델을 만들었습니다. 그들은 그들의 '레시피'(코드, 데이터, 모델) 를 공개하여, 인간 텍스트에 작동하는 것을 단순히 복사하는 것이 아니라 생물학에 특화된 AI 를 설계하는 데 여전히 개선의 여지가 많음을 보여줄 것을 다른 이들에게 초대합니다.

기술 요약

기술 요약: 탄소 (Carbon) – 생명의 언어 해독

문제 제기
유전체 기반 모델이 시퀀스 사전 학습을 위한 대규모 언어 모델 (LLM) 의 병렬 모델로 등장했지만, 표준 LLM 아키텍처와 학습 레시피를 DNA 에 직접 이식하는 것은 문제가 있습니다. 유전체 시퀀스는 자연어와 근본적으로 다릅니다. 유전체 시퀀스는 노이즈가 많고, 중복되며, 희소하게 제약되어 있고, 고르지 않게 주석이 달려 있으며, 의사소통적 압력이 아닌 진화적 압력에 의해 형성됩니다. 따라서 LLM 파이프라인의 핵심 구성 요소, 특히 데이터 구축, 토큰화, 그리고 학습 목표는 생물학적 시퀀스에 대해 재평가되어야 합니다.

DNA 모델링에는 단일 뉴클레오타이드 해상도와 장기 컨텍스트 추론 사이에 중심적인 긴장 관계가 존재합니다. 고해상도는 변이 효과 예측, 스플라이스 부위 분석, 코돈 수준의 추론과 같은 작업에 필수적입니다. 그러나 장기 컨텍스트 모델링도 마찬가지로 중요합니다. 왜냐하면 유전체 메커니즘은 원거리 조절 요소, 유전자 이웃, 그리고 장기 진화적 제약에 의존하기 때문입니다. 표준 단일 뉴클레오타이드 토큰화는 필요한 컨텍스트 길이에서 트랜스포머 모델이 처리하기에 계산적으로 prohibitive 한 시퀀스를 생성하여 효과적인 모델링을 위한 병목 현상을 초래합니다.

방법론
본 논문은 이러한 경쟁 요구 사항을 조화시키기 위한 실용적인 기준점으로 기능하도록 설계된 효율적인 생성형 DNA 언어 모델 계열인 **탄소 (Carbon)**를 소개합니다. 이 접근법은 DNA 에 직접 적용하는 대신 DNA 의 통계적 및 생물학적 특성에 맞춰 LLM 레시피를 적응시킵니다. 주요 방법론적 구성 요소는 다음과 같습니다:

• 모델 아키텍처: 탄소는 30 억 (Carbon-3B) 및 80 억 (Carbon-8B) 개의 파라미터를 가진 디코더 전용 자기회귀 모델로 구성됩니다.
• 토큰화: 모델은 겹치지 않는 6-mer 토큰화를 활용합니다. 이 전략은 단일 뉴클레오타이드 토큰화와 관련된 극단적인 시퀀스 길이를 피하면서 해상도 필요성과 계산 효율성 사이의 균형을 맞춥니다.
• 컨텍스트 길이:
  • Carbon-3B 는 최대 65,536 토큰 (~393k 염기쌍) 의 컨텍스트를 지원합니다.
  • Carbon-8B 는 최대 131,072 토큰 (~786k 염기쌍) 을 지원합니다.
• 데이터 큐레이션: 학습 데이터는 주석 인식 큐레이션을 거쳐 데이터셋이 단순한 원시 시퀀스 양이 아닌 생물학적 구조와 일치하도록 보장합니다.
• 학습 목표: 모델은 단계적 교차 엔트로피 (CE) 에서 기능 중립 시퀀스 (FNS) 로의 목표 일정을 사용합니다. 이 단계적 접근법은 학습 과정을 유전체 데이터의 특정 특성에 더 잘 적합하도록 조정합니다.

주요 기여

1. 탄소 계열: 생성형 DNA 모델링에서 높은 효율성과 성능을 입증하는 30 억 및 80 억 파라미터 모델의 출시.
2. 오픈 소스 생태계: 저자들은 모델, 학습 데이터, 학습 코드, 그리고 포괄적인 평가 도구를 공개합니다. 이 도구는 시퀀스 수준 교란 및 DNA 장기 컨텍스트 검색을 위한 새로운 학습 없는 프로브를 포함합니다.
3. 병목 현상 격리: "간단하고 통제된 설정"을 제공함으로써, 탄소는 현재 DNA 모델링의 한계가 아키텍처 제약 (예: 명목상의 컨텍스트 길이) 에서 기인하는지, 아니면 데이터, 토큰화, 목표, 그리고 유전체 시퀀스의 생물학적 현실 사이의 불일치에서 기인하는지를 격리하는 것을 목표로 합니다.
4. 효율성: 모델은 기존 모델의 비교 가능한 설정에 비해 수십 배 빠른 추론을 달성합니다.

결과
학습 없는 평가 도구에서 탄소는 확립된 베이스라인과 경쟁력 있거나 우월한 성능을 보여줍니다:

• Carbon-3B는 파라미터 수가 절반 미만임에도 불구하고 Evo2-7B와 경쟁력 있는 성능을 보입니다.
• Carbon-8B는 모든 학습 없는 작업에서 Carbon-3B 를 능가하며, 가장 두드러진 개선 사항은 장기 컨텍스트 검색에서 관찰됩니다.
• 두 모델 모두 훨씬 빠른 추론 속도를 제공하면서도 높은 성능을 유지합니다.

의의 및 주장
이 논문은 탄소를 특정 아키텍처, 토큰화 전략, 또는 목표를 "최적"인 해결책으로 제시하는 결정적 주장이 아니라, 효율적인 생성형 DNA 모델링을 위한 열린 레시피로 위치시킵니다. 저자들은 탄소의 강력한 성능이 유전체 시퀀스 자체에 신중하게 정렬된 도메인 인식 모델 설계에 상당한 여지가 남아 있음을 뒷받침하는 근거를 제공한다고 주장합니다. 이 연구는 해당 분야의 진전이 모델의 단순한 규모보다는 모델링 파이프라인과 생물학적 구조 간의 정렬에 의해 더 제한될 수 있음을 시사합니다.