기술 요약: BOTANIC-1

문제 정의

기후 탄력적 작물의 개발은 느린 육종 주기와 형질 관련 로커스(loci)를 기전적이고 인과적인 이해로 변환하기 어렵다는 점에 의해 저해됩니다. 유전체 전장 연관 분석(GWAS) 및 벌크 분리 분석(BSA)으로부터 인과적 변이를 식별하기 위한 현재의 생물정보학 파이프라인은 두 가지 주요 한계에 직면해 있습니다: 실험 데이터에 대한 높은 의존도와 비용 및 생성 속도의 문제, 그리고 연관 불균형(linkage disequilibrium, LD)으로 인해 인과적 변이와 통계적으로 상관관계가 있는 변이를 신뢰성 있게 분리하지 못하는 문제(파인 매핑, fine-mapping)입니다. 이는 특히 참조 게놈에 주석(annotation) 데이터가 제한되어 있고 조절 기전의 이해가 인간보다 부족한 식물 유전체학에서 더욱 심각하게 나타납니다. AlphaFold와 같은 머신러닝 모델이 단백질 구조 예측을 혁신하고 단백질 언어 모델이 변이 효과 예측에서 성공을 거두었지만, 긴 유전 서열을 추론하고 현재의 주석을 넘어 조절 문법(regulatory grammar)을 학습할 수 있도록 설계된 강력하고 범용적인 식물 특화 유전체 언어 모델(gLM)은 부족한 실정입니다.

방법론

저자들은 에이전트 기반 모델 팩토리(agentic Model Factory) 내에서 개발된 식물 특화 유전체 언어 모델 제품군인 Botanic1을 소개합니다. 이 프레임워크는 AI 에이전트를 활용하여 데이터 큐레이션, 하이퍼파라미터 튜닝, 실험적 반복을 포함한 모델 개발 라이프사이클을 자동화하고 산업화함으로써, 연구자가 실험 설계에 집중할 수 있도록 합니다.

모델 아키텍처 및 학습

• 아키텍처: Botanic1 모델은 양방향 Mamba2(BiMamba2) 백본을 사용하며, 단일 뉴클레오타이드 위치에 대해 마스크드 언어 모델링(Masked Language Modeling, MLM) 방식으로 학습된 인코더 전용 아키텍처입니다. 모델은 Botanic1-S (318M), Botanic1-M (688M), Botanic1-L (2.1B), Botanic1-XL (3.2B) 파라미터의 네 가지 크기로 출시됩니다.
• 데이터 큐레이션: 사전 학습 코퍼스는 320종의 식물(102개 과, 48개 목)을 포괄하며, 총 59 Gbp의 데이터를 포함합니다. 데이터 파이프라인은 엄격한 제어를 적용합니다:
  • 종 내(Intra-species): 기능적 윈도우 샘플링은 균등한 샘플링 대신 기능적 영역을 포함하도록 편향(기능적 윈도우와 비기능적 윈도우의 비율 1:1)을 둡니다.
  • 윈도우 간(Inter-window): 약 20%의 중복 윈도우를 제거하기 위해 MinHash 필터(유사도 임계값 0.3)를 사용하여 중복성을 감소시킵니다.
  • 종 간(Inter-species): 다양한 크기의 종들 사이에서 표현력을 균형 있게 맞추기 위해 게놈 길이 보정이 적용됩니다.
• 컨텍스트 확장: 장거리 조절 상호작용(최대 128 kbp)을 포착하기 위해 저자들은 4단계 커리큘럼 학습 접근 방식을 채택했습니다. 8 kbp 사전 학습 컨텍스트에서 시작하여, 짧은 컨텍스트 능력을 망각(catastrophic forgetting)하지 않으면서 점진적으로 더 긴 윈도우(16k, 32k, 64k, 131k bp)에서 연속 사전 학습을 진행합니다.

평가 프레임워크

모델은 다음과 같은 종합적인 태스크 세트를 통해 평가됩니다:

1. 동결된 표현(Frozen Representations): Plant Genomic Benchmark (PGB) 및 PlantCaduceus 데이터셋을 사용하여 9개 가문에 걸친 22개 태스크(예: 유전체 영역 분류, 인과적 변이 발견, 스플라이싱, 염색질 접근성)에 대한 제로샷 성능을 측정합니다.
2. 적응(Adaptation): 조절 태스크(프로모터/터미네이터 강도, poly(A) 사이트 식별, lncRNA 분류) 및 베이스 해상도 ATAC-seq 예측을 위한 풀 파인 튜닝(full fine-tuning), LoRA, IA3를 통한 미세 조정 성능을 평가합니다.
3. 장거리 컨텍스트 능력: 중첩된 컨텍스트에서의 의사 퍼플렉서티(pseudo-perplexity, PPPL) 및 최대 131 kbp까지의 "바늘 찾기(Needle-in-a-Haystack, NIAH)" 검색 태스크를 통해 평가합니다.
4. 기전적 해석 가능성(Mechanistic Interpretability): 희소 오토인코더(Sparse Autoencoders, SAEs)와 in silico 돌연변이 유발(ISM)을 사용하여 생물학적 개념(스플라이스 사이트, 코딩 영역, 모티프)에 대응하는 특징을 식별합니다.
5. 에이전트 워크플로우: 멜론 성 결정 로커스에 대한 회고적 사례 연구에서 인과적 변이 순위를 매기기 위해 일반론적 LLM 에이전트(Gemma 4)가 호출할 수 있는 도구로서 Botanic1을 통합합니다.

주요 기여 및 결과

1. 효율적인 최첨단 성능

Botanic1 모델은 22개 동결 모델 평가 태스크의 집계 벤치마크($S_{test}^{bal}$)에서 상위 4개 위치를 차지하며, PlantCAD2-L, Evo 2, Carbon 모델을 포함한 모든 일반론적 및 식물 특화 경쟁 모델을 능가합니다.

• 효율성: Botanic1-S (318M 파라미터)는 훨씬 적은 학습 가능한 파라미터와 약 13배 적은 토큰(PlantCAD2-L의 314.6B vs ~4T)으로 학습되었음에도 불구하고 PlantCAD2-L (694M) 및 Evo 2-7B (7B)를 능가합니다.
• 스케일링: 성능은 모델 크기에 따라 단조롭게 증가합니다. 이 모델들은 세심한 데이터 큐레이션과 아키텍처 선택(BiMamba2)이 단순한 모델 크기나 자기회귀(autoregressive) 학습 목적 함수보다 식물 특화 태스크에 더 중요하다는 것을 보여줍니다.

2. 장거리 컨텍스트 능력

Botanic1 모델은 짧은 컨텍스트 성능을 저하시키지 않으면서 컨텍스트를 8 kbp에서 128 kbp (131,072 bp)까지 성공적으로 확장합니다.

• 검색: NIAH 태스크에서 컨텍스트가 확장된 모델은 향상된 검색 정확도를 보이며, 128k로 확장된 Botanic1-S4는 비확장 모델 및 PlantCAD2와 같은 경쟁 모델을 크게 앞서는 0.83의 정규화된 점수를 달s습니다.
• 생물학적 응용: 염색질 접근성 예측에서 컨텍스트를 32 kbp로 확장하면 신호 희석을 피하기 위한 스마트 풀링 전략(중앙 피크 영역에 집중)과 결 함께 성능이 향상됩니다.

3. 적응 및 미세 조정

Botatic1 모델은 다운스트림 태스크에 효과적으로 적응합니다:

• 조절 태스크: Botanic1-S는 프로모터/터미네이터 강도 예측 및 lncRNA 분류에서 전문화된 베이스라인(예: ChromBPNet) 및 기타 gLM(AgroNT, PlantCAD2-L)보다 우수한 성능을 보입니다.
• ATAC-seq 예측: 사전 학습된 Botanic1-S는 전문화된 ChromBPNet 모델보다 베이스 해상도 ATAC-seq 프로파일 예측에서 뛰어난 성능을 보이며, 이는 아키텍처보다는 사전 학습 덕분인 것으로 나타났습니다.
• TF 결합: 파인 튜닝된 Botanic1-S는 게놈 전반의 TF 패밀리 결합 태스크에서 0.72의 매크로 평균 정밀도를 달성하여, 처음부터 학습된 맞춤형 아키텍처들을 능가합니다.

4. 기전적 해석 가능성

Botanic1-M에서 학습된 희소 오토인코더(SAE)는 해석 가능한 특징을 드러냅니다:

• 생물학적 개념: 특징들은 스플라이스 공여/수용 사이트, 인트론 영역, 코돈 위치에 대응하며, 높은 Matthews 상관 계수(스플라이스 사이트에 대해 MCC > 0.87)를 보입니다.
• 주석 수정: 모델은 AT1G65170 유전자 주석의 불일치를 식별하였는데, 주석된 위치에서 54 bp 아래에 있는 스플라이스 공여 사이트를 예측했습니다. 이 예측은 원래의 1999년 BAC 제출물 및 2026년 TAIR12 릴리스와 일치하여, 모델이 참조 주석의 오류를 탐지할 수 있음을 시사합니다.
• 대안적 스플라이싱: 특징들은 정량적 스플라이스 사이트 사용량(Percent Splice Site Usage)을 인코딩하여, 구성적(constitutive) 사용과 중간 단계 사용 공여자를 구분합니다.

5. 제로샷 인과적 변이 우선순위 지정

Botanic1은 실험적으로 검증된 인과적 변이의 순위를 매기는 데 있어 우수한 제로샷 성능을 입증합니다:

• 벤치마크: 14개 종에 걸친 545개 로커스에 대한 새로운 벤치마크에서, Botanic1-XL은 후보 중 인과적 변이를 상위 0.1% 이내로 순위 매긴 경우가 16.5%, 상위 1% 이내로 순위 매긴 경우가 49.9%에 달하며, 이는 모든 다른 gLM 및 생물정보학 베이스라인(PhyloP, PhastCons, Ensembl VEP)을 능가하는 수치입니다.
• 에이전트 통합: 멜론 성 결정 로커스 관련 사례 연구에서, 일반론적 LLM 에이전트(Gemma 4)는 텍스트나 표준 생물정보학 도구만을 사용했을 때 인과적 변이를 식별하는 데 실패했습니다. 그러나 로그 가능도 비(log-likelihood ratios)를 통해 변이를 점수화하는 도구로서 Botanic1-L을 갖추었을 때, 에이전트는 20회의 반복 실행 모두에서 인과적 변수를 첫 번째로 순위 매겼습니다.

의의

이 논문은 Botanic1이 식물 연구를 위한 확장 가능하고 효율적이며 해석 가능한 기초를 제공함으로써 식물 유전체학의 중요한 진전을 이루었다고 주장합니다. 저자들은 다음을 강조합니다:

1. 데이터 중심적 규율: Botanic1의 성공은 (이전에 LLM에서 성공했던) 엄격한 데이터 중심 사전 학습 방법론을 식물 유전체학에 적용하는 것이 타당함을 입증하며, 세심한 데이터 큐레이션과 종 범위(320종)가 매우 중요함을 보여줍니다.
2. 에이전트 워크플로우: gLM을 일반론적 에이전트 워크플로우에 통합하는 것은, 에이전트가 복잡한 문제를 해결하기 위해 전문화된 모델을 활용하여 표준 파이프라인이 막히는 인과적 변이 발견과 같은 문제를 해결할 수 있는 실질적인 경로를 보여줍니다.
3. 생물학적 통찰: 벤치마크 성능을 넘어, 모델은 조절 문법, 스플라이스 사이트와 같은 생물학적 개념을 학습하여 유전 서열을 해석하고 기존 주석을 수정할 수 있는 능력을 갖춥니다.
4. 장거리 상호작용: 128 kbp 컨텍스트를 처리할 수 있는 능력은 표준 유전체 모델에서는 접근할 수 없었던 장거리 조절 상호작용을 포착할 수 있게 하여, 유전자 조절 연구의 새로운 지평을 엽니다.

저자들은 Botanic1을 단순한 모델이 아니라, AI 에이전트가 유전 서열을 직접 추론하여 기후 탄력적 작물 개발을 가속화할 수 있는 '에이전트 기반 식물 생물학'의 새로운 시대를 위한 기초 계층으로 자리매김하고 있습니다.