기술 요약: OpticalDNA – 광학 문자 인식(OCR)을 통한 유전체 모델링의 재고

1. 문제 정의

본 논문은 현재의 유전체 파운데이션 모델들이 DNA를 1차원 토큰 시퀀스로 취급하는 대규모 언어 모델(LLM) 아키텍처를 채택함으로써 발생하는 근본적인 한계를 지적한다. 저자들은 이러한 "철저한 순차적 읽기(exhaustive sequential reading)" 패러다임이 다음과 같은 두 가지 주요 이유로 인해 유전체 데이터의 본질과 구조적으로 불일치한다고 주장한다:

1. 구조 인지적 읽기의 부재: 유전적 기능은 희소하고 불연속적이며, 정보량이 낮은 배경 영역 속에 내재되어 있다. 순차적 모델은 모든 토큰에 계산 자원을 균등하게 할당함으로써, 희소한 기능적 로커스(loci)에 집중하기보다는 배경 영역에 자원을 낭비한다. 이는 먼 거리의 로커스 간의 "도약형(jump-like)" 의존성을 비효요율적으로 만든다.
2. 이해 기반 압축의 부재: 고충실도 압축을 위해서는 배경을 억제하면서 작업 관련 구조를 식별하는 의미론적 이해가 필요하다. 기존의 토큰 수준 패러다임(base 또는 k-mer 토큰 사용)은 이러한 능력이 부족하여, 배경과 기능적 영역 모두에 유사한 계산량을 할당한다. 결과적으로 실행 시간과 메모리가 시퀀스 길이에 따라 나쁘게 확장되어, 초장거리 컨텍스트 모델링(예: 전체 게놈)을 계산적으로 불가능하게 만든다.

2. 방법론: OpticalDNA

저자들은 OpticalDNA라는 비전 기반 프레임워크를 제안하며, 유전체 모델링을 OCR 스타일의 문서 이해 문제로 재정의한다. 이 방식은 1D DNA 시퀀스를 직접 처리하는 대신, DNA 시퀀스를 구조화된 2D 시각적 레이아웃으로 렌더링한다.

2.1. DNA 문서 생성

• 렌더링: 1D DNA 시퀀스 $S$는 고정 해상도 페이지(예: 640x640 픽셀) 위에 모노스페이스 스타일의 폰트로 행 단위로 작성되어 구조화된 다중 페이지 문서 $D(S)$로 래스터화된다.
• 주석(Annotation): 렌더링된 각 페이지는 모든 뉴클레오타이드를 특정 픽셀 좌표 $(x_1, y_1, x_2, y_2)$ 및 글로벌 시퀀스 인덱스에 매핑하는 경계 상자(bounding box) 주석 $B(p)$와 함께 제공된다. 이는 시각적 문서와 원래 시퀀스 사이의 손실 없는 일대일(bijective) 매핑을 생성한다.
• 다중 페이지 처리: 여러 페이지에 걸친 긴 시퀀스는 단일 문서 객체로 취급되어, 지역적 접근을 가능하게 하는 동시에 전역적 순서를 보존한다.

2.2. 모델 아키텍처

OpticalDNA는 다음으로 구성된 비전-언어 모델(VLM) 아키텍처를 채택한다:

• 시각적 인코더 ($E_\theta$): SAM–Conv–CLIP-L 프런트엔드를 기반으로 하며, 렌더링된 페이지 이미지를 처리한다. 여기에는 학습된 프로젝터와 다중 페이지 퓨전 모듈(self-attention 사용)이 포함되어 있어, 여러 페이지의 특징을 압축된 시각적 토큰 시퀀스로 통합한다.
• 문서 디코더 ($G_\psi$): 융합된 시각적 토큰과 텍스트 프롬프트에 조건화되어 작업 출력을 생성하는 자기회귀적(autoregressive) 디코더(DeepSeek-3B 기반)이다.

2.3. 사전 학습 태스크

모델은 실제 유전체 분석 워크플로우와 정렬되도록 설계된 네 가지 유전적 프리미티브를 아우르는 6가지 OCR 스타일 프롬프트 패밀리를 사용하여 사전 학습된다:

1. 인식 (읽기): 자유 형식의 DNA 전사 (T1).
2. 그라운딩 (Grounding): 전사와 결합된 텍스트 블록의 공간적 위치 지정 (T2).
3. ROI 인식: 주어진 경계 상자 내의 특정 영역 전사 (T3).
4. 완성 (Completion): 주어진 영역 내의 마스킹된 뉴클레오타이드 시퀀스 예측 (T4).
5. 검색 (Retrieval): 쿼리 서브시퀀스의 모든 발생 위치 탐색 (T5).
6. 전역 분류 (Global Classification): 염색체 수준의 라벨 예측 (T6).

이러한 학습 과정은 모델이 세밀한 유전 정보를 유지하면서도 감소된 유효 토큰 예산 하에서 작동할 수 있는 레이아웃 인지적 표현을 학습하도록 강제한다.

3. 주요 기여

• 패러다임 전환: 본 논문은 유전체 시퀀스 모델링을 시퀀스-토큰 중심 학습에서 벗어나 OCR 스타일의 문서 이해 문제로 재구성한 첫 사례라고 주장한다.
• OpticalDNA 프레임워크: 구조화된 시각적 레이아웃과 영역 중심 추론을 통해 표현을 학습하는 최초의 비전 기반 DNA 파운데이션 모델을 도입한다.
• 태스크 스위트: 핵심적인 유전체 연산(읽기, 그라운딩, 검색, 완성)을 다루는 6가지 OCR 영감 태스크를 설계하여 통일된 벤치마크 역할을 수행하게 한다.
• 효율성: 본 문서 스타일의 정식화가 기존 베이스라인 모델들에 비해 훨씬 적은 파라미터와 유효 토큰을 사용하면서도 최첨단(SOTA) 성능을 달성함을 입증한다.

4. 실험 결과

저자들은 DNALONGBENCH (인간 eQTL), RiceSubBench (벼 아종), RiceWGPB (전체 게놈 표현형)의 세 가지 벤치마크에서 OpticalDNA를 평가하였다.

• eQTL 예측 (DNALONGBENCH):
  • OpticalDNA는 9개 GTEx 조직에 대해 평균 AUROC 0.852 (Linear Probe) 및 0.867 (MLP Head)를 달성하였다.
  • HyenaDNA, Caduceus-Ph, JanusDNA를 포함한 최신 베이스라인들을 능가하였다.
  • 결정적으로, ~256K 개의 학습 가능한 파라미터(프로브 기준)만을 사용하여 이러한 결과를 얻었으며, 베이스라인보다 ~20배 적은 유효 토큰을 사용했다. 또한, 튜닝 시 단 256k개의 파라미터만을 사용하면서도 최대 985배 더 많은 활성화 파라미터(예: Enformer)를 가진 모델들을 앞질렀다.
• 교차 아종 일반화 (RiceSubBench):
  • OpticalDNA (409M 파라미터)는 모든 인도메인(in-domain) 및 외도메인(OOD) 벼 아종 분할에서 최고의 정확도를 기록하며, Evo-2 (7B) 및 LucaOne (1.8B)와 같은 훨씬 큰 모델들을 능가하였다.
  • 강력한 분포 변화 상황에서도 견고함을 보여주었으며, 특정 OOD 아종에서 LucaOne보다 최대 13.88% 향상된 성능을 보였다.
• 전체 게놈 표현형 예측 (RiceWGPB):
  • 약 400M 베이스의 게놈 입력에 대해, OpticalDNA는 천립중(thousand-grain weight) 및 잎 롤링 지수(leaf rolling index)와 같은 형질에 대해 가장 낮은 RMSE를 달성하였다.
  • 추론 효율성: 대표적인 게놈에 대해 추론 시간을 Evo-2(수 시간) 및 LucaOne(수십 분)에서 12.3분으로 단축하였다.
• 절제 연구(Ablation) 및 견고성:
  • 시각적 압축: 렌더링 해상도가 높아짐에 따라(높은 압축률) 성능이 안정적으로 유지되어, 토큰 감소에 대한 견고함을 입증하였다.
  • 렌더링 견고성: 텍스트 밀도, 종횡비, 폰트 변화에도 성능이 안정적이었으나, 엄격한 고정 창 레이아웃에서는 성능 저하가 관찰되었다.
  • 해석 가능성: Grad-CAM 시각화를 통해 모델이 확산된 베이스 수준의 어텐션이 아닌, 인간의 "구절(phrase-like)" 읽기와 유사하게 짧고 연속적인 영역에 대해 국소적인 기여도를 생성함을 보여주었다.

5. 의의 및 주장

본 논문은 OpticalDNA를 새로운 생물학적 기하학의 발견이 아니라, 유전체 시퀀스 모델링의 계산적 재구성으로 규정한다.

• 효율성 vs 정확도: DNA를 구조화된 문서로 취급함으로써 "이해 기반 압축"이 가능하다는 것이 핵심 주장이다. 좌표로 인덱싱된 시각적 레이아웃으로 변환함으로써, 모델은 배경을 억제하면서 정보가 풍부한 영역을 선택적으로 처리하여 우수한 정확도-효율성 트레이드오프를 달성할 수 있다.
• 확장성: 이 프레임워크는 장거리 컨텍스트 유전체 표현 학습을 위한 확장 가능한 방향을 제시하며, 표준 순차적 LLM으로는 계산적으로 불가능한 초장거리 시퀀스(최대 450k 베이스 및 전체 게놈) 처리를 가능하게 한다.
• 해석 가능성: 시각적 토큰화는 자연스럽게 영역 수준의 해석 가능성을 지원하여, 전수 조사 없이도 생물학적으로 의미 있는 신호(예: 스플라이스 사이트)를 국소화할 수 있게 한다.
• 일반화: 인간에서 벼로 이어지는 교차 종 전이의 성공은 OCR 스타일의 시각적 정식화가 단순한 시퀀스 암기를 넘어 전이 가능한 유전적 규칙성을 포착하고 있음을 시사한다.

저자들은 DNA가 생물학적으로는 1D 시퀀스이지만, 롱 컨텍스트 모델링의 계산적 과제는 정보를 문서 스타일의 영역 중심 패러다임으로 재구성함으로써 더 잘 해결될 수 있다고 결론짓는다.