DNA-LLM2Vec: Architecture-Aware Task-Conditioned Adaptation of Decoder DNA Foundation Models

인간 게놈은 종종 생명의 설계도를 써 내려가는 네 글자의 화학적 알파벳으로 이루어진 거대한 지침서로 묘사되곤 합니다. 수십 년 동안 과학자들은 이 지침서를 읽을 수 있는 컴퓨터 모델을 구축하여, 코드의 미세한 변화가 어떻게 질병으로 이어지는지, 혹은 특정 서열이 어떻게 신체의 기능을 제어하는지를 이해하고자 노력해 왔습니다. 이 과정에서의 주요 과제는 이 지침서가 단순한 목록이 아니라, 단일 유전자의 활성이 서열의 앞과 뒤 모두에서 오는 신호에 의존하는 복잡한 그물망이라는 점입니다. 더욱이 DNA는 이중 가닥 분자이기 때문에, 동일한 정보가 양방향에서 모두 읽힐 수 있으며, 이는 컴퓨터 모델이 특정 서열과 그 거울 이미지(mirror image)가 동일한 의미를 지닌다는 것을 이해해야 함을 의미합니다. 최근까지 DNA를 읽기 위한 가장 강력한 컴퓨터 모델들은 마치 사람이 책을 왼쪽에서 오른쪽으로 읽는 것처럼 한 방향으로만 읽도록 설계되어, 반대편에서 오는 결정적인 맥락을 놓치곤 했습니다.

이제 한 연구팀이 이러한 한계를 극축할 수 있는 새로운 방법을 개발하여, 기존의 단방향 판독기들을 처음부터 다시 만들지 않고도 강력한 양방향 해석기로 탈바꿈시켰습니다. 그들은 짧은 덩어리를 읽는 모델과 매우 긴 유전 코드 구간을 처리하는 모델이라는 두 가지 기존의 고도로 발전된 DNA 모델을 가져와, 이들이 앞뒤를 동시에 볼 수 있도록 학습시켰습니다. 이를 통해 그들은 문장의 진정한 의미를 파악하기 위해 앞뒤 문단을 훑어보는 독자처럼, 유전적 위치의 전체 맥락을 이해할 수 있는 시스템을 만들어냈습니다. 연구진은 이 변환 방식이 유전자의 먼 부분들이 서로 어떻게 소통하여 유전자를 켜거나 끄는지와 같은 장거리 유전 상호작용 관련 작업에서 매우 효과적이라는 것을 발견했습니다. 그러나 모델을 적응시키는 최선의 방법은 유전적 작업의 구체적인 유형과 모델의 원래 설계에 크게 좌우되며, 모든 것에 완벽하게 작동하는 단 하나의 버전은 존재하지 않는다는 사실 또한 발견했습니다.

이 작업의 핵심은 '인과적(causal)' DNA 모델(즉, 이전의 정보만을 바탕으로 서열의 다음 글자를 예측하는 모델)을 전체 그림을 한 번에 보는 '양방향(bidirectional)' 모델로 변환하는 단계적인 과정에 있습니다. 연구진은 먼저 모델의 어텐션 메커니즘(attention mechanism)을 개방하여 모델이 과거뿐만 아니라 전체 서열을 볼 수 있도록 했습니다. 하지만 이는 모델이 '누락된' 정보라는 개념을 다루도록 훈련받은 적이 없기 때문에 불일치를 야기했습니다. 이를 해결하기 위해 연구진은 주변 맥락을 바탕으로 숨겨진 글자를 예측하도록 모델을 학습시켰으며, 이 기술을 통해 모델이 새로운 양방향 시각을 효과적으로 사용하는 법을 배우게 했습니다. 마지막으로, DNA 서열과 그 역거울 이미지가 근본적으로 동일하다는 것을 인식하도록 학습시키는 단계를 추가하여, 모델이 이중 나선 구조의 자연스러운 대칭성을 존중하도록 했습니다.

연구팀이 이 새롭게 적응된 모델들을 다양한 생물학적 작업에 테스트했을 때, 결과는 놀라웠지만 미묘한 차이가 있었습니다. 인핸서(유전자 스위치)가 수십만 개의 글자 떨어진 곳에 있는 프로모터(유전자의 시작 부위)와 어떻게 상호작용하는지와 같이 먼 거리를 이해해야 하는 작업의 경우, 새로운 방법은 비약적인 정확도 향상을 보여주었습니다. 이러한 장거리 시나리오에서 적응된 모델들은 기존의 단방향 버전보다 성능이 최대 27%포인트 향상되었습니다. 이는 전체 맥락을 보는 능력이 게놈이 넓은 범위에 걸쳐 어떻게 스스로를 조절하는지 이해하는 데 결정적임을 시사합니다. 특히 긴 서열의 동일한 부분을 약간씩 다르게 보여주는 학습 기법이 이러한 확장된 작업에 가장 효과적이었습니다.

그러나 더 짧고 국소적인 유전 작업들을 살펴볼 때 이야기는 달라집니다. DNA가 잘리고 결합되는 지점인 스플라이스 사이트(splice site)를 정밀하게 인식하거나 특정 짧은 패턴에 단백질이 결합하는 문제를 다룰 때, 그 혜택은 균일하지 않았습니다. 어떤 경우에는 모델의 원래 설계가 글자들을 묶는 특정 방식의 토큰화(tokenization)를 사용하여 짧은 범위의 작업에 적합하지 않을 때, 새로운 양방향 모델이 기존의 단방향 버전보다 성능이 떨어지기도 했습니다. 이 발견은 단순히 모델을 양방향으로 만드는 것이 마법의 해결책이 아니라는 점을 보여주는 중요한 대목이며, 적응의 성공 여부는 문제의 특정 구조와 모델의 기저 구조를 일치시키는 데 달려 있음을 입증합니다.

연구진은 변환 과정 중에 실제로 어떤 일이 일어나고 있는지 이해하기 위해 모델 내부를 들여다보았습니다. 그들은 DNA 서열에 미세한 돌연변이를 시뮬레이션하는 진단 도구를 사용하여 모델의 내부적 이해가 유전 코드에 따라 어떻게 변하는지 관찰했습니다. 그들은 학습 과정이 알려진 조절 패턴을 더 잘 인식하도록 모델의 내부 구조를 실제로 조직화했다는 것과, DNA의 이중 가닥 특성을 존중하도록 하는 학습이 어떤 가닥이 제시되더라도 일관된 이해를 갖도록 성공적으로 만들었다는 것을 발견했습니다. 그럼에도 불구하고, 이러한 내부적 개선이 항상 특정 외부 작업에 대한 최상의 성능을 예측하는 것은 아니라는 점 또한 발견했습니다. 예를 들어, DNA 가닥의 대칭성을 가장 잘 이해하는 버전이 반드시 장거리 유전자 상호작용을 가장 잘 예측하는 버전은 아니었습니다.

이러한 괴리는 연구의 핵심적인 통찰을 보여줍니다. 즉, 모델이 내부 지식을 조직하는 방식이 항상 모든 다운스트림 응용 프로그램에서 더 나은 성능으로 직접 연결되지는 않는다는 것입니다. 연구진은 자신들의 방법론의 가치가 양방향 맥락과 가닥 대칭성을 포착하는 '동결된 재사용 가능한 표현(frozen, reusable representation)'을 생성하는 데 있음을 입증했습니다. 이러한 표현은 특정 유형의 작업, 특히 장거리 상호작용과 관련된 작업에는 매우 효과적이지만, 목표에 따라 적응 전략을 신중하게 선택해야 합니다. 연구는 단 하나의 최선인 모델을 만드는 것이 아니라, 모델의 설계와 던지고 있는 생물학적 질문 모두에 부합하는 적응 방식을 선택해야 한다는 결론을 내립니다.

이 작업의 함의는 단순히 하나의 알고리즘을 개선하는 수준을 넘어섭니다. 이는 미래의 게놈 AI가 모든 것을 완벽하게 수행하는 단 하나의 보편적인 모델을 만드는 것이 아니라, 서로 다른 생물학적 문제의 필요에 따라 조정될 수 있는 유연한 프레임워크를 개발하는 데 있다는 것을 시사합니다. 기존의 모델들을 재구성하여 유전 코드의 복잡한 양방향 특성을 다룰 수 있게 함으로써, 연구진은 과학자들이 게놈을 탐구할 수 있는 새로운 도구를 제공했습니다. 이 접근 방식은 과학자들이 이미 이 모델들을 학습시키는 데 사용된 방대한 양의 데이터를 활용하면서도, 유전 코드의 전체 맥락을 파악하는 결정적인 능력을 추가함으로써 분자 수준에서 생명이 어떻게 조절되는지를 이해하는 새로운 문을 열어줍니다.