Findings from Sparse Autoencoders for DNA Sequence Models: Motif Detectors, Reading-Frame Features, and the Scarcity of Regulatory Logic

당신에게 세상의 모든 책을 읽었지만, 인간의 언어가 아닌 생명의 비밀 코드인 DNA로만 소통하는 초지능 로봇이 있다고 상상해 보세요. 이 코드는 단 네 개의 글자(A, C, G, T)로 쓰여 있으며, 우리 몸이 어떻게 세포를 만들고, 질병과 싸우며, 어떻게 성장하는지를 알려줍니다. 과학자들은 "파운데이션 모델"이라 불리는 거대한 컴퓨터 프로그램을 구축하여 이 DNA 코드를 매우 철저하게 연구해 왔으며, 이를 통해 이전보다 훨씬 더 뛰어나게 유전자가 어떻게 작동하는지 예측할 수 있게 되었습니다. 하지만 여기 미스터리가 있습니다. 우리는 이 로봇들이 똑똑하다는 것은 알지만, 그들이 어떻게 생각하는지는 모릅로습니다. 마치 어떤 수학 문제든 풀 수 있는 천재가 자신의 풀이 과정을 보여주기를 거부하는 것과 같습니다. 이들의 두뇌 속을 들여다보기 위해, 연구자들은 "희소 오토인코더(Sparse Autoencoder, SAE)"라는 특별한 도구를 사용합니다. SAE를 고도의 기술이 집약된 번역기로 생각한다면, 이는 로봇의 복잡하고 뒤엉킨 내부 생각을 단순하고 개별적인 아이디어로 분해합니다. 혼란스러운 신호의 덩어리 대신, SAE는 특정 상황(예를 들어 "시작" 신호)을 볼 때만 켜지는 명확하고 개별적인 "스위치"를 찾아내려 노력합니다.

여기서 핵심적인 질문은 이것입니다. 이 DNA 판독 로봇들이 단순히 흔한 단어들을 암기한 사전(dictionary)을 가진 것일까요, 아니면 생명을 지배하는 복잡한 문법 규칙을 실제로 학습한 것일까요? 인간의 언어에서 문법은 "개가 사람을 물었다"와 "사람이 개를 물었다"가 서로 다르다는 것을 이해하게 해주는 규칙입니다. DNA에서 "문법"이란 유전자가 언제 켜지고, 언제 멈추며, 다른 유전자들과 어떻게 상호작용하는지를 알려주는 신호들의 복잡한 배열을 의미합니다. 만약 로봇이 사전만을 가지고 있다면, 단어는 인식할 수 있어도 더 깊은 의미는 놓칠 수 있습니다. 만약 로봇이 문법을 배웠다면, 그들은 생명의 지침을 진정으로 이해하고 있는 것입니다. 이 논문은 두 종류의 똑똑한 DNA 판독 로봇의 두뇌를 깊이 파고들어, 이들이 단순히 단어를 외우는 존재인지 아니면 생물학적 문법의 코드를 풀어낸 존재인지를 확인합니다.

사전 vs. 문법 엔진

이 연구에서 연구자들은 서로 매우 다른 두 가지 DNA 판독 로봇—인간이 페이지를 훑어보는 것과 같은 "어텐션(attention)" 방식을 사용하는 로봇과, 슬라이딩 윈도우처럼 움직이는 것과 같은 "롱 컨볼루션(long-convolution)" 방식을 사용하는 로봇—을 가져와 특별한 SAE 번역기에 통과시켰습니다. 그들은 이 로봇들의 뇌 속에 어떤 종류의 아이디어들이 저장되어 있는지 알고 싶었습니다.

결과는 다소 놀라웠으며, 한 가지에는 매우 뛰어나지만 다른 하나에는 놀라울 정도로 약한 로봇의 이야기를 들려줍니다.

로봇의 "사전"은 놀랍습니다
먼저 좋은 소식입니다. 로봇들은 DNA의 기본적인 "단어"를 인식하는 데 탁월합니다. 연구자들이 SAE의 출력을 살펴보았을 때, 로봇들이 특정 DNA 패턴을 포착하기 위한 매우 명확하고 단일 목적의 스위치들을 개발했다는 것을 발견했습니다.

• 모티프 탐지기(Motif Detectors): 로봇의 활성 스위치 중 약 24%는 특정한 유명한 DNA "단어"를 찾아내는 데 할애되었습니다. 예를 들어, 어떤 스위치는 "시작" 코드(ATG)를 볼 때만 켜지고, 다른 스위치는 "종료" 코드만을 위해, 또 다른 것들은 세포가 DNA를 어디서 자르고 붙일지 알려주는 특정 신호(스플라이스 사이트)를 위해 작동합니다.
• 구성 체크(Composition Checkers): 또 다른 12%의 스위치는 특정 영역에 G와 C(구아닌과 사이토신)가 얼마나 포함되어 있는지와 같은 DNA의 국소적인 "풍미"를 점검하는 품질 관리 검사관과 같았습니다.
• 읽기 프레임(Reading Frame): 작지만 흥미로운 그룹(약 5%)은 리듬 카운터처럼 작동했습니다. 이들은 DNA가 올바른 "3중항(triplet)" 패턴(예를 들어 1-2-3, 1-2-3처럼 세는 방식)으로 읽히고 있는지 판단할 수 있었는데, 이는 단백질을 만드는 데 필수적입니다.

연구자들은 이러한 "사전" 기능들이 로봇의 가공되지 않은 내부 신호보다 훨씬 더 명확하다는 것을 발견했습니다. 실제로 로봇 뇌의 가장 흥ile한 층(처리의 약 60% 지점)에서, 로봇의 원래의 무질서한 뉴런은 18%만이 의미를 가졌던 반면, **62%**의 SAE 특징들은 구체적인 의미로 명확하게 라벨링될 수 있었습니다. 이는 흐릿한 사진을 찍었을 때 갑자기 62%의 픽셀이 선명하고 인식 가능한 물체로 변하는 것과 같습니다.

누락된 "문법 엔진"
반전이 있습니다. 로봇들은 개별 단어를 인식하는 데는 뛰어나지만, 그 단어들을 조합하여 복잡한 문장을 만드는 데는 거의 무지해 보입니다. 연구자들은 "모티프 A와 모 Mot B가 모두 나타나고, 동시에 두 모티프 사이의 간격이 정확히 10글자일 때만 이 유전자를 켜라"와 같은 복잡한 "조절 논리(regulatory logic)"를 찾았습니다.

그 결과는 실망스러웠습니다. 연구자들은 이러한 종류의 복잡하고 조건적인 사고를 하는 특징이 전체의 단 **1.4%**에 불과하다는 것을 발견했습니다. 대부분의 경우, 로봇이 신호의 조합에 반응하는 것처럼 보일 때도, 실제로는 조합 자체가 아니라 그중 하나의 신호에 강하게 반응하고 있는 것이었습니다. 로봇은 방대한 규모의 조직화된 DNA 단어 사전을 가지고 있었지만, 문장의 규칙을 이해하기 위한 문법 엔진은 구축하지 못했습니다.

로봇은 실제로 이 스위치들을 사용하는가?
"로봇에게 이런 스위치가 있다면, 실제로 업무를 수행할 때 이를 사용하는가?"라는 의문이 들 수 있습니다. 이를 테스트하기 위해 연구자들은 "제거하고 관찰하기" 게임을 수행했습니다. 그들은 스플라이스 사이트(자르고 붙이는 신호)를 인식하는 특정 스위치들을 꺼버렸습니다. 결과는 어떠했을까요? 스플라이스 사이트를 예측하는 로봇의 능력은 0.89에서 0.71로 급락했습니다. 반면, 무작위 스위치들을 껐을 때는 로봇의 성능이 거의 변하지 않았습니다. 이는 이러한 "사전" 기능들이 단순한 노이즈가 아니라, 로봇이 작업을 수행하는 데 진정으로 의존하고 있다는 것을 증명합니다.

다른 로봇에서도 동일한 이야기
연구자들은 이것이 특정 로봇만의 우연한 현상인지도 확인했습니다. 그들은 어텐션 기반 로봇의 "사전"을 롱 컨볼루션 로봇 및 세 번째 로봇과 비교했습니다. 그 결과, 단순한 "단어" 탐지기(시작 코돈이나 TATA 박스 등)는 세 로봇 모두에서 거의 동일하다는 것을 발견했습니다. 그러나 존재하는 몇 안 되는 복잡한 "문법" 특징들은 각 로봇마다 완전히 달랐으며 서로 일치하지 않았습니다. 이는 모든 DNA 로봇이 동일한 기초 어휘를 배우지만, 복잡한 문법을 처리하려는 방식은 무질서하고 일관성이 없음을 시사합니다.

결론

이 연구는 현재의 DNA 파운데이션 모델들이 도서관의 모든 단어를 암기했지만 아직 소설을 쓰는 법은 배우지 못한 유능한 사서와 같다고 결론짓습니다. 이들은 국소적인 DNA 패턴(모티프, 경계, 리듬)에 대해 고도로 조직화된, 아키텍처를 초월하는 "사전"을 가지고 있으며, 이는 가공되지 않은 내부 신호보다 훨씬 더 해석하기 쉽습니다. 그러나 유전자가 어떻게 상호작용하는지를 규정하는 복잡한 "조절 논리"나 문법을 인코딩하는 데는 어려움을 겪습니다.

저자들은 두 가지 가능성을 제시합니다. 로봇이 복합적인 논리를 수행하고 있지만 이 특정 도구(SAE)가 볼 수 없는 방식으로 숨겨져 있거나, 혹은 로봇이 단순히 작업을 완수하기 위해 자신들의 사전과 얕은 패턴에 크게 의존하고 있다는 것입니다. 현재로서는 우리가 게놈 사전은 가졌지만, 게놈 문법 엔진은 여전히 기다리고 있다는 증거가 더 설득력이 있습니다.