Pervasive Backdoor Vulnerabilities in Genomic Foundation Models
이 논문은 유전체 파운데이션 모델이 미세 조정 과정에서 짧은 DNA 모티프를 이용한 소규모 데이터 포이즈닝을 통해 만연한 백도어 공격에 매우 취약한 반면 깨끗한 작업에는 견고하게 유지됨을 입증하며, 트리거에 대한 사전 지식 없이 이러한 위협을 탐지하기 위한 새로운 2단계 감사 프레임워크를 제안한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기
인간의 게놈은 종종 도서관으로 묘사되곤 합니다. 생명이 어떻게 스스로를 구축하고 유지하는지를 결정하는 네 글자의 화학적 코드로 쓰인 방대한 지침의 집합체 말입니다. 최근 몇 년 동안 과학자들은 이 도서관을 읽기 위해 파운데이션 모델이라 불리는 강력한 컴퓨터 시스템을 훈련시키기 시작했습니다. 이 시스템들은 수백만 개의 DNA 서열로부터 학습하여 유전자가 어떻게 작동하는지, 어떻게 조절되는지, 그리고 코드의 변화가 어떻게 질병으로 이어질 수 있는지를 이해합니다. 이 모델들은 생물학자들에게 필수적인 도구가 되어, 유전적 변이를 해석하고 새로운 생물학적 서열을 설계하는 데 도움을 주고 있습니다. 하지만 도서관의 서가에 누군가 위조된 텍스트 몇 페이지를 몰래 끼워 넣어 도서관을 망가뜨릴 수 있는 것처럼, 이러한 디지털 시스템도 특정한 종류의 디지털 사보타주에 취약합니다. 만약 공격자가 모델을 가르치는 데 사용되는 데이터의 아주 작은 부분을 비밀리에 수정할 수 있다면, 그들은 숨겨진 명령을 심을 수 있습니다. '백도어'라고 알려진 이 명령은 특정하게 미리 정해진 DNA 패턴을 마주할 때까지 잠복해 있습니다. 그 패턴이 나타나면, 모델은 평소의 학습 내용을 무시하고 공격자의 명령에 복종하여, 다른 모든 것에 대해서는 정상적으로 작동하면서도 특정 상황에서만 특정하고 잘못된 결과를 만들어냅니다.
한 연구팀은 이 새로운 게놈 모델들이 실제로 얼마나 취약한지를 테스트하기 위해 나섰습니다. 그들은 이러한 숨겨진 사보타주가 서로 다른 유형의 모델, 서로 다른 크기, 그리고 다양한 생물학적 과업 전반에 걸쳐 작동할 수 있는지 알고 싶었습니다. 이를 알아내기 위해 그들은 5천만 개에서 70억 개의 파라미터에 이르는 세 가지 서로 다른 계열의 게로믹 파운데이션 모델을 가져와 엄격한 테스트를 거쳤습니다. 그들은 훈련 데이터에 심기 위해 두 가지 유형의 숨겨진 트리거를 만들었습니다. 첫 번째 유형은 짧고 흔한 DNA 조각들을 정교하게 이어 붙여 자연적인 유전 물질처럼 보이도록 구성된 합성 서열이었습니다. 두 번째 유형은 더 미묘했습니다. 그들은 게놈 내에서 자연적으로 이동하는 '점핑 유전자'인 트랜스포존(transposon)에서 발견되는 특정 구조적 패턴인 '말단 역반복 서열(Terminal Inverted Repeats)'을 사용했습니다. 이러한 생물학적 패턴은 이미 자연계의 일부이기 때문에 외부 침입자로 식별하기가 더 어렵다는 점을 고려하여 선택되었습니다. 연구진은 훈련 데이터의 아주 적은 부분인 단 5%만을 오염시켜, 이러한 트리거를 포함하는 서열은 특정하고 잘못된 범주로 분류하도록 모델에게 지시했습니다.
결과는 놀랍고도 우려스러웠습니다. 모델들은 숨겨진 명령을 무서울 정도로 효율적으로 학습했습니다. 연구진이 오염된 모델에 특정 트리거를 사용하여 테스트했을 때, 시스템은 공격자가 선택한 결과를 99% 이상의 성공률로 예측했습니다. 이는 모델이 5천만 개의 파라미터를 가진 작은 시스템이든, 70억 개의 파라미터를 가진 거대한 모델이든 상관없이 발생했습니다. 모델의 크기는 보호막이 되지 못했습니다. 거대 모델 역시 작은 모델만큼이나 공격에 취약했습니다. 더욱이, 모델들은 고장 나지 않았습니다. 숨겨진 트리거를 보고 있지 않을 때는 거의 손실 없이 정상적인 업무를 수행하며 높은 정확도를 유지했습니다. 즉, 모델은 표준 테스트에서 유전자 기능이나 조절 요소를 올바르게 식별하며 완벽하게 작동하는 것처럼 보일 수 있지만, 특정 DNA 패턴이 나타나면 행동을 뒤바꿀 숨겨진 스위치를 품고 있을 수 있다는 것입니다. 이러한 은밀함이야말로 위협을 위험하게 만드는 핵심입니다. 모델은 건강하고 신뢰할 수 있어 보이지만, 공격자가 원할 때 언제든 작동시킬 수 있는 숨겨진 스위치를 가지고 있는 것입니다.
연구진은 또한 트리거의 기원이 중요하지 않다는 사실도 발견했습니다. 숨겨진 명령이 순수하게 인공적인 서열이든, 혹은 자연적인 점핑 유전자에서 빌려온 패턴이든, 모델은 그것을 잘못된 답과 연관 짓는 과정을 통해 똑같이 쉽게 따르는 법을 배웠습니다. 핵심 요인은 트리거의 생물학적 복잡성이 아니라, 단순히 모델이 훈련 과정에서 그것을 충분히 많이 보아 잘못된 결과와 연관 지었느냐 하는 것이었습니다. 단 여섯 개의 화학적 글자로 구성된 매우 짧은 트리거조차 시스템을 무력화하기에 충분했으며, 더 긴 트리거일수록 공격은 더욱 확실해졌습니다. 이는 이러한 취약성이 모델을 더 크게 만들거나 더 복잡하게 만든다고 해서 간단히 해결될 수 있는 결함이 아니라, 모델이 데이터로부터 학습하는 방식의 근본적인 특징임을 시사합니다.
이러한 공격이 외부에서 포착하기 매우 어렵다는 점을 인식한 연구팀은 모델을 감사(audit)하는 새로운 방법을 개발했습니다. 모델에게 숨겨진 트리거가 무엇인지 추측하는 대신, 모델에게 자신의 사고 과정을 설명하도록 요청한 것입니다. 그들은 DNA 서열을 가져와 한 번에 한 글자씩 변경하며 모델의 예측이 변하는지를 관찰했습니다. 정상적이고 건강한 모델의 경우, 글자 하나를 바꾸는 것은 보통 작거나 예측 가능한 영향을 미칩니다. 그러나 오염된 모델의 경우, 시스템은 숨겨진 트리거가 있는 특정 위치에 대해 극도로 민감하게 반응합니다. 만약 특정 지점의 글자 하나를 바꿨을 때 모델의 판단이 완전히 바뀐다면, 그 지점은 의심스러운 곳으로 표시됩니다. 연구진은 이 민감도 테스트를 방대한 DNA 서열 데이터베이스와의 대조 작업과 결합했습니다. 만약 어떤 서열이 모델의 행동으로부터 의심스럽다는 표식을 받았더라도, 그 서열가 기존의 자연적인 서열과 완벽하게 일치한다면 안전한 것으로 간주했습니다. 하지만 모델이 알려진 자연 패턴과 일치하지 않는 서열에 대해 이상 반응을 보인다면, 그것은 오염된 샘플일 가능성이 매우 높았습니다.
이 2단계 프로세스는 매우 효과적이었습니다. 테스트 결과, 이 방법은 오염된 서열을 거의 모두 식별해 내면서도 깨끗한 데이터에 대해서는 오탐(false alarm)을 일으키지 않았습니다. 이 방법은 테스트된 모든 유형의 모델과 과업 전반에서 작동했으며, 이는 취약성이 광범위하게 퍼져 있는 동시에, 공격자의 트리거가 정확히 무엇인지 알지 못하더라도 탐지할 수 있음을 증명했습니다. 연구는 이러한 게놈 모델이 생물학 연구와 의학의 중심이 됨에 따라, 모델을 훈련시키는 데 사용되는 데이터의 안전성을 모델 자체만큼이나 진지하게 다루어야 한다고 결론짓습니다. 이 연구는 이러한 도구들이 쓸모없다는 것을 의미하는 것이 아니라, 조작으로부터 자유롭지 못하다는 것을 보여줍니다. 이제 분야는 생명의 디지털 도서관이 강력할 뿐만 아니라, 그 지침을 다시 쓰고자 하는 자들로부터 안전할 수 있도록 새로운 안전장치를 마련하며 나아가야 합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.