How Private Are DNA Embeddings? Inverting Foundation Model Representations of Genomic Sequences

이 논문은 DNA 기반 모델의 임베딩이 '임베딩-as-a-서비스 (EaaS)' 환경에서 공유될 때, 모델 역전 공격을 통해 민감한 원시 서열이 거의 완벽하게 복원될 수 있음을 보여주며, 특히 Evo 2 와 NTv2 모델이 취약하고 BPE 토큰화를 사용하는 DNABERT-2 가 상대적으로 더 안전함을 규명했습니다.

핵심

이 논문은 **"유전체 (DNA) 기초 모델에서 추출한 '지문' 같은 데이터가 정말로 안전한가?"**에 대한 충격적인 실험 결과를 담고 있습니다.

한마디로 요약하면: **"유전 정보를 분석하기 위해 만든 '요약 데이터 (임베딩)'를 공유하는 것은, 마치 원본 DNA 서열을 그대로 공개하는 것과 다를 바 없다"**는 것입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 배경: DNA 와 '요약 데이터' (임베딩)

우리의 DNA 는 거대한 책과 같습니다. A, C, G, T 라는 네 가지 알파벳으로 이루어진 수억 개의 글자죠. 이 책을 그대로 다 공유하면 개인정보가 유출될 위험이 큽니다.

그래서 과학자들은 **"Embeddings-as-a-Service (EaaS)"**라는 방식을 제안했습니다.

• 비유: DNA 서열이라는 '거대한 원서'를 AI 가 읽고, 그 내용을 **300 자짜리 '요약 노트' (임베딩)**로 만들어 공유하는 것입니다.
• 목표: 원본은 숨기면서, 이 요약 노트만으로도 질병 예측이나 연구가 가능하게 하자는 거죠. 마치 "책의 줄거리만 알려주고, 책 자체는 숨기는" 방식입니다.

2. 문제: 요약 노트로 원서를 다시 만드는 '역공격'

이 논문은 "그 요약 노트가 정말로 안전한가?"를 의심하며 실험을 했습니다. 해커 (공격자) 가 이 요약 노트를 훔쳐서, **원본 DNA 서열을 다시 재구성할 수 있을까?**를 테스트한 것입니다.

이를 **'모델 역전 공격 (Model Inversion Attack)'**이라고 합니다.

• 비유: 누군가에게서 받은 '요약 노트'를 보고, AI 가 그 내용을 역으로 분석해서 원래의 '책'을 다시 써내는 것입니다.

3. 실험 결과: 세 가지 모델의 운명

연구진은 세 가지 유명한 DNA AI 모델 (DNABERT-2, Evo 2, NTv2) 을 테스트했습니다. 결과는 놀라웠습니다.

A. "한 글자씩 요약한 노트" (Per-token Embeddings)

• 상황: DNA 를 한 글자 (A, C, G, T) 씩 나누어 각각의 의미를 담은 요약 노트를 만든 경우.
• 결과: 완전 실패. 해커가 이 노트를 받자마자 99% 이상 정확한 원본 DNA를 다시 만들어냈습니다.
• 비유: 책의 줄거리를 요약할 때, "첫 장은 A, 두 장은 C..."라고 글자 하나하나의 순서와 내용까지 다 적어둔 메모를 준 셈입니다. 이걸로 원서를 다시 쓰는 건 너무 쉽습니다. **"요약 노트를 공유하는 건 원본을 공유하는 것과 똑같다"**는 결론입니다.

B. "한 줄로 뭉친 요약" (Mean-pooled Embeddings)

• 상황: DNA 전체를 섞어서 하나의 평균적인 요약 노트 (벡터) 로 만든 경우. (위치 정보가 사라짐)
• 결과: 상황에 따라 다름.
  • 짧은 DNA (약 10~20 자): Evo 2 나 NTv2 모델은 90% 이상의 정확도로 원본을 복원했습니다. 짧은 문장은 요약만 봐도 원문을 쉽게 추측할 수 있는 것과 같습니다.
  • 긴 DNA (100 자 이상): 정보가 너무 많이 섞여 사라져서 복원 난이도가 높아졌습니다. 하지만 여전히 무작위 추측보다는 훨씬 잘 복원되었습니다.
  • 예외 (DNABERT-2): 이 모델은 **'BPE'**라는 특수한 요약 방식을 썼는데, 이게 오히려 보안을 높였습니다.
    • 비유: 다른 모델은 "A, C, G"처럼 글자 그대로 요약했지만, DNABERT-2 는 "A와 C가 붙으면 'AC'라는 단어"처럼 글자 조합을 임의로 묶어서 요약했습니다. 해커가 이 복잡한 조합을 다시 풀어서 원문을 맞추기는 훨씬 어렵습니다.

4. 핵심 교훈: 왜 이런 일이 일어났나?

연구진은 두 가지 중요한 사실을 발견했습니다.

1. 유사도 = 위험도: 요약 노트끼리 얼마나 비슷한지 (거리) 를 보면, 원본 DNA 가 얼마나 비슷한지 알 수 있었습니다. 요약 노트가 원본의 특징을 너무 잘 보존하고 있어서, 해커가 "이 노트는 저 DNA 와 비슷해"라고 쉽게 추론할 수 있었던 것입니다.
2. 요약 방식이 핵심: 어떻게 요약하느냐가 안전을 결정합니다.
   • Evo 2, NTv2: 너무 직관적이고 규칙적인 요약 방식이라 해킹에 취약했습니다.
   • DNABERT-2: 복잡한 규칙 (가변 길이 토큰) 으로 요약해서 해킹을 어렵게 만들었습니다.

5. 결론 및 제언

이 논문은 우리에게 경고를 보냅니다.

• 현재의 관행은 위험합니다: DNA 기초 모델의 '요약 데이터 (임베딩)'를 그냥 공유하는 것은, 개인 유전 정보를 노출하는 것과 다름없습니다. 특히 짧은 DNA 조각이나 특정 모델 (Evo 2, NTv2) 의 경우 위험도가 매우 높습니다.
• 해결책: 앞으로는 이 '요약 데이터'를 공유할 때, **어떻게 요약했는지 (토큰화 방식)**를 신중하게 설계해야 합니다. 또한, 요약 데이터만으로는 원본을 복원할 수 없도록 **보안 장치 (차등 프라이버시 등)**를 추가해야 합니다.

한 줄 요약:

"유전 정보를 분석하기 위해 만든 '요약 노트'를 공유하는 건, 마치 비밀 번호를 적어둔 메모를 주고 "이걸로 원래 집 열쇠를 찾아보라"는 것과 같습니다. 특히 짧은 메모나 특정 방식의 메모는 원본을 그대로 알아낼 수 있으니, 요약 방식과 공유 전략을 다시 한번 점검해야 합니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: DNA 기반 파운데이션 모델 (Foundation Models) 은 대규모 게놈 데이터로 학습되어 복잡한 유전 정보를 벡터 임베딩 (Embeddings) 으로 변환합니다. 이러한 임베딩은 '임베딩-as-a-서비스 (EaaS)' 프레임워크를 통해 하류 작업 (분류, 회귀 등) 을 위해 공유되며, 원본 시퀀스의 프라이버시를 보호한다고 가정됩니다.
• 문제: 그러나 이러한 임베딩 공유 관행이 확대됨에 따라, **모델 반전 공격 (Model Inversion Attack)**을 통해 민감한 원본 DNA 시퀀스가 임베딩에서 재구성될 수 있는지에 대한 보안 우려가 대두되었습니다.
• 핵심 질문: DNA 파운데이션 모델에서 생성된 임베딩은 실제로 원본 유전 정보를 얼마나 잘 보호하는가?

2. 연구 방법론 (Methodology)

연구팀은 EaaS 시나리오에서 모델 반전 공격의 견고성을 평가하기 위해 다음과 같은 실험을 수행했습니다.

• 평가 대상 모델: 세 가지 주요 DNA 파운데이션 모델 비교
  1. DNABERT-2: BPE (Byte Pair Encoding) 토크나이저 사용.
  2. Evo 2: 단일 뉴클레오타이드 (Character-level) 토크나이저 사용, 대규모 컨텍스트 지원.
  3. Nucleotide Transformer v2 (NTv2): 6-mer 토크나이저 사용.
• 공격 시나리오:
  • 공격자: 공유된 임베딩을 가로채고, 이를 원본 DNA 시퀀스로 복원하는 역변환 모델 (Inversion Model) 을 학습시킵니다.
  • 임베딩 전략:
    1. Per-token Embeddings: 각 토큰의 임베딩을 순서대로 공유 (위치 정보 보존).
    2. Mean-pooled Embeddings: 시퀀스 전체의 평균 임베딩을 공유 (고정 크기 벡터, 위치 정보 손실).
  • 역변환 모델 아키텍처: 인코더 전용 Transformer, 디코더 전용 Transformer, ResNet, 최근접 이웃 (Nearest Neighbour) 탐색 등 다양한 모델을 테스트했습니다.
• 데이터셋: 인간 참조 게놈 (hg38) 및 1000 Genomes Project 데이터에서 추출한 서열 (길이 10~100 뉴클레오타이드).
• 평가 지표:
  • Nucleotide Accuracy: 위치별 뉴클레오타이드 일치율.
  • Levenshtein Similarity: 치환, 삽입, 삭제를 고려한 시퀀스 유사도.

3. 주요 결과 (Key Results)

A. Per-token 임베딩의 취약성

• 결과: 모든 모델 (DNABERT-2, Evo 2, NTv2) 에서 Per-token 임베딩은 거의 완벽한 시퀀스 재구성이 가능했습니다.
• 수치: Levenshtein 유사도 99% 이상, 뉴클레오타이드 정확도 98% 이상을 기록했습니다.
• 의미: Per-token 임베딩을 공유하는 것은 사실상 원본 시퀀스를 그대로 공유하는 것과 동일하며, 프라이버시 보호 기능이 전무합니다.

B. Mean-pooled 임베딩의 부분적 취약성

• 결과: 평균 풀링 (Mean-pooling) 은 위치 정보를 잃게 하여 재구성을 어렵게 만들지만, 완전한 보호는 제공하지 못합니다.
• 모델별 차이:
  • Evo 2 & NTv2: 짧은 시퀀스 (1025 bp) 에서 매우 취약했습니다. Evo 2 는 길이 1520 bp 시 Levenshtein 유사도 98~99% 를 기록했습니다.
  • DNABERT-2: 가장 견고했습니다. BPE 토크나이징의 가변 길이 특성으로 인해 재구성 난이도가 높았으며, 유사도는 0.46~0.47 수준으로 무작위 베이스라인과 비슷했습니다.
• 시퀀스 길이 영향: 시퀀스가 길어질수록 평균 풀링으로 인한 정보 손실이 커져 재구성은 어려워지지만, 짧은 시퀀스일수록 재구성이 매우 용이합니다.

C. 토크나이징 전략의 영향

• BPE (DNABERT-2): 가변 길이 토큰은 토큰 경계와 뉴클레오타이드 식별을 동시에 예측해야 하므로 재구성이 어렵습니다.
• 고정 길이 (Evo 2, NTv2): 1:1 매핑 또는 고정 비율 압축은 임베딩과 시퀀스 간의 상관관계를 강하게 유지하여 공격에 취약합니다.

D. 상관관계 분석

• 임베딩 공간에서의 거리와 시퀀스 유사도 간의 상관관계가 높을수록 재구성 성공률이 높았습니다. 이는 임베딩이 시퀀스 구조를 잘 보존하고 있음을 의미하며, 이를 통해 공격 성공 여부를 예측할 수 있음을 시사합니다.

4. 주요 기여 및 시사점 (Contributions & Significance)

1. 임베딩 공유의 위험성 규명: DNA 파운데이션 모델의 임베딩 (특히 Per-token) 이 민감한 유전 정보를 노출시킬 수 있음을 실증적으로 증명했습니다.
2. 토크나이징 전략의 프라이버시 영향: 모델 아키텍처뿐만 아니라 **토크나이징 전략 (BPE vs 고정 길이)**이 프라이버시 보호 수준에 결정적인 역할을 함을 발견했습니다. 이는 프라이버시 인식형 모델 설계의 새로운 방향성을 제시합니다.
3. EaaS 환경에 대한 경고: 현재 널리 사용되고 있는 임베딩 공유 방식이 유전 데이터의 불변성 (Immutability) 과 고유성 (Uniqueness) 을 고려할 때 심각한 프라이버시 위협이 될 수 있음을 강조합니다.
4. 시퀀스 길이의 역설: 짧은 시퀀스는 적은 정보를 포함하지만 재구성이 쉬워 위험하고, 긴 시퀀스는 재구성이 어렵지만 더 많은 민감 정보를 포함합니다. 따라서 "안전한" 길이는 존재하지 않으며, 맥락에 따른 위험 평가가 필요합니다.

5. 결론

이 연구는 DNA 파운데이션 모델의 임베딩이 프라이버시 보호를 위한 안전한 매개체로 간주되어서는 안 된다고 결론지었습니다. 특히 Per-token 임베딩 공유는 금기이며, Mean-pooled 임베딩조차도 짧은 시퀀스나 특정 토크나이징 전략 (Evo 2, NTv2) 의 경우 심각한 재구성 위험이 존재합니다. 향후 유전 기반 EaaS 서비스 배포 전에는 프라이버시 인식형 설계 (Privacy-aware design), 임베딩 교란, 또는 차등 프라이버시 (Differential Privacy) 와 같은 방어 메커니즘의 도입이 시급히 필요함을 강조합니다.