🤖 machine learning

DeepInvert: Semi-Supervised Embedding Inversion Against Obfuscated Language Models

이 논문은 난독화된 언어 모델 표현에 보존된 의미론적 구조를 악용하여 이전 방법들보다 훨씬 더 높은 정확도로 원래의 토큰을 복구함으로써, 현재의 난독화 방어 기제들이 종종 프라이버시 보호와 작업 유용성 사이의 균형을 맞추는 데 실패한다는 점을 드러내는 준지도 학습 기반 임베딩 역전 공격인 DeepInvert를 소개한다.

원저자: Zhicong Huang, Cheng Hong, Tao Wei

게시일 2026-08-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhicong Huang, Cheng Hong, Tao Wei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 첨단 도서관에 사는 친구에게 비밀 편지를 보낸다고 상정해 봅시다. 당신은 사서가 당신의 편지를 읽지 못하게 하려고 비밀 코드로 글을 쓰기로 결적했습니다. 아마도 모든 단어를 엉뚱한 단어로 바꾸거나, 문장에 무작위한 헛소리를 섞거나, 페이지에 정적 노이즈를 추가하는 식일 것입니다. 이것이 인공지능 세계에서 '난독화(obfuscation)'가 작동하는 기본 원리입니다. 오늘날 많은 사람이 이야기를 쓰거나, 의료 기록을 분석하거나, 복잡한 문제를 해결하기 위해 클라우드 기반 AI 서비스를 사용합니다. 하지만 이들은 이 AI 두뇌를 실행하는 컴퓨터를 소유하고 있지 않기 때문에, 자신의 개인 데이터에 대해 기업을 신뢰해야만 합니다. 스스로를 보호하기 위해, 사용자들은 메시지를 전달하기 전에 메시지를 '뒤섞는(scramble)' 방법을 시도하며, 원래의 의미를 숨기면서도 AI가 그 작업을 수행할 수 있도록 뒤섞인 버전을 이해하기를 희망합니다.

한동안 이러한 뒤섞기 기술은 견고한 방패처럼 보였습니다. 연구자들은 단어를 섞거나 노이즈를 추가하는 다양한 방법을 제안하며, 일단 메시지가 뒤섞이면 비밀 키 없이는 그것을 되돌리는 것이 불가능할 것이라고 믿었습니다. 그것은 마치 메시지를 튼튼한 상자에 넣고 열쇠를 버려버린 것과 같았으며, 그 상자가 깨뜨리기에는 너무 강하다고 가정했습니다. 하지만 만약 그 상자가 사람들이 생각했던 것만큼 강하지 않다면 어떨까요? 만약 자물쇠를 따는 것이 아니라, 뒤섞기가 남긴 희미한 패턴을 포착함으로써 내부를 엿볼 수 있는 영리한 방법이 있다면 어떨까요? 이것이 바로 한 연구팀이 답을 찾기 위해 탐구했던 질문이며, 이러한 '뒤섞인' 메시지들이 실제로 안전한지, 아니면 그저 해독되기를 기다리고 있는 것인지를 조사했습니다.

여기에 Ant Group의 연구진이 만든 새로운 디지털 탐정 도구인 DeepInvert가 등장합니다. DeepInvert를 뒤섞인 상자 안에 무엇이 있는지 알아내기 위해 원래의 열쇠가 필요 없는 숙련된 퍼즐 해결사라고 생각하십시오. 단순히 추측하는 대신, 이 도구는 영리한 2단계 전략을 사용합니다. 먼저, 이 도구는 자신이 직접 뒤섞어 본 '그림자(shadow)' 퍼즐 더미를 통해 연습하며, 이를 통해 뒤섞기가 어떻게 작동하는지 학습합니다. 하지만 여기서 마법 같은 기술이 있습니다. 이 도구는 해독하려는 실제 뒤섞인 메시지 또한 살펴봅니다. 비록 그 메시지가 무엇을 말하는지는 알지 못하더라도 말입니다. 이는 '준지도 학습(semi-supervised learning)'이라는 기술을 사용하는데, 이는 교과서(그림자 데이터)를 공부하면서도 동시에 실제 세상의 패턴(레이블이 없는 데이터)을 관찰함으로써 빈틈을 채워나가는 학생과 같습니다.

연구진은 DeepInvert가 자신의 임무에 매우 뛰어나다는 것을 발견했습니다. 그들은 가장 인기 있는 뒤섞기 방어 기제들을 대상으로 테스트를 진행했는데, 결과는 놀라웠습니다. 예를 들어, 최고 수준의 방어 기제인 ObfusLM을 대상으로 했을 때, 이전의 시도들은 원래의 단어를 약 **26.2%**의 확률로만 정확히 맞출 수 있었습니다. 그러나 DeepInvert는 정답 단어를 **73.5%**의 확률로 복구해 냈습니다. 거대 AI 모델을 사용한 의료 질의응답 테스트에서는 복구율이 **80.4%**로 뛰어올랐고, 더 큰 모델에 대해서는 **85.2%**에 달했습니다. 이 논문은 이러한 뒤섞기 방어 기제들이 사람들이 믿었던 것보다 훨씬 덜 안전하다는 점을 시사합니다. 연구진은 좌절스러운 트레이드오프(trade-off)를 발견했습니다. 즉, 뒤섞기가 AI가 작업을 잘 수행할 수 있을 만큼 약하면 DeepInvert가 쉽게 복구할 수 있고, 만약 뒤섞기가 DeepInvert를 막을 수 있을 만큼 강력해지면 AI는 너무 혼란스러워져서 작업을 수행할 수 없게 된다는 것입니다.

이 논문은 단순히 이러한 방어 기제들이 깨질 수 있다는 것을 보여주는 데 그치지 않고, 왜 실패하는지에 대해서도 설명합니다. 뒤섞기 방식은 종-종 '의미적 골격(semantic skeleton)', 즉 노이즈 속에서도 살아남는 숨겨진 의미 구조를 남깁니다. DeepInvert는 바로 그 골격을 찾아내도록 설계되었습니다. 이 도구는 안정적인 '교사(teacher)' 모델이 '학생(student)' 모델을 안내하여, 학생 모델이 혼란을 겪지 않고 지저도 있는 뒤섞인 데이터로부터 학습하도록 돕는 '교사-학생(teacher-student)' 시스템을 사용합니다. 또한 연구진은 공격자가 피해자와 정확히 동일한 '뒤섞기 레시피'를 가지고 있지 않더라도, 유사한 것을 시뮬레이션할 수 있다면 이 공격이 작동한다는 것을 보여주었습니다.

하지만 이 논문은 모든 프라이버시가 사라졌다고 말하는 것은 아님을 주의 깊게 명시하고 있습니다. 문장이 행복한지 슬픈지를 결정하는 것과 같은 매우 단순한 작업의 경우, 일부 방어 기제는 여전히 어느 정도 버틸 수 있다고 언급합니다. 그러나 의료 진단이나 새로운 텍스트 생성처럼 특정 단어를 이해해야 하는 복잡한 작업의 경우, 현재의 뒤섞기 방식은 잘못된 보안 의식을 제공하는 것처럼 보입니다. 저자들은 우리가 클라우드에서의 데이터를 보호하는 방식을 재고해야 할 수도 있다고 결론짓습니다. 이러한 가벼운 뒤섞기 기술에 의존하는 대신, 깨뜨리기는 훨씬 어렵지만 사용하기에는 훨씬 느리고 비용이 많이 드는 고급 암호학 같은 더 무겁고 복잡한 솔루션을 찾아야 할 수도 있습니다. 현재로서는 DeepInvert가 강력한 경고의 역할을 하고 있습니다. 만약 당신이 데이터를 숨기기 위해 뒤섞고 있다면, 누군가 그것을 따낼 수 있는 매우 효과적인 방법을 찾아냈으므로 당신의 자물쇠를 다시 한번 확인해 보는 것이 좋을 것입니다.

기술 요약: DeepInvert

문제 정의

클라우드 기반 언어 모델(LM) 서비스는 민감한 개인 정보나 비즈니스 정보를 포함하는 프롬프트를 빈번하게 처리합니다. 암호학적 솔루션(예: 동형 암호)의 막대한 계산 오버헤드를 피하면서 이러한 프크라이버시 위험을 완화하기 위해, 최근 연구들은 **난독화 기반 방어(obfuscation-based defenses)**를 제안해 왔습니다. 이러한 방법들은 어휘 순열(vocabulary permutation), 토큰 치환, 클러스터링/믹싱, 그리고 차분 프라이버시(DP) 노이즈 추가와 같은 기술을 사용하여, 서버로 전송되기 전 클라이언트 측에서 프롬프트 표현(representation)을 변형합니다.

이러한 방어 기제들은 다운스트림 태스크의 유용성(utility)을 보존하면서 원래의 토큰을 숨기는 것을 목표로 하지만, 저자들은 기존의 보호 조치들이 믿는 것보다 훨씬 취약하다고 주장합니다. KNN 기반 유사도 검색이나 완전 지도 학습 기반의 인버전 모델(예: InvBert)과 같은 이전의 공격들은 제한적인 성공만을 보여주었습니다. 구체적으로, 지도 학습 기반 공격은 공격자의 섀도 데이터(shadow data)와 타겟의 난독화된 임베딩 사이의 분포 변화(distribution shifts) 문제로 인해 어려움을 겪으며, 최적화 기반 공격은 난독화 노이즈에 대한 구조적 강건성이 부족합니다.

방법론: DeepInvert

본 논문은 이전 방식들보다 더 높은 정확도로 난독화된 표현으로부터 원래의 토큰을 복구하도록 설계된 준지도 학습(semi-supervised learning) 기반 임베딩 인버전 공격인 DeepInvert를 제시합니다. 핵심 통찰은 난독화된 임베딩이 섭동(perturbation)되었을지라도, 레이블이 없는 타겟 데이터로부터 학습할 수 있는 활용 가능한 **의미적 구조(semantic structure)**를 여전히 유지하고 있다는 점입니다.

핵심 아키텍처

DeepInvert는 FixMatch에서 영감을 얻었으나, 고차원 어휘 및 노이즈가 많은 임베딩 인버전 특성에 맞게 조정된 준지도 학습 프레임워크를 채택합니다. 이 모델은 두 가지 훈련 목적 함수를 교대로 수행합니다:

지도 학습 (섀도 데이터): 모델은 "섀도 모델"(시뮬레이션된 방어 기제)에 의해 생성된 레이블이 있는 난독화된 임베딩을 통해 학습됩니다. 이 구성 요소는 표준 크로스 엔트로피 손실(cross-entropy loss)을 사용하여 난독화된 상태를 토큰 ID로 매핑합니다.
비지도 일관성 (타겟 데이터): 모델은 실제 타겟 배포 환경에서 수집된 레이블이 없는 난독화된 임베딩을 활용합니다. 이는 동일한 임베딩의 "약한(weakly)" 증강 뷰와 "강한(strongly)" 증강 뷰 사이의 일관성을 강제합니다.

주요 기술적 혁신

임베딩 인버전의 특정 과제(대규모 어휘, 분포 변화, 노이즈)를 해결하기 위해, DeepInvert는 다음과 같이 맞춤화된 몇 가지 적응 기법을 도입합니다:

*로 소프트 레이블링(Soft Labeling) 및 Top- $k$ KL 발산: 고차원 어휘 환경에서 흔히 발생하는 부정확한 하드 의사 레이블(hard pseudo-labels) 대신, 이 공격은 소프트 레이블을 사용합니다. 이는 일관성 손실을 예측된 확률의 상위 $k$ 개에 국한시켜, 신뢰도가 낮은 롱테일(long-tail) 예측의 영향을 줄이고 계산 자원을 최적화합니다.

마스킹된 증강 뷰(Masked Augmented Views): 사전 학습 기술을 차용하여, 입력 시퀀스의 토큰 임베딩을 무작위로 마스킹합니다. 이는 모델이 특정 토큰 특징에 의존하는 대신 문맥으로부터 의미적 구조를 재구성하도록 강제하며, 이를 통해 난독화로 인해 손상된 정보를 복구하는 데 도움을 줍니다.
EMA 교사(Teacher) 모델: 비지도 학습을 안정화하고 모델 붕괴(model collapse)를 방지하기 위해 지수 이동 평균(EMA) 교사 모델을 사용합니다. 학생 모델은 교사 모델의 약한 뷰에 대한 예측으로부터 학습하며, 교사 모델은 학생 모델 파라미터의 EMA를 통해 업데이트됩니다.
혼합 훈련 파이프라인: 두 목적 함수 간의 그래디언트 충돌(gradient conflicts)을 방지하기 위해, DeepInvert는 공동 최적화 대신 교대 스케줄을 사용합니다. 에포크 내에서 지도 학습과 비지도 학습 최적화 단계를 전환함으로써, 두 목적 함수가 서로를 보완하도록 합니다.
방어 기제별 최적화:
- 멀티 섀도 공격(Multi-Shadow Attack): ObfusLM과 같은 방어 기제에서 발생하는 비밀 순열(secret permutations)이나 클러스터링으로 인한 분포 변화를 완화하기 위해, 서로 다른 랜덤 시드를 가진 여러 섀도 모델을 활용합니다.
- 재정규화 및 디노이징(Renormalization & Denoising): DP 기반 방어의 경우, 임베딩 스케일을 표준화하기 위해 레이어 정규화(layer normalization)를 적용하고, PCA(주성분 분석)를 사용하여 임베딩의 노이즈를 제거함으로써 신호 대 잡음비(signal-to-noise ratio)를 효과적으로 개선합니다.

실험 결과

저자들은 9가지 방어 기제, 5가지 태스크(이진/다중 클래스 분류, NER, 의료 QA 포함), 그리고 4가지 모델 아키텍처(BERT, RoBERTa, LLaMA3-8B, Qwen3.5-27B)에 대해 DeepInvert를 평가했습니다.

ObfusLM에 대한 성능: 최신 방어 기제인 ObfusLM을 대상으로, DeepInvert는 73.5%의 top-1 토큰 복구율(RoBERTa 기반 SST-2 기준)을 달성했습니다. 이는 이전의 최고 공격 방식인 InvBert가 달성한 **26.2%**에 비해 크게 향상된 수치입니다. 생성 태스크(Qwen3.5-27B 기반 Medical QA)에서는 복구율이 **85.2%**에 달했습니다.
일반화 성능: DeepInvert는 대부분의 방어 기제와 태스크에서 베이스라인(KNN, TBS, DEML, InvBert)을 일관되게 능가합니다. 또한 섀도 데이터의 분포가 타겟 데이터와 다른 도메인 외(out-of-domain) 설정에서도 강력한 성능을 입증했습니다.
민감한 토큰 복구: 이 공격은 민감한 토큰(예: 의료 용어, 개체명)을 일반 토큰과 유사한 비율로 복구하며, 이는 난독화가 민감한 콘텐츠를 선택적으로 보호하지 못함을 나타냅니다.

의의 및 주장

본 논문은 DeepInvert가 현재의 난독화 기반 방어 기제들이 가진 **태스크 의존적 프라이버시-유용성 트레이드오프(privacy-utility trade-off)**의 근본적인 긴장 관계를 드러낸다고 주장합니다.

토큰 수준 및 생성 태스크: 심각한 충돌이 존재합니다. 다운스트림 유용성(예: 정확한 생성 또는 NER)을 유지할 만큼 충분한 신호를 보존하는 방어 기제는, 필연적으로 DeepInvert가 원래 토큰을 정확히 복구할 수 있을 만큼의 충분한 의미적 구조를 남겨두게 됩니다. 반대로, 인버전을 저지할 만큼 강력한 방어(예: 높은 $\epsilon$ 값의 DP 또는 강한 노이즈)는 다운스트림 태스크의 유용성을 무작위 수준으로 붕괴시킵니다.
문장 수준 분류: 감성 분석과 같은 단순한 태스크에서는 일부 DP 기반 방어 기제가 유용성을 유지하면서 동시에 토큰 복구를 제한할 수 있으며, 이는 이러한 긴장이 거친 입도(coarse-grained)의 태스크에서는 덜 치명적임을 시사합니다.

저자들은 현재의 난독화 기반 방어 기제들이 표준적인 프라이버시 파라미터 하에서 기존에 믿어왔던 것보다 훨씬 낮은 수준의 보호를 제공한다고 결론짓습니다. 이들은 이 클래스의 방어 기제들에 대한 재평가를 촉구하며, 특히 토큰 수준 및 생성형 워크로드에 대해서는 더욱 강력한 암호학적 솔루션이나 하이브리드 설계로의 전환이 필요하다고 제언합니다.