Anchored Sliding Window: Toward Robust and Imperceptible Linguistic Steganography

이 논문은 언어 모델 기반의 언어적 스테가노그래피가 겪는 취약성과 품질 저하 문제를 해결하기 위해, 프롬프트와 브리지 컨텍스트를 고정하는 '앵커드 슬라이딩 윈도우 (ASW)' 프레임워크를 제안하여 텍스트의 자연스러움, 은닉성, 그리고 내구성을 동시에 향상시켰다고 요약할 수 있습니다.

핵심

이 논문은 **"AI 가 쓴 글 속에 비밀 메시지를 숨기는 기술 (언어 스테가노그래피)"**을 더 안전하고, 더 자연스럽게 만드는 새로운 방법을 제안합니다.

이 기술의 핵심은 **"비밀 메시지를 숨겨도, 글이 자연스러워야 하고 (불가시성), 글이 조금 변질되어도 비밀을 찾을 수 있어야 한다 (강건성)"**는 두 마리 토끼를 모두 잡는 것입니다.

이 복잡한 개념을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🕵️‍♂️ 비유: "비밀 편지 보내기"

상상해 보세요. 앨리스가 밥에게 비밀 메시지를 보내야 합니다. 하지만 감시자 (에브) 가 모든 편지를 검사합니다.

• 암호화: "안녕하세요, 010101..."이라고 쓰면 감시자가 "이거 암호구나!" 하고 바로 막아버립니다.
• 스테가노그래피 (이 기술): "오늘 날씨가 참 좋네요, 점심은 뭐 드셨나요?"라고 쓴 것처럼 보이는 글 속에 비밀 코드를 숨깁니다. 감시자는 그냥 평범한 글로만 보입니다.

🚨 기존 기술의 문제점: "기억력 짧은 AI"

기존의 AI 기반 비밀 편지 기술은 "글의 앞부분을 모두 기억해야만" 비밀을 찾을 수 있었습니다.
하지만 감시자가 편지를 읽다가 단어 하나를 살짝 바꿔치기하거나 (예: "날씨가" → "날씨가") 한 단어를 지워버리면, AI 는 그 뒤로 이어지는 모든 글의 의미를 잘못 해석하게 됩니다. 마치 연쇄 도미노처럼, 첫 번째 타일이 넘어지면 모든 것이 무너져 내리는 것입니다.

이를 해결하기 위해 이전 연구자들은 **"오래된 글은 다 잊어버리고, 최근 10 단어만 기억하자"**라고 했습니다. 하지만 문제는, 과거의 맥락 (문맥) 을 잃어버리면 글이 매우 어색하고 부자연스러워진다는 점입니다. 마치 "어제 뭐 먹었어? (과거 맥락 없음) -> 오늘 비가 와. (갑작스러운 전환)"처럼 말이죠.

---

✨ 이 논문의 해결책: "앵커링 슬라이딩 윈도우 (ASW)"

저자들은 **"과거의 맥락을 완전히 버리지 않으면서, 감시자의 공격에도 강한 방법"**을 고안해냈습니다. 이를 **ASW(앵커링 슬라이딩 윈도우)**라고 부릅니다.

이걸 세 개의 구역으로 나누어 설명해 볼게요.

1. 📌 고정된 닻 (Prompt - 프롬프트)

• 비유: 편지를 보낼 때 정해진 **서두 (인사말)**입니다.
• "안녕하세요, 오늘 날씨에 대해 이야기해 주세요." 같은 고정된 문장은 앨리스와 밥이 미리 약속해 두었습니다. 이 부분은 절대 변하지 않고 항상 첫 줄에 있습니다.

2. 🌉 다리를 놓다 (Bridge Context - 브릿지 컨텍스트)

• 비유: 과거와 현재를 잇는 가상의 다리입니다.
• 기존 기술은 과거의 글 (지워진 부분) 을 그냥 뚝 잘라냈습니다. 하지만 ASW 는 **"여기서부터는 일부가 잘려나갔지만, 그 내용을 상상해서 채워 넣을게요"**라고 AI 에게 알려주는 특수한 가상의 문장을 중간에 끼워 넣습니다.
• 예시: [이전 내용은 잘려나갔습니다]\n
• 이 "다리"가 AI 에게 "아, 앞부분이 잘렸구나. 그래도 문맥을 유추해서 자연스럽게 이어가야지!"라고 생각하게 만들어 줍니다. 덕분에 글이 어색해지지 않습니다.

3. 🪜 최신 계단 (Latest Tokens - 최신 토큰)

• 비유: 가장 최근에 쓴 글들입니다.
• 감시자가 이 부분만 건드리더라도, 앞의 '다리와 닻'이 버팀목이 되어 비밀 메시지 추출이 무너지지 않도록 합니다.

---

🎓 더 똑똑하게 만드는 기술: "스스로 배우기 (Self-Distillation)"

그런데 이 '다리 (브릿지)'를 사람이 직접 만들면 ("잘려나갔습니다" 같은 문장) 아직 부족할 수 있습니다. 그래서 저자들은 AI 가 스스로 배우게 했습니다.

• 선생님 (Teacher): 모든 글 (과거 포함) 을 다 본 AI.
• 학생 (Student): 앞부분이 잘려서 '다리'만 보고 추론하는 AI.
• 학습 방법: 학생 AI 가 선생님 AI 와 똑같은 결론을 내도록 스스로를 훈련시킵니다.
• 결과: 학생 AI 는 "아, 앞부분이 비어있어도 이 '다리' 문장을 보면 선생님이 생각한 것과 똑같은 자연스러운 글을 쓸 수 있구나!"라고 깨닫게 됩니다.

이 과정을 통해 **글의 자연스러움 (불가시성)**과 **비밀 메시지 추출의 안전성 (강건성)**을 동시에 극대화했습니다.

---

🏆 실험 결과: 왜 이 기술이 대단한가요?

실험 결과, 이 새로운 방법 (ASW) 은 기존 방법보다 다음과 같은 면에서 압도적으로 좋았습니다.

1. 글의 질: "어색한 번역체"가 아니라, 원래 AI 가 쓴 것처럼 매우 자연스러운 글을 만듭니다. (기존 방법보다 글의 품질이 100% 이상 향상됨)
2. 은폐력: 감시자가 AI 가 쓴 글인지, 비밀 메시지가 숨겨진 글인지 구분하기 매우 어렵습니다.
3. 강건성: 감시자가 글의 중간에 단어를 살짝 바꾸거나 지워도, 비밀 메시지를 거의 완벽하게 찾아냅니다. (기존 방법은 글이 조금만 변해도 비밀이 깨졌습니다.)

📝 한 줄 요약

**"비밀 메시지를 숨길 때, 과거의 맥락을 완전히 잊지 않고 '가상의 다리'로 연결해 주어, 글은 자연스럽고 비밀은 안전하도록 만든 새로운 AI 기술"**입니다.

이 기술은 감시 환경에서도 안전하게 소통할 수 있는 새로운 가능성을 열어줍니다.

기술 요약

1. 문제 제기 (Problem)

언어 모델 (LLM) 기반의 언어적 스테가노그래피 (Steganography) 는 기존에 **강인성 (Robustness)**과 지각 불가능성 (Imperceptibility) 사이의 심각한 트레이드오프에 직면해 있었습니다.

• 지각 불가능성: 스테가노그래피 텍스트 (Stegotext) 는 정상적인 텍스트와 구별되지 않아야 합니다. 이를 위해 LLM 은 전체 문맥 (Full Context) 을 기반으로 다음 토큰을 예측해야 합니다.
• 강인성: 실제 통신 환경에서는 텍스트가 변조 (삽입, 삭제, 교체) 될 수 있습니다. 기존 LLM 은 자기회귀 (Autoregressive) 방식으로 작동하므로, 문맥의 초기 토큰이 변조되면 이후 모든 토큰 예측이 붕괴되어 비밀 메시지 추출이 불가능해집니다.
• 기존 방법의 한계: 강인성을 확보하기 위해 문맥 윈도우를 최근 토큰만으로 제한하는 방법 (예: WinStega) 이 제안되었습니다. 그러나 이는 프롬프트와 초기 문맥을 배제함으로써 텍스트의 품질과 자연스러움을 급격히 저하시켰습니다.

2. 제안 방법: Anchored Sliding Window (ASW)

저자들은 강인성을 유지하면서도 텍스트 품질을 높이기 위해 Anchored Sliding Window (ASW) 프레임워크를 제안합니다. 이는 문맥 윈도우를 세 가지 부분으로 구성하여 설계되었습니다.

1. 프롬프트 (Prompt): 고정된 시작 부분으로, Alice 와 Bob 이 공유하는 초기 지시사항입니다.
2. 브리지 컨텍스트 (Bridge Context): 배제된 (전송되지 않은) 토큰 부분을 모델이 추론할 수 있도록 돕는 '가교' 역할을 합니다.
   • 하드 브리지 (Hard Bridge): [CONTEXT TRUNCATED] 와 같은 의미 있는 텍스트 플레이스홀더를 사용하여 모델이 누락된 내용을 상상하도록 유도합니다.
   • 소프트 브리지 (Soft Bridge): 이산적인 토큰이 아닌, 연속적인 임베딩 벡터 (Tunable soft tokens) 로 구성됩니다.
3. 최신 토큰 (Latest Tokens): 최근 생성된 $w$개의 토큰으로, 실제 전송된 데이터의 일부입니다.

핵심 기술: 자기 증류 (Self-Distillation) 를 통한 최적화

소프트 브리지 컨텍스트를 최적화하기 위해 자기 증류 (Self-Distillation) 전략을 도입했습니다.

• Teacher: 전체 문맥 (Full Context) 을 기반으로 추론한 LLM 의 로짓 (Logits).
• Student: ASW 구조 (프롬프트 + 소프트 브리지 + 최신 토큰) 를 기반으로 추론한 LLM 의 로짓.
• 목표: Student 가 Teacher 의 분포를 최대한 모방하도록 Forward KL Divergence를 손실 함수로 사용하여 소프트 브리지 파라미터를 학습시킵니다. 이를 통해 제한된 문맥에서도 전체 문맥과 유사한 예측 분포를 유지하여 지각 불가능성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. ASW 프레임워크 제안: 프롬프트, 브리지 컨텍스트, 최신 토큰을 결합한 새로운 문맥 윈도우 구조를 통해 강인성과 텍스트 품질을 동시에 달성했습니다.
2. 브리지 컨텍스트의 효과 입증: 단순한 토큰 제거가 아닌, 의미 있는 플레이스홀더 (하드) 또는 학습된 임베딩 (소프트) 을 사용하여 모델이 누락된 문맥을 보충하도록 유도함으로써 KL 발산을 크게 줄였습니다.
3. 자기 증류 기반 최적화: LLM 파라미터를 고정하고 오직 브리지 컨텍스트만 학습하는 경량화된 증류 방식을 통해 효율적으로 모델을 적응시켰습니다.
4. 광범위한 실험 검증: 다양한 모델 (Qwen2.5-3B/7B/14B), 데이터셋, 하이퍼파라미터 설정에서 기존 방법 (WinStega) 을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

Qwen2.5-7B-Instruct 모델을 기준으로 한 주요 결과는 다음과 같습니다.

• 텍스트 품질 (Text Quality):
  • ROUGE-L: 기존 방법 (WinStega, 0.098) 대비 ASW(소프트, Forward KL) 가 0.200으로 약 104% 향상되었습니다.
  • BLEU: 0.082 에서 0.276 으로 약 236% 향상.
  • Perplexity ($\Delta$PPL): 31.486 에서 0.201 로 급격히 감소하여 텍스트의 자연스러움이 크게 개선되었습니다.
• 지각 불가능성 (Imperceptibility):
  • 스테가노그래피 탐지기 (Steganalysis) 의 정확도가 0.955 에서 0.745 로 감소하여, 정상 텍스트와 구별하기 훨씬 어려워졌습니다.
• 강인성 (Robustness):
  • 토큰이 변조되었을 때 추론이 영향을 받지 않는 위치의 비율을 측정했습니다. ASW 는 WinStega 보다 모든 변조 시나리오 (삭제, 삽입, 교체) 에서 더 높은 강인성을 보였습니다.
• 용량 (Capacity):
  • Forward KL 을 사용한 소프트 브리지는 높은 텍스트 품질을 유지하면서도 기존 방법보다 높은 임베딩 용량을 달성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 언어적 스테가노그래피 분야에서 오랫동안 해결되지 않았던 **강인성과 지각 불가능성의 상충 관계 (Trade-off)**를 효과적으로 해결했습니다.

• 실용성: 통신 채널에서의 변조 (Active Attack) 에도 비밀 메시지가 손상되지 않도록 하여 실제 환경에서의 적용 가능성을 높였습니다.
• 기술적 통찰: LLM 이 문맥의 일부를 누락하더라도 '브리지'를 통해 이를 보충할 수 있음을 보여주었으며, 이는 프롬프트 엔지니어링 및 모델 최적화 분야에도 시사점을 제공합니다.
• 확장성: 다양한 모델 크기와 데이터셋에서 일관된 성능 향상을 보였으며, 모델이 클수록 ASW 의 이점이 더 커지는 경향을 확인했습니다.

결론적으로, ASW 프레임워크는 안전한 비공개 통신을 위한 언어적 스테가노그래피의 새로운 표준으로 자리 잡을 수 있는 강력한 방법론을 제시합니다.