Extracting Training Dialogue Data from Large Language Model based Task Bots

이 논문은 대규모 언어 모델 기반 작업 대화 시스템에서 기존 공격 기법의 한계를 극복하고 대화 상태 레이블을 높은 정밀도로 추출할 수 있는 새로운 데이터 추출 공격 기법을 제안하며, 이를 통해 학습 데이터의 기억 현상을 체계적으로 분석하고 완화 전략을 논의합니다.

핵심

🎭 1. 배경: AI 비서와 '기억력'의 비밀

우리가 여행 예약이나 식당 찾기를 도와주는 **AI 비서 (Task Bot)**를 생각해 보세요. 이 비서는 엄청난 양의 대화 데이터를 공부해서 (학습해서) 똑똑해졌습니다.

• 문제점: AI 는 단순히 "어떻게 말해야 할지"만 배우는 게 아니라, **실제 사람들이 했던 대화 내용 (전화번호, 여행 일정, 선호도 등)**을 마치 자신의 기억처럼 저장해 둡니다.
• 비유: 이 AI 비서는 마치 **모든 대화 내용을 외운 '기억력 좋은 학생'**과 같습니다. 그런데 이 학생이 시험을 볼 때, 정답을 외운 게 아니라 실제 시험지 (훈련 데이터) 를 그대로 베껴 쓰는 것과 같은 위험이 있습니다.

🕵️ 2. 공격 방법: 해커는 어떻게 비밀을 꺼낼까?

연구자들은 이 AI 비서의 약점을 공격하는 방법을 개발했습니다. 이를 **'데이터 추출 공격'**이라고 합니다.

🧱 기존 방법의 실패 (낡은 열쇠)

기존의 해킹 방법들은 AI 가 "자유롭게 글을 쓰게" 할 때만 통했습니다. 하지만 여행 예약 AI 는 자유로운 글쓰기가 아니라, **정해진 양식 (예: 식당 이름, 시간, 전화번호)**에 맞춰 답을 해야 합니다.

• 비유: 마치 자물쇠가 달린 금고를 열려고 할 때, 기존 열쇠는 '자유로운 문장'을 여는 용도인데, 우리는 '정해진 숫자 조합'을 맞춰야 하는 금고입니다. 그래서 기존 방법은 금고를 열지 못했습니다.

🔓 새로운 방법: 맞춤형 열쇠 만들기

연구자들은 두 가지 새로운 열쇠를 만들었습니다.

1. 스키마 가이드 (Schema-Guided Sampling) - "지도 없이 여행하지 않기"

   • AI 비서가 어떤 종류의 식당, 어떤 종류의 정보를 다룰 수 있는지 (스키마) 를 먼저 파악합니다.
   • 비유: 해커가 AI 에게 "어떤 식당을 추천해 줄 수 있어?"라고 물어보면서, AI 가 다룰 수 있는 **범위 (지도)**를 먼저 확인합니다. 그리고 그 범위 안에서만 "이 식당의 전화번호는 뭐야?"라고 특정 정보를 캐내려 합니다. 이렇게 하면 엉뚱한 대답 (예: "안녕하세요") 이 나오는 것을 막고, 진짜 비밀 (전화번호) 을 찾아낼 확률을 높입니다.

2. 편향 제거 (Debiased Membership Inference) - "상식적인 추리"

   • AI 가 "안녕하세요" 같은 평범한 말은 자주 쓰지만, "123-4567" 같은 전화번호는 잘 쓰지 않습니다. 기존 방법은 평범한 말을 많이 기억해서 "이건 훈련 데이터에 있었어!"라고 잘못 판단했습니다.
   • 비유: 수사관이 된 해커는 "이 말이 정말로 훈련 데이터에 있었을까, 아니면 AI 가 그냥 상식으로 만든 말일까?"를 구별합니다. 평범한 말은 제외하고, **오직 훈련 데이터에서만 나올 법한 구체적인 정보 (전화번호, 날짜)**만 골라냅니다.

📊 3. 연구 결과: 얼마나 위험한가?

이 새로운 방법으로 실험을 해보니 놀라운 결과가 나왔습니다.

• 단순한 정보: AI 는 전화번호나 이름 같은 구체적인 정보를 아주 잘 기억하고 있었습니다. 공격 성공률이 **최대 100%**에 달했습니다. (비유: 해커가 "이 식당 전화번호 알려줘"라고 하면, AI 가 "네, 123-4567 입니다"라고 바로 대답하며 비밀을 털어놓음)
• 복잡한 정보: 전체 대화 흐름이나 여행 일정 전체를 다 훔쳐내는 것은 조금 더 어려웠지만, 그래도 70% 이상의 확률로 성공했습니다.
• 결론: 우리가 AI 에게 "저녁에 7 시에 3 명으로 예약해 줘"라고 말하면, AI 는 그 정보를 잊어버린 게 아니라 기억하고 있다가, 해커가 특정 방식으로 물어보면 그 정보를 그대로吐出 (토출) 시킬 수 있습니다.

🛡️ 4. 해결책: 어떻게 방어할까?

연구자들은 이 문제를 막기 위한 두 가지 방법을 제안했습니다.

1. 대화 전체로 학습하기 (Dialogue-Level Modeling):

   • 지금처럼 한 문장씩 잘게 나누어 학습하는 대신, 대화 전체를 하나의 이야기로 학습하게 합니다.
   • 비유: 학생이 "A 라는 말은 B 라는 말 다음에 온다"는 식으로 단편적으로 외우는 게 아니라, 동화책 전체를 한 번에 읽어서 맥락을 이해하게 합니다. 이렇게 하면 특정 전화번호를 따로 외우는 대신, 이야기 흐름을 이해하게 되어 기억력이 약해집니다.

2. 값 복사 방지 (Value Copy Mechanism):

   • AI 가 새로운 정보를 만들 때, 사용자가 말한 그대로를 복사하게 하되, 그 정보가 없으면 빈칸으로 두게 합니다.
   • 비유: AI 가 "전화번호를 기억해"라고 외우는 대신, "사용자가 말한 전화번호를 그대로 적어주세요"라는 규칙을 따르게 합니다. 만약 사용자가 전화번호를 말하지 않았다면, AI 는 아무것도 쓰지 못하게 합니다. 이렇게 하면 AI 가 스스로 기억해서 비밀을 누설하는 것을 막을 수 있습니다.

💡 요약

이 논문은 **"AI 비서가 우리의 개인정보 (전화번호, 일정 등) 를 얼마나 잘 기억하고 있는지, 그리고 해커가 어떻게 그 기억을 훔쳐낼 수 있는지"**를 밝혀냈습니다.

• 핵심: AI 는 우리가 생각한 것보다 훨씬 더 많은 개인 정보를 '암기'하고 있습니다.
• 위험: 특정 질문을 하면 그 기억이 그대로 튀어나올 수 있습니다.
• 해결: AI 가 정보를 '외우는' 방식이 아니라, '맥락을 이해하는' 방식으로 학습하게 바꾸면 이 위험을 줄일 수 있습니다.

이 연구는 앞으로 우리가 AI 를 더 안전하게 사용할 수 있도록, 보안 방어막을 어떻게 쌓아야 하는지 중요한 방향을 제시해 줍니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 대규모 언어 모델 (LLM) 은 작업 지향 대화 시스템 (TODS, Task-Oriented Dialogue Systems) 의 성능을 크게 향상시켰습니다. 그러나 LLM 은 방대한 학습 데이터를 압축하여 내부 지식으로 저장하는 특성이 있어, 학습 데이터를 우연히 기억하고 유출할 수 있는 프라이버시 위험이 존재합니다.
• 핵심 문제: 기존 LLM 의 학습 데이터 추출 공격 연구는 주로 오픈 엔디드 (open-ended) 텍스트 생성이나 사전 학습 (pre-training) 단계에 집중되어 있었습니다. 반면, **TODS(작업 봇)**는 사용자의 입력을 그대로 재생성하는 것이 아니라, 대화 맥락에 기반하여 **구조화된 대화 상태 (Dialogue State, 예: 예약 정보, 제약 조건 등)**를 예측하도록 미세 조정 (fine-tuning) 됩니다.
• 위협: TODS 는 대화 기록 (Dialogue History) 자체를 기억하지 않도록 설계되었지만, 대화 상태 (Belief State) 는 학습 데이터의 라벨로서 모델에 암기될 수 있습니다. 공격자는 대화 기록 없이도 부분적인 상태 정보나 빈 입력을 통해 모델이 학습된 대화 상태 (전화번호, 여행 일정 등 민감 정보 포함) 를 유출하도록 유도할 수 있습니다.
• 기존 방법의 한계: TODS 의 구조적 특성 (대화 상태의 예측, 문맥 의존성, 1 대 다 응답 특성) 으로 인해 기존 오픈 엔디드 텍스트 추출 기법 (Suffix Decoding, Perplexity 기반 멤버십 추론 등) 을 직접 적용하면 무의미한 결과나 높은 오탐지 (False Positive) 를 초래합니다.

2. 제안된 방법론 (Methodology)

저자들은 TODS 에 특화된 학습 데이터 추출 공격 프레임워크를 제안하며, 크게 두 단계로 구성됩니다.

가. 스키마 가이드드 타겟팅 대화 상태 생성 (Schema-Guided Targeted Dialogue State Generation)

기존의 무작위 샘플링 (Strawman method) 은 유효하지 않거나 범위가 벗어난 상태를 생성하는 문제가 있었습니다. 이를 해결하기 위해 제안된 방법:

1. 타겟팅 추출 (Targeted Extraction): 학습 데이터의 일부 대화 상태 (Prefix) 를 프롬프트로 사용하여, 모델이 나머지 부분 (Suffix) 을 생성하도록 유도합니다.
2. 스키마 추출 (Schema Extraction): ChatGPT 를 가상의 사용자처럼 활용하여 (Model-against-Model), 봇이 지원하는 도메인 (Domain), 슬롯 (Slot), 값 (Value) 의 범위를 자동으로 탐색하고 추출합니다.
3. 스키마 가이드드 샘플링 (Schema-Guided Sampling): 추출된 스키마를 기반으로 샘플링 시 토큰 선택 범위를 제한합니다. 이를 통해 도메인/슬롯/값의 형식을 준수하는 유효한 대화 상태 후보를 효율적으로 생성합니다.

나. 편향 제거 멤버십 추론 (Debiased Membership Inference)

생성된 후보들이 실제 학습 데이터에 속하는지 판별하기 위해 기존 Perplexity(PPL) 기반 방법을 개선합니다.

1. 조건부 퍼플렉시티 (Conditional PPL, C-PPL): 전체 시퀀스 대신, 프롬프트 (Prefix) 를 조건으로 했을 때의 접미사 (Suffix) 확률만을 평가합니다.
2. 편향 제거 조건부 퍼플렉시티 (Debiased C-PPL, DC-PPL): TODS 의 특성상 일반적인 인사말이나 빈번한 패턴이 모델에 익숙하여 높은 점수를 받는 편향을 보정합니다. C-PPL 을 접미사 자체의 PPL 로 정규화하여, 실제 학습 데이터에서 유래한 고유한 정보에 대한 민감도를 높입니다.

3. 주요 기여 (Key Contributions)

1. 최초의 TODS 학습 데이터 기억 연구: LLM 기반 작업 봇에서 구조화된 '신념 상태 (Belief State)' 및 크로스-슬롯 작업 의미 수준에서의 프라이버시 유출 문제를 체계적으로 규명한 첫 번째 연구입니다.
2. 새로운 공격 파이프라인 제안:
   • 스키마 가이드드 샘플링: 작업 스키마 제약을 활용하여 유효한 대화 상태 후보를 효율적으로 생성하는 전략.
   • 편향 제거 멤버십 추론: 기존 퍼플렉시티 기반 방법의 구조적 편향을 보정하여 정확한 유출 판별을 가능하게 하는 지표 (DC-PPL).
3. 기억 메커니즘에 대한 통찰:
   • 반복 (Repetition): 대화 턴 단위 학습 데이터에서 초기 상태가 후속 턴에 반복되어 나타나는 현상이 기억을 강화함을 발견.
   • 1 대 다 (One-to-Many): 동일한 문맥에 대해 여러 가지 유효한 응답이 존재하는 TODS 특성이 기억을 감소시키는 요인임을 규명.

4. 실험 결과 (Results)

• 데이터셋 및 모델: MultiWOZ 데이터셋을 사용하여 Llama2 (7B) 를 미세 조정된 작업 봇으로 구축하고 공격을 수행했습니다.
• 비타겟 추출 (Untargeted Extraction):
  • 전체 대화 상태 추출 정밀도는 최대 26% 였으나, 개별 값 (예: 전화번호) 추출 정밀도는 최대 **67%**에 달했습니다.
  • 이는 전체 문맥보다 구체적인 값 정보가 더 쉽게 유출됨을 시사합니다.
• 타겟 추출 (Targeted Extraction):
  • 부분 상태 정보를 프롬프트로 제공했을 때, 개별 값 추출 정밀도는 100%, 전체 대화 상태 추출 정밀도는 70% 이상으로 크게 향상되었습니다.
  • 제안된 Schema-Guided Sampling은 베이스라인 (Greedy, Beam Search 등) 대비 훨씬 많은 유효한 학습 상태를 추출했습니다.
• 멤버십 추론 성능: 제안된 Debiased Conditional PPL은 기존 PPL 및 PPL-zlib 보다 정밀도가 월등히 높았으며, 특히 타겟팅 추출에서 상태 정밀도 70% 이상, 값 정밀도 100% 를 달성했습니다.
• 프라이버시 위험 분석: 추출된 데이터는 단순한 개인 식별 정보 (PII) 를 넘어, 여러 정보의 조합 (Combinational PII) 을 통해 민감한 사용자 일정 (여행 계획 등) 을 재구성할 수 있음을 확인했습니다.

5. 의의 및 시사점 (Significance)

• 새로운 위협 모델 제시: LLM 기반 작업 봇이 단순한 텍스트 유출이 아닌, 구조화된 대화 상태 라벨을 통해 사용자의 민감한 행동 패턴과 개인 정보를 유출할 수 있음을 증명했습니다.
• 방어 전략 제안:
  • 대화 레벨 모델링 (Dialogue-Level Modeling): 턴 단위 학습 대신 전체 대화를 단위로 학습하여 상태 반복을 줄이는 방법.
  • 값 복사 메커니즘 (Value Copy Mechanism): 모델이 값을 생성하는 대신 대화 기록에서 직접 복사하도록 유도하여, 맥락이 없을 때 값 생성을 방지하는 방법.
• 실용적 영향: 이 연구는 LLM 기반 서비스의 프라이버시 보호를 위해, 단순한 텍스트 필터링을 넘어 구조화된 데이터 생성 과정에서의 보안 강화가 필요함을 강조합니다.

이 논문은 LLM 기반 TODS 의 프라이버시 취약점을 체계적으로 분석하고, 이를 해결하기 위한 구체적인 공격 기법과 방어 전략을 제시함으로써 향후 안전한 대화 시스템 개발에 중요한 기초를 마련했습니다.