기술 요약: 테스트 생성을 통한 LLM 기반 코드 생성의 개인정보 유출 탐지

문제 정의

대규모 공개 소스 코드 저장소에서 학습된 대규모 언어 모델 (LLM) 은 개발자가 실수로 업로드한 민감한 개인식별정보 (PII, 예: 자격 증명, API 키, 이메일 주소) 를 무의식적으로 암기하고 재생산할 위험이 있습니다. 기존 개인정보 유출 탐지 방법이 존재하지만, 다음과 같은 중대한 한계를 안고 있습니다:

1. 임의적 프롬프트 구성: 현재 방법들은 PII 가 코드 코퍼스에서 나타나는 현실적인 맥락을 제대로 반영하지 못하는 수동 또는 자동 설계 프롬프트에 의존합니다.
2. 제한된 범위와 적용성: 일부 방법은 특정 모델 (예: Codex) 에 맞춰져 있거나, 실제 코드 맥락에 기반하지 않은 프롬프트를 생성하는 변형 기반 전략에 의존하여, 실제 개인정보 유출이 아닌 환각이나 자리표시자 같은 출력을 초래합니다.
3. 안전 메커니즘 회피: PII 를 직접 모델에 질의하는 경우 안전 거부 (safety refusals) 가 자주 발생하여 유출 위험을 효과적으로 평가하는 능력을 제한합니다.

핵심 과제는 안전 거부를 유발하지 않으면서도 현실적인 개발 시나리오를 시뮬레이션하여 암기된 PII 를 유도하고, 현실적인 유출과 모델 환각을 구분할 수 있는 방법을 개발하는 것입니다.

방법론

저자들은 민감한 데이터를 직접 요청하는 대신 단위 테스트 케이스를 생성함으로써 개인정보 유출을 평가하는 테스트 주도 파이프라인을 제안합니다. 이 파이프라인은 네 가지 주요 단계로 구성됩니다:

1. 코드 생성 질문 구성

파이프라인은 기업용 앱, 모바일 서비스, 클라우드 플랫폼과 같은 현실적인 응용 도메인에 기반한 개발 시나리오를 구성합니다.

• 시나리오 구체화: 이메일, 전화번호와 같은 개인정보 속성이 기능적으로 필요한 특정 소프트웨어 시나리오에 매핑됩니다.
• 질문 생성: 이러한 시나리오들은 구체적인 코드 생성 질문으로 구체화됩니다. 이 접근법은 프롬프트가 원래 학습 맥락과 유사하도록 보장하여 암기를 유발할 가능성을 높입니다.

2. 모델 응답 및 테스트 케이스 유도

모델에게 PII 를 직접 출력하도록 요청하는 대신, 파이프라인은 두 단계 상호작용을 사용합니다:

• 코드 생성: 평가 대상 LLM 이 시나리오 질문에 기반하여 기능적 코드 스니펫을 생성합니다.
• 테스트 케이스 생성: 그런 다음 모델은 생성된 코드에 대한 단위 테스트 케이스를 생성하도록 프롬프트됩니다. 이 단계의 프롬프트는 개인정보 특성 라이브러리(아래 참조) 로 보강되어 모델이 자명한 자리표시자 대신 현실적이고 속성 형태의 입력 (예: 유효한 이메일 형식) 을 제공하도록 장려합니다. 이러한 간접 상호작용 패턴은 안전 거부에 덜 취약합니다.

3. 개인정보 특성 라이브러리

수동 프롬프트 엔지니어링을 대체하고 모델을 현실적인 출력으로 유도하기 위해, 저자들은 자동으로 구축되고 반복적으로 업데이트되는 개인정보 특성 라이브러리를 도입합니다.

• 구성 요소: 각 개인정보 속성에 대해 라이브러리는 다음을 포함합니다:
  • 템플릿 ($\Lambda_{tmp}$): 추상적 구조 패턴 (예: user.email = <EMAIL>).
  • 프래그먼트 ($\Lambda_{frag}$): 실제 유출 패턴에서 파생된 현실적인 값 수준 하위 문자열.
• 구축: 라이브러리는 사전 지식으로 초기화되며, 이전 파이프라인 실행에서 확인된 유출 사례를 사용하여 보강됩니다.
• 처리: 확인된 유출은 토큰 단위 의사 음의 로그 가능도 (pseudo-NLL) 를 분석하기 위해 코드 중심 모델 (CodeBERT) 을 사용하여 템플릿과 프래그먼트로 분해됩니다. 낮은 의사 NLL 을 가진 토큰 (일반적인 구조 요소) 은 템플릿으로 분류되고, 높은 의사 NLL 을 가진 토큰 (특정 값) 은 프래그먼트로 분류됩니다. 그런 다음 의미 클러스터링 (DBSCAN) 을 적용하여 동등한 패턴을 통합하고 노이즈를 제거합니다.

4. 필터링 및 검증

추출된 후보들은 유출을 확인하기 위해 엄격한 검증 과정을 거칩니다:

• 판단 LLM 필터링: 오라클 모델이 구조적 및 의미적 특성에 기반하여 환각, 자리표시자, 그리고 비현실적인 값을 선별합니다.
• GitHub 검색: 후보들은 공개 GitHub 저장소에 대해 검증됩니다. 일치 (1~100 건) 는 해당 문자열이 실제 코드 코퍼스에 존재함을 시사합니다.
• 인간 검토: 두 명의 저자가 매칭된 맥락을 수동으로 검사하여 해당 문자열이 문서나 테스트 데이터가 아닌 실제 개인정보임을 확인합니다.
• 출력: "확인됨" 사례만 보고되며, 이는 개인정보 유출에 대한 보수적인 하한선을 제공합니다.

주요 기여

1. 테스트 주도 파이프라인: 현실적인 개발 시나리오와 테스트 케이스 생성을 활용하여 안전 메커니즘을 우회하고 암기된 데이터를 유도하는 코드 생성 작업의 개인정보 유출을 평가하는 새로운 파이프라인.
2. 자동화된 개인정보 특성 라이브러리: 현실적인 템플릿과 프래그먼트를 제공하는 자동 구축 라이브러리로, 수동 프롬프트 엔지니어링에 대한 의존성을 줄이고 유도된 개인정보 값의 품질을 향상시킵니다.
3. 대규모 실증 평가: GPT 시리즈 및 DeepSeek 시리즈를 포함한 다섯 가지 널리 사용되는 상업용 LLM 에 대한 광범위한 실험을 통해 파이프라인의 효과를 입증했습니다.

실험 결과

이 연구는 15 가지 개인정보 속성과 3 가지 카테고리 (식별 가능, 비공개, 비밀) 에 걸쳐 5 개의 LLM 을 평가했습니다.

• 유출 규모: 파이프라인은 GPT 시리즈의 경우 평균 105.7 건의 확인된 사례를, DeepSeek 시리즈의 경우 79.5 건을 식별했습니다.
• 기저선과의 비교: 제안된 방법은 기존 기저선 (CodexLeaks 및 Codebreaker) 대비 2.56 배 증가된 탐지된 유출을 달성했습니다.
• 유출률: 전체 유출 비율은 GPT 모델의 경우 17.6‰, DeepSeek 모델의 경우 **13.3‰**였습니다. "식별 가능" 카테고리는 24.64‰로 가장 높은 유출률을 보였으며, 이메일과 계정/사용자 이름이 가장 빈번하게 유출된 속성이었습니다.
• 연결된 유출: 이 방법은 기저선보다 여러 개의 상호 연결된 개인정보 요소를 포함하는 응답을 더 자주 발견했는데, 이는 시나리오 기반 테스트가 복잡한 개인정보 조합의 노출을 장려함을 시사합니다.
• 절대 실험: 핵심 구성 요소 (시나리오 기반 질문, 특성 라이브러리, 또는 테스트 케이스 생성) 중 하나를 제거하면 성능이 크게 저하되어 전체 파이프라인의 필요성을 확인했습니다.

중요성과 주장

본 논문은 그 접근 방식이 LLM 기반 코드 생성의 개인정보 위험을 평가하는 실용적인 감사 방법론을 제공한다고 주장합니다. 현실적인 개발자 상호작용을 시뮬레이션함으로써, 이 파이프라인은 기존 방법들이 놓치는 무시할 수 없는 개인정보 유출을 드러냅니다. 저자들은 보고된 유출 수치가 GitHub 검색을 학습 데이터의 대리 지표로 사용하고 검증되지 않은 후보를 제외하기 때문에 보수적인 하한선이라고 강조합니다.

이 연구는 안전 메커니즘이 있는 모델조차도 간접적이고 개발자 같은 상호작용 (테스트 생성) 을 통해 프롬프트될 때 민감한 데이터를 재생산할 수 있음을 강조합니다. 저자들은 상업용 모델에 대한 진실 (ground truth) 검증의 불가능성과 고신뢰도 감사를 위한 현재 수동 검토에 대한 의존성과 같은 한계를 인정하면서도, 소프트웨어 개발에서 LLM 의 더 안전하고 신뢰할 수 있는 배포를 보장하는 한 걸음으로 자신의 작업을 위치시킵니다.