💬 NLP

Locale-Conditioned Few-Shot Prompting Mitigates Demonstration Regurgitation in On-Device PII Substitution with Small Language Models

본 논문은 데모 재생을 방지하기 위해 로컬 조건 기반 회전 퓨샷 프롬프팅을 사용하는 1 비트 소형 언어 모델을 활용한 온디바이스 PII 대체 파이프라인을 제안하며, 이 방식이 규칙 기반 방법보다 더 자연스러운 텍스트를 생성하지만 훈련 데이터의 다양성 부족으로 인해 하류 개체명 인식 성능을 저하시킨다는 점을 밝힌다.

원저자: Anuj Sadani, Deepak Kumar

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anuj Sadani, Deepak Kumar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

민감한 문서 더미가 있다고 상상해 보세요. 그 안에는 실제 이름, 주소, 날짜가 포함되어 있습니다. 연구나 훈련을 위해 이 문서들을 공유해야 하지만, 실제 개인 정보는 숨겨야 합니다.

이 논문은 바로 그 숨김 작업을 수행하는 새롭고 지능적인 방법에 관한 것으로, 특히 클라우드에 데이터를 전송하는 대신 휴대폰이나 노트북에 탑재된 작은 컴퓨터를 사용하는 방식을 다룹니다.

다음은 간단한 비유를 통해 들려주는 그들의 발견 이야기입니다.

문제: "빈 스티커" 방식

전통적으로 기업들이 개인 정보를 숨길 때 "빈 스티커" 방식을 사용합니다. 문서에 "존 스미스는 123 메인가에 산다"라고 적혀 있다면, 소프트웨어는 이를 [PERSON]과 [ADDRESS]로 대체합니다.

문제점: 이 방식은 비밀을 안전하게 지키지만, 문서의 유용성을 떨어뜨립니다. 나중에 컴퓨터에게 이름을 인식하도록 가르치려 한다면, 컴퓨터는 실제 이름이 어떤 모습인지 배우는 대신 [PERSON]이라는 단어만 찾아내는 법을 배우게 됩니다. 마치 "DOG"라고 적힌 빈 사각형 그림을 보여주며 아이에게 개를 인식하도록 가르치는 것과 같습니다. 아이는 실제 개가 어떤 모습인지 알 수 없습니다.

해결책: "가짜 신분증" 공장

저자들은 데이터에 빈 라벨을 붙이는 것을 넘어, 사람이나 장소를 위한 현실적인 가짜 버전을 생성하는 시스템을 구축했습니다.

목표: "존 스미스"를 "마커스 첸"으로, "123 메인가"를 "456 오크 애비뉴"로 변경합니다. 텍스트는 여전히 자연스럽고 실제처럼 보이지만, 실제 비밀은 사라집니다.
제약 조건: 이는 클라우드의 대형 서버로 데이터를 전송하지 않고, 완전히 장치 (당신의 노트북) 내부에서 이루어져야 합니다. 이는 토스터기 안에 고급 영화 스튜디오를 운영하는 것과 같습니다.

등장인물

이 작업을 수행하기 위해 세 가지 도구가 함께 작동했습니다:

탐정 (개인정보 필터): 텍스트를 스캔하여 "저건 이름이야!" 또는 "저건 날짜야!"라고 지적하는 작은 AI 입니다.
창의적 작가 (소형 언어 모델): 맥락에 맞는 가짜 이름이나 주소를 발명해 내는 작고 초고효율 AI(Bonsai-1.7B) 입니다.
규칙 준수자 (Faker): 이메일이나 전화번호와 같은 것들을 위해 무작위 가짜 데이터를 생성하는 표준 컴퓨터 프로그램입니다.

큰 실수: "앵무새" 효과

연구자들은 큰 난관에 부딪혔습니다. 작은 AI 작가가 가짜 이름을 만들도록 요청했을 때, 그것은 앵무새처럼 행동하기 시작했습니다.

만약 AI 에게 세 가지 예시 (예: "실제: 앨리스 -> 가짜: 밥") 와 함께 프롬프트를 주고, 완전히 다른 언어 (중국어나 독일어 등) 를 처리하도록 요청하면, AI 는 새로운 입력을 무시하고 다시 "밥"을 내뱉었습니다. 실제 텍스트와 관계없이 예시를 그대로 복사해 내던 것입니다.

발견:
그들은 이 문제가 AI 가 "너무 작거나" "너무 압축 (양자화) 되어" 발생했다고 생각했습니다. 그래서 약간 더 크고 덜 압축된 AI 버전을 사용해 테스트했습니다. 그 결과 정확히 똑같은 일이 발생했습니다.

교훈: 문제는 하드웨어나 AI 의 크기가 아니라 **지시사항 (프롬프트)**에 있었습니다. AI 는 단순히 제공된 예시를 패턴 매칭하고 있었던 것입니다.

해결책: "회전식 메뉴"

AI 가 앵무새가 되는 것을 막기 위해, 연구자들은 예시를 제공하는 방식을 변경했습니다.

옛 방식: AI 에게 항상 동일한 세 가지 예시를 제공했습니다.
새 방식: 그들은 다양한 언어 (영어, 중국어, 독일어 등) 를 위한 예시 "메뉴"를 만들었습니다. 새로운 텍스트가 들어올 때마다, 올바른 언어 메뉴에서 세 가지 예시를 무작위로 선택하여 AI 에게 보여주었습니다.
결과: AI 는 잘못된 예시를 복사하는 것을 멈췄습니다. 중국어 이름에는 "리웨이"를, 독일어 이름에는 "안나 베커"를 생성하기 시작했습니다. 마침내 과제를 이해한 것입니다.

놀라운 반전: "자연스러움"이 항상 "더 나은" 것은 아님

이것이 이 논문에서 가장 흥미로운 부분입니다. 그들은 미래의 컴퓨터를 훈련시키기 위해 새로운 "창의적 작가"(AI) 가 "규칙 준수자"(Faker) 보다 더 나은지 확인하고 싶었습니다.

기대: 그들은 AI 가 생성한 이름이 더 "자연스러울" 것이므로 훈련에 더 좋을 것이라고 생각했습니다.
현실: "규칙 준수자"(Faker) 가 실제로 승리했습니다.
- 이유: AI 는 수정을 거쳤음에도 불구하고, 예시에서 본 매우 작은 이름 목록에서 선택하는 경향이 있었습니다. 마치 다섯 가지 특정 요리만 만드는 법을 아는 요리사와 같았습니다.
- "규칙 준수자"(Faker) 는 무작위적이었습니다. 수천 가지 다른 이름을 생성할 수 있었습니다.
- 교훈: 개인 데이터를 인식하도록 컴퓨터를 훈련시킬 때, 자연스러움보다 다양성이 더 중요합니다. 컴퓨터는 매우 현실적인 소수의 이름보다는, 약간 무작위적으로 보일지라도 수많은 다양한 가짜 이름을 볼 때 더 잘 학습합니다.

결론

장치 내 실행 가능: 데이터를 클라우드에 전송하지 않고도 자신의 컴퓨터에서 정교한 개인정보 보호 도구를 실행할 수 있습니다.
프롬프팅의 중요성: 잘못된 예시를 제공하면 작은 AI 모델조차 실패할 수 있습니다. 예시를 변경 (로케일 기반 프롬프팅) 하는 것이 "앵무새" 문제를 해결했습니다.
다양성 > 현실성: 개인 데이터를 식별하도록 AI 를 훈련시킬 때, 몇 가지 매우 현실적인 가짜를 생성하는 것보다 많은 무작위적이고 약간 다른 가짜를 생성하는 생성기가 더 좋습니다.

저자들은 모든 코드와 데이터를 공개하여 누구나 직접 이 "가짜 신분증 공장"을 시도해 볼 수 있도록 했습니다.

기술 요약: 온디바이스 PII 대체를 위한 로컬 조건부 퓨샷 프롬프팅

문제 제기
기존의 개인식별정보 (PII) 마스킹 도구 (예: Microsoft Presidio, OpenAI 개인정보 필터) 는 탐지된 개체를 [PERSON], [EMAIL]과 같은 플레이스홀더 토큰으로 대체하는 경우가 많습니다. 이는 규정 준수를 위해서는 충분하지만, 하류 활용성을 파괴합니다: 마스킹된 텍스트로 훈련된 개체명 인식 (NER) 모델은 자연어 텍스트에 일반화되지 못하며, 언어 모델의 퍼플렉시티는 텍스트 구조가 아닌 플레이스홀더 토큰에 의해 지배받게 됩니다.

대체 (Substitution) 는 PII 를 동일한 유형의 현실적인 가짜 값으로 교체하는 것으로, 더 우수한 대안이지만 세 가지 제약에 직면합니다: (1) 일관성: "John Smith"는 문서 전체에서 동일한 가짜 이름으로 매핑되어야 함; (2) 유형 보존: 중국어 이름은 미국 이름으로 대체되어서는 안 됨; (3) 온디바이스 실행: 파이프라인은 실제 PII 를 클라우드로 전송하지 않고 로컬에서 실행되어야 함.

방법론
저자들은 세 가지 구성 요소를 결합한 완전한 온디바이스 파이프라인을 제안합니다:

탐지: 15 억 파라미터의 전문가 혼합 (MoE) 토큰 분류기 (openai/privacy-filter) 가 BIOES 태깅을 사용하여 PII 스팬을 탐지합니다.
대체 제안:
- SLM 구성 요소: 1 비트 양자화된 소형 언어 모델 (SLM), 구체적으로 Bonsai-1.7B (Q1_0) 가 고엔트로피 필드 (PERSON, ADDRESS, DATE) 에 대한 문맥적 대체어를 생성합니다.
- 규칙 기반 구성 요소: faker 라이브러리가 저엔트로피 필드 (EMAIL, PHONE, URL 등) 를 처리합니다.
통합: EntityResolver 는 일관성을 보장하기 위해 탐지된 스팬을 표준 형식과 레이블별로 그룹화합니다. 대체어는 원래 공백을 보존하면서 텍스트에 다시 삽입됩니다.

주요 기술적 발견: 퓨샷 재생 (Few-Shot Regurgitation)
이 논문은 극단적 양자화 SLM 에서의 치명적인 실패 모드를 식별합니다. 단순한 고정 3 샷 데모 템플릿으로 프롬프트를 입력할 때, 1 비트 Bonsai-1.7B(심지어 1.58 비트 Ternary-Bonsai-1.7B 까지) 는 입력을 무시하고 데모 출력 중 하나를 그대로 "재생"합니다.

진단: 이는 양자화 실패가 아닌 프롬프팅 실패입니다. 모델은 입력에서 출력으로의 매핑을 학습하는 대신 퓨샷 예제의 표면적 구조를 패턴 매칭합니다.
해결책: 저자들은 로컬 조건부 회전 퓨샷 데모를 구현합니다.
- 휴리스틱이 입력을 특정 로컬 (예: en, zh, ja) 과 날짜 형식으로 분류합니다.
- 각 로컬에는 4~8 개의 전용 데모 풀이 있습니다.
- 각 입력에 대해 입력 문자열의 MD5 해시를 사용하여 세 개의 데모를 결정론적으로 샘플링합니다.
- 이는 동일한 개체가 동일한 컨텍스트를 받도록 (캐싱) 하면서 다른 개체는 서로 다른 하위 집합을 샘플링하여 모델이 단일 고정 출력으로 수렴하는 것을 방지합니다.

실험 결과
시스템은 6 개 로컬 (미국, 인도, 독일, 멕시코, 일본, 중국) 에 걸쳐 2,000 개 문서의 다국어 코퍼스에 대해 redact(플레이스홀더), faker(무작위 대체), hybrid(이름/날짜용 SLM, 기타용 faker) 의 세 가지 모드로 평가되었습니다.

자연스러움 (Perplexity): 다국어 인과적 LM(XGLM-564M) 으로 평가했을 때, hybrid 모드는 모든 6 개 로컬에서 faker 를 크게 능가했습니다. 예를 들어, 일본어에서 PPL 은 faker 대비 32.3% 감소했습니다.
일관성 및 길이: hybrid 모드는 6 개 로컬 중 4 개에서 faker 대비 완벽한 일관성 (1.000) 과 우수한 길이 보존을 달성했습니다.
지연 시간: SLM 추론으로 인해 hybrid 모드는 현저히 느립니다 (문서당 약 41.2 초 vs faker 의 약 1.6 초). 그러나 고유 개체 캐싱은 이를 약 27% 완화합니다.
하류 NER 활용성 (부정적 발견):
- redact 데이터로 NER 모델을 훈련하면 F1 점수가 0.000 입니다.
- faker 데이터로 훈련하면 원래 F1 의 약 68% 를 회복합니다 (0.656 대 0.960 기준).
- 중요하게도, 매칭된 부분집합 실험에서 hybrid 데이터로 훈련하면 faker(0.506) 보다 낮은 F1(0.346) 을 보입니다 ( $p < 0.001$ ).
- 분석: hybrid 는 더 자연스러운 텍스트를 생성하지만, "더 좁은 표면 분포"로 고통받습니다. 회전 프롬프트에도 불구하고 SLM 은 제한된 데모 풀에서 복사하는 경향이 있어 (예: "Jennifer Wong"이나 "David Kim"과 같은 특정 이름을 반복 재생) 이 됩니다. 반면 faker 는 더 넓은 범위의 i.i.d. 무작위 값을 제공합니다. 논문은 하류 NER 훈련은 자연스러움보다 표면적 다양성에서 더 큰 이점을 얻는다고 결론지었습니다.

의의 및 주장
이 논문은 세 가지 주요 기여를 합니다:

재현 가능한 파이프라인: 일관성, 유형 보존, 로컬 실행 제약을 충족하는 완전한 온디바이스 PII 대체 시스템.
실패 모드 식별: 1 비트/1.58 비트 SLM 에서의 "퓨샷 재생"을 격리하여 이것이 양자화 결함이 아닌 프롬프팅 아티팩트임을 입증.
방법론적 통찰: "자연스러움"(PPL 로 측정) 이 "하류 활용성"(NER F1 로 측정) 의 대용물이 아님을 보여줌. 저자들은 "정직한 부정적 발견"을 보고합니다: SLM 기반 하이브리드 접근법은 더 자연스러운 텍스트를 생성하지만, 하류 NER 모델 훈련을 위해서는 faker 의 무작위 다양성이 더 우수합니다.

저자들은 로컬 조건부 프롬프팅 전략이 정성적인 교차 로컬 실패 (예: 중국어 이름이 영어 이름이 되는 것) 를 성공적으로 제거하지만, 소형 모델의 퓨샷 프롬프팅에 내재된 어휘 축소 문제를 완전히 해결하지는 못한다고 강조합니다. 향후 작업은 자연스러움과 다양성을 균형 있게 맞추기 위해 데모 풀을 확장하거나 혼합 소스 훈련 코퍼스를 사용할 것을 제안합니다.