Locale-Conditioned Few-Shot Prompting Mitigates Demonstration Regurgitation in On-Device PII Substitution with Small Language Models

Resumo Técnico: Prompting Few-Shot Condicionado por Localidade para Substituição de PII em Dispositivo

Declaração do Problema
As ferramentas existentes de ofuscação de Informações Pessoais Identificáveis (PII) (por exemplo, Microsoft Presidio, filtro de privacidade da OpenAI) geralmente substituem entidades detectadas por tokens de preenchimento (por exemplo, [PESSOA], [EMAIL]). Embora suficientes para conformidade, essa abordagem destrói a utilidade a jusante: modelos de Reconhecimento de Entidades Nomeadas (NER) treinados em texto ofuscado falham em generalizar para texto natural, e a perplexidade do modelo de linguagem é dominada pelos tokens de preenchimento em vez da estrutura do texto.

A substituição — substituir PII por valores realistas e falsos do mesmo tipo — é uma alternativa superior, mas enfrenta três restrições: (1) Consistência: "John Smith" deve mapear para o mesmo nome falso ao longo de um documento; (2) Preservação de Tipo: Um nome chinês não deve ser substituído por um nome dos EUA; e (3) Execução em Dispositivo: O pipeline deve ser executado localmente sem enviar PII real para a nuvem.

Metodologia
Os autores propõem um pipeline totalmente em dispositivo que combina três componentes:

1. Detecção: Um classificador de tokens Mixture-of-Experts (MoE) com 1,5 bilhão de parâmetros (openai/privacy-filter) detecta intervalos de PII usando a anotação BIOES.
2. Proposta de Surrogato:
   • Componente SLM: Um Modelo de Linguagem Pequeno (SLM) quantizado em 1 bit, especificamente o Bonsai-1.7B (Q1_0), gera surrogatos contextuais para campos de alta entropia (PESSOA, ENDEREÇO, DATA).
   • Componente Baseado em Regras: A biblioteca faker lida com campos de baixa entropia (EMAIL, TELEFONE, URL, etc.).
3. Integração: Um EntityResolver agrupa intervalos detectados por forma canônica e rótulo para garantir consistência. Os surrogatos são inseridos de volta no texto, preservando os espaços em branco originais.

Descoberta Técnica Chave: Regurgitação Few-Shot
O artigo identifica um modo de falha crítico em SLMs com quantização extrema. Quando solicitado com um modelo de demonstração fixo e ingênuo de três exemplos, o Bonsai-1.7B de 1 bit (e até mesmo um Ternary-Bonsai-1.7B de 1,58 bit) ignora a entrada e "regurgita" literalmente uma das saídas de demonstração.

• Diagnóstico: Esta é uma falha de prompting, não uma falha de quantização. O modelo faz correspondência de padrões na estrutura superficial dos exemplos few-shot em vez de aprender o mapeamento de entrada para saída.
• Solução: Os autores implementam Demonstrações Few-Shot Rotativas Condicionadas por Localidade.
  • Uma heurística classifica a entrada em localidades específicas (por exemplo, en, zh, ja) e formatos de data.
  • Cada localidade possui um pool dedicado de 4 a 8 demonstrações.
  • Para cada entrada, três demonstrações são amostradas deterministicamente usando um hash MD5 da string de entrada.
  • Isso garante que a mesma entidade receba o mesmo contexto (cache), enquanto entidades diferentes amostram subconjuntos diferentes, impedindo que o modelo colapse para uma única saída fixa.

Resultados Experimentais
O sistema foi avaliado em um corpus multilíngue de 2.000 documentos em seis localidades (EUA, Índia, Alemanha, México, Japão, China) usando três modos: redact (marcadores de preenchimento), faker (substituição aleatória) e hybrid (SLM para nomes/datas, faker para outros).

• Naturalidade (Perplexidade): O modo hybrid supera significativamente o faker em todas as seis localidades quando avaliado por um LM causal multilíngue (XGLM-564M). Por exemplo, em japonês, a PPL caiu 32,3% em comparação com o faker.
• Consistência e Comprimento: O modo hybrid alcança consistência perfeita (1,000) e preservação de comprimento superior em comparação com o faker em quatro das seis localidades.
• Latência: O modo hybrid é significativamente mais lento (~41,2s por documento vs. ~1,6s para faker) devido à inferência do SLM, embora o cache de entidades únicas mitigue isso em ~27%.
• Utilidade de NER a Jusante (A Descoberta Negativa):
  • Treinar um modelo NER em dados redact resulta em um F1 de 0,000.
  • Treinar em dados faker recupera ~68% do F1 original (0,656 vs. 0,960 da linha de base).
  • Crucialmente, treinar em dados hybrid resulta em um F1 menor (0,346) do que faker (0,506) em um experimento de subconjunto correspondido ($p < 0,001$).
  • Análise: Embora o hybrid produza texto mais natural, ele sofre de uma "distribuição superficial mais estreita". O SLM, mesmo com prompts rotativos, tende a copiar do pool limitado de demonstrações (regurgitando nomes específicos como "Jennifer Wong" ou "David Kim" repetidamente). Em contraste, o faker fornece uma variedade mais ampla de valores aleatórios i.i.d. O artigo conclui que o treinamento de NER a jusante beneficia-se mais da variedade superficial do que da naturalidade.

Significado e Alegações
O artigo faz três contribuições principais:

1. Pipeline Reprodutível: Um sistema de substituição de PII totalmente em dispositivo que atende às restrições de consistência, preservação de tipo e execução local.
2. Identificação de Modo de Falha: O isolamento da "regurgitação few-shot" em SLMs de 1 bit/1,58 bit, provando que é um artefato de prompting e não um defeito de quantização.
3. Insight Metodológico: A demonstração de que "naturalidade" (medida por PPL) não é um proxy para "utilidade a jusante" (medida por F1 de NER). Os autores relatam uma "descoberta negativa honesta": embora a abordagem híbrida baseada em SLM crie texto mais natural, a variedade aleatória do faker é superior para treinar modelos NER a jusante.

Os autores enfatizam que sua estratégia de prompting condicionada por localidade elimina com sucesso falhas qualitativas entre localidades (por exemplo, nomes chineses tornando-se nomes em inglês), mas não resolve totalmente o estreitamento de vocabulário inerente ao prompting few-shot em modelos pequenos. Trabalhos futuros sugerem expandir os pools de demonstração ou usar corpora de treinamento de fontes mistas para equilibrar naturalidade e variedade.