💬 NLP

Locale-Conditioned Few-Shot Prompting Mitigates Demonstration Regurgitation in On-Device PII Substitution with Small Language Models

Este artículo propone una tubería de sustitución de información de identificación personal (PII) en el dispositivo que utiliza un modelo de lenguaje pequeño de 1 bit con una prompting de pocos ejemplos rotativa condicionada por la localización para prevenir la repetición de demostraciones, revelando que, aunque este enfoque genera texto más natural que los métodos basados en reglas, en última instancia perjudica el rendimiento del reconocimiento de entidades nombradas aguas abajo debido a una variedad insuficiente de datos de entrenamiento.

Autores originales: Anuj Sadani, Deepak Kumar

Publicado 2026-05-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Anuj Sadani, Deepak Kumar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una pila de documentos sensibles que contienen nombres reales, direcciones y fechas. Necesitas compartir estos documentos para investigación o entrenamiento, pero debes ocultar la información privada real.

Este artículo trata sobre una nueva y inteligente forma de realizar ese ocultamiento, utilizando específicamente pequeños ordenadores (como los de tu teléfono o portátil) en lugar de enviar datos a la nube.

Aquí está la historia de su descubrimiento, narrada mediante analogías simples.

El Problema: El Enfoque de la "Etiqueta en Blanco"

Tradicionalmente, cuando las empresas ocultan información privada, utilizan un método de "etiqueta en blanco". Si un documento dice "John Smith vive en 123 Main St", el software lo reemplaza por [PERSONA] y [DIRECCIÓN].

El Problema: Aunque esto mantiene seguros los secretos, arruina la utilidad del documento. Si intentas enseñar a un ordenador a reconocer nombres más adelante, solo aprenderá a detectar la palabra [PERSONA], no cómo se ve un nombre real. Es como enseñar a un niño a reconocer perros mostrándole una imagen de un cuadrado en blanco etiquetado como "PERRO". No sabrá cómo se ve un perro real.

La Solución: La Fábrica de "Identidades Falsas"

Los autores construyeron un sistema que no se limita a pegar una etiqueta en blanco sobre los datos; crea una versión falsa realista de la persona o el lugar.

El Objetivo: Cambiar "John Smith" por "Marcus Chen" y "123 Main St" por "456 Oak Ave". El texto sigue pareciendo y sintiéndose natural, pero los secretos reales han desaparecido.
La Restricción: Esto debe ocurrir enteramente en el dispositivo (en tu portátil), sin enviar los datos a un gran servidor en la nube. Esto es como intentar operar un estudio de cine de alta gama dentro de una tostadora.

El Reparto de Personajes

Para lograr esto, utilizaron tres herramientas trabajando juntas:

El Detective (Filtro de Privacidad): Una pequeña IA que escanea el texto y señala: "¡Oye, eso es un nombre!" o "¡Eso es una fecha!".
El Escritor Creativo (Modelo de Lenguaje Pequeño): Una IA diminuta y supereficiente (llamada Bonsai-1.7B) que intenta inventar un nombre o dirección falsa que encaje en el contexto.
El Cumplidor de Reglas (Faker): Un programa informático estándar que genera datos falsos aleatorios para cosas como correos electrónicos o números de teléfono.

El Gran Error: El Efecto "Loro"

Los investigadores tropezaron con un obstáculo importante. Cuando pidieron al pequeño escritor de IA que creara nombres falsos, comenzó a actuar como un loro.

Si le dabas a la IA una instrucción con tres ejemplos (por ejemplo, "Real: Alicia -> Falso: Roberto") y luego le pedías que manejara un idioma completamente diferente (como chino o alemán), la IA ignoraría la nueva entrada y simplemente volvería a escupir "Roberto". Estaba copiando los ejemplos palabra por palabra, independientemente del texto real.

El Descubrimiento:
Pensaron que esto ocurría porque la IA era "demasiado pequeña" o "demasiado comprimida" (cuantizada). Lo probaron utilizando una versión ligeramente más grande y menos comprimida de la IA. Hizo exactamente lo mismo.

La Lección: El problema no era el hardware ni el tamaño de la IA; eran las instrucciones (la instrucción o prompt). La IA simplemente estaba haciendo coincidir patrones con los ejemplos que se le habían dado.

La Solución: El "Menú Rotatorio"

Para evitar que la IA actuara como un loro, cambiaron la forma en que le daban ejemplos.

Antiguo Método: Darle a la IA los mismos tres ejemplos cada vez.
Nuevo Método: Crearon un "menú" de ejemplos para diferentes idiomas (inglés, chino, alemán, etc.). Para cada nuevo fragmento de texto, seleccionaron aleatoriamente tres ejemplos del menú del idioma correcto para mostrarlos a la IA.
El Resultado: La IA dejó de copiar los ejemplos incorrectos. Comenzó a generar "Li Wei" para nombres chinos y "Anna Becker" para nombres alemanes. Finalmente, entendió la tarea.

El Giro Sorprendente: "Natural" no siempre es "Mejor"

Esta es la parte más interesante del artículo. Querían ver si su nuevo "Escritor Creativo" (la IA) era mejor que el "Cumplidor de Reglas" (Faker) para entrenar a futuros ordenadores.

La Expectativa: Pensaron que los nombres generados por la IA serían más "naturales" y, por lo tanto, mejores para el entrenamiento.
La Realidad: El "Cumplidor de Reglas" (Faker) realmente ganó.
- ¿Por qué? La IA, incluso con la solución, tendía a elegir de una lista muy pequeña de nombres que había visto en sus ejemplos. Era como un chef que solo sabe cocinar cinco platos específicos.
- El "Cumplidor de Reglas" (Faker) era aleatorio. Podía generar miles de nombres diferentes.
- La Lección: Cuando se entrena a un ordenador para reconocer datos privados, la variedad es más importante que el realismo. El ordenador aprende mejor cuando ve una gran variedad de nombres falsos, incluso si parecen un poco aleatorios, en lugar de un pequeño conjunto de nombres muy realistas.

La Conclusión

Es Posible en el Dispositivo: Puedes ejecutar herramientas de privacidad sofisticadas en tu propio ordenador sin enviar datos a la nube.
La Instrucción Importa: Incluso los modelos de IA diminutos pueden fallar si se les dan los ejemplos incorrectos. Cambiar los ejemplos (instrucción condicionada por la localidad) solucionó el problema del "loro".
Variedad > Realismo: Para entrenar a la IA para detectar datos privados, un generador que produce muchos falsos aleatorios y ligeramente diferentes es mejor que uno que produce unos pocos muy realistas.

Los autores publicaron todo su código y datos para que cualquiera pueda probar esta "fábrica de identidades falsas" por sí mismo.

Resumen Técnico: Prompting Few-Shot Condicionado por Localidad para la Sustitución de PII en Dispositivo

Declaración del Problema
Las herramientas existentes de ofuscación de Información de Identificación Personal (PII) (por ejemplo, Microsoft Presidio, filtro de privacidad de OpenAI) suelen reemplazar las entidades detectadas con tokens marcadores de posición (por ejemplo, [PERSON], [EMAIL]). Aunque esto es suficiente para el cumplimiento normativo, este enfoque destruye la utilidad posterior: los modelos de Reconocimiento de Entidades Nombradas (NER) entrenados con texto ofuscado no logran generalizar a texto natural, y la perplejidad del modelo de lenguaje está dominada por los tokens marcadores de posición en lugar de la estructura del texto.

La sustitución —reemplazar la PII con valores falsos realistas del mismo tipo— es una alternativa superior, pero enfrenta tres restricciones: (1) Consistencia: "John Smith" debe mapearse al mismo nombre falso en todo el documento; (2) Preservación del Tipo: Un nombre chino no debe ser reemplazado por un nombre estadounidense; y (3) Ejecución en Dispositivo: El pipeline debe ejecutarse localmente sin enviar PII real a la nube.

Metodología
Los autores proponen un pipeline completamente en dispositivo que combina tres componentes:

Detección: Un clasificador de tokens de 1.5 mil millones de parámetros basado en una Mezcla de Expertos (MoE) (openai/privacy-filter) detecta segmentos de PII utilizando etiquetado BIOES.
Propuesta de Sustitutos:
- Componente LLM Pequeño (SLM): Un Modelo de Lenguaje Pequeño (SLM) cuantizado a 1 bit, específicamente Bonsai-1.7B (Q1_0), genera sustitutos contextuales para campos de alta entropía (PERSONA, DIRECCIÓN, FECHA).
- Componente Basado en Reglas: La biblioteca faker maneja campos de baja entropía (CORREO ELECTRÓNICO, TELÉFONO, URL, etc.).
Integración: Un EntityResolver agrupa los segmentos detectados por forma canónica y etiqueta para garantizar la consistencia. Los sustitutos se insertan de nuevo en el texto, preservando los espacios en blanco originales.

Hallazgo Técnico Clave: Regurgitación Few-Shot
El artículo identifica un modo de fallo crítico en modelos SLM con cuantización extrema. Cuando se les solicita con una plantilla de demostración fija de tres ejemplos ingenua, el Bonsai-1.7B de 1 bit (e incluso un Ternary-Bonsai-1.7B de 1.58 bits) ignora la entrada y "regurgita" literalmente una de las salidas de demostración.

Diagnóstico: Esto es un fallo de prompting, no un fallo de cuantización. El modelo coincide con patrones de la estructura superficial de los ejemplos few-shot en lugar de aprender el mapeo de entrada a salida.
Solución: Los autores implementan Demostraciones Few-Shot Rotativas Condicionadas por Localidad.
- Una heurística clasifica la entrada en localidades específicas (por ejemplo, en, zh, ja) y formatos de fecha.
- Cada localidad tiene un grupo dedicado de 4 a 8 demostraciones.
- Para cada entrada, se muestrean tres demostraciones de forma determinista utilizando un hash MD5 de la cadena de entrada.
- Esto asegura que la misma entidad reciba el mismo contexto (caché) mientras que entidades diferentes muestrean subconjuntos distintos, evitando que el modelo colapse hacia una única salida fija.

Resultados Experimentales
El sistema se evaluó en un corpus multilingüe de 2.000 documentos en seis localidades (EE. UU., India, Alemania, México, Japón, China) utilizando tres modos: redact (marcadores de posición), faker (sustitución aleatoria) e hybrid (SLM para nombres/fechas, faker para otros).

Naturalidad (Perplejidad): El modo hybrid supera significativamente a faker en las seis localidades cuando se evalúa mediante un modelo causal multilingüe (XGLM-564M). Por ejemplo, en japonés, la PPL disminuyó un 32.3% en comparación con faker.
Consistencia y Longitud: El modo hybrid logra una consistencia perfecta (1.000) y una preservación de longitud superior en comparación con faker en cuatro de las seis localidades.
Latencia: El modo hybrid es significativamente más lento (~41.2 segundos por documento frente a ~1.6 segundos para faker) debido a la inferencia del SLM, aunque la caché de entidades únicas mitiga esto en un ~27%.
Utilidad del NER Posterior (El Hallazgo Negativo):
- Entrenar un modelo NER con datos redact produce un F1 de 0.000.
- Entrenar con datos faker recupera ~68% del F1 original (0.656 frente a una línea base de 0.960).
- Crucialmente, entrenar con datos hybrid produce un F1 inferior (0.346) que faker (0.506) en un experimento con subconjunto coincidente ( $p < 0.001$ ).
- Análisis: Aunque hybrid produce texto más natural, sufre de una "distribución superficial más estrecha". El SLM, incluso con prompts rotativos, tiende a copiar del grupo limitado de demostraciones (regurgitando nombres específicos como "Jennifer Wong" o "David Kim" repetidamente). En contraste, faker proporciona una mayor variedad de valores aleatorios i.i.d. El artículo concluye que el entrenamiento de NER posterior se beneficia más de la variedad superficial que de la naturalidad.

Significado y Afirmaciones
El artículo realiza tres contribuciones principales:

Pipeline Reproducible: Un sistema de sustitución de PII completamente en dispositivo que cumple con las restricciones de consistencia, preservación del tipo y ejecución local.
Identificación de Modo de Fallo: El aislamiento de la "regurgitación few-shot" en modelos SLM de 1 bit/1.58 bits, demostrando que es un artefacto de prompting y no un defecto de cuantización.
Insight Metodológico: La demostración de que la "naturalidad" (medida por PPL) no es un proxy para la "utilidad posterior" (medida por F1 de NER). Los autores reportan un "hallazgo negativo honesto": aunque el enfoque híbrido basado en SLM crea texto más natural, la variedad aleatoria de faker es superior para entrenar modelos NER posteriores.

Los autores enfatizan que su estrategia de prompting condicionada por localidad elimina con éxito los fallos cualitativos entre localidades (por ejemplo, nombres chinos convirtiéndose en nombres ingleses), pero no resuelve completamente el estrechamiento del vocabulario inherente al prompting few-shot en modelos pequeños. El trabajo futuro sugiere expandir los grupos de demostraciones o utilizar corpus de entrenamiento de fuentes mixtas para equilibrar la naturalidad y la variedad.