🤖 machine learning

Secrets Everywhere: Auditing Memorization in Mobility Prediction Models

Este artículo presenta la primera auditoría sistemática de la memorización en los modelos de predicción de movilidad humana, introduciendo un marco de multigranularidad para cuantificar cómo estos modelos exponen trayectorias sensibles de usuarios y revelando riesgos de privacidad generalizados que se correlacionan con la regularidad del usuario.

Autores originales: Anne Josiane Kouam, Hristo Boyadzhiev, Konrad Rieck

Publicado 2026-08-04

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Anne Josiane Kouam, Hristo Boyadzhiev, Konrad Rieck

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina tu vida diaria como un libro de cuentos gigante e invisible. Cada vez que caminas hacia la escuela, tomas un café o te diriges a casa, estás escribiendo un nuevo capítulo en un libro que solo tú has leído. Durante mucho tiempo, los científicos han intentado construir "superlectores": programas informáticos que pueden adivinar qué harás después basándose en tus capítulos pasados. Estos programas se llaman modelos de predicción de movilidad. Son los cerebros detrás de tu GPS sugiriendo la ruta más rápida o de las aplicaciones que recomiendan un restaurante cerca de tu oficina. Pero aquí está el giro: al igual que un estudiante que memoriza un libro de texto palabra por palabra en lugar de comprender la historia, estos programas informáticos a veces se vuelven demasiado buenos recordando. No solo aprenden las reglas generales de cómo se mueven las personas; accidentalmente memorizan tu trayectoria exacta, tus lugares secretos de reunión y tu rutina diaria. Esto se llama memorización. Es un gran problema porque si una computadora recuerda demasiado bien tu historia específica, un hacker astuto podría preguntarle a la computadora: "¿Qué pasa después de que sales del trabajo?" y la computadora podría escupir tu dirección exacta de casa, pensando que solo está siendo útil.

Este artículo, titulado "Secrets Everywhere" (Secretos en todas partes), es como una historia de detectives donde los autores se infiltran para auditar a estos superlectores. Querían averiguar: ¿Realmente estos modelos memorizan nuestros secretos y, si es así, de quién son esos secretos? Los investigadores descubrieron que estos modelos sí están acaparando nuestros movimientos privados, pero no de la manera que pensábamos. Resulta que cuanto más aburrante y rutinario es tu día, más probable es que la computadora lo memorice. Si eres un "explorador" que deambula por toda la ciudad, la computadora te olvida. Pero si eres un "rutinario" que va al mismo gimnasio a la misma hora todos los días, la computadora recuerda cada uno de tus pasos con una precisión aterradora. Los autores también descubrieron que la forma antigua de comprobar estos secretos no funcionaba para los datos de ubicación, por lo que inventaron un nuevo conjunto de herramientas para medir exactamente cuánto de tu vida está robando la computadora.

El kit de herramientas del detective: Por qué las reglas antiguas no funcionaron

Para entender el gran descubrimiento del artículo, primero debemos observar cómo los científicos suelen comprobar la memorización. En el mundo de los modelos de lenguaje (como los que escriben ensayos o charlan contigo), los investigadores usan un trucción llamada "exposición". Introducen una frase falsa y aleatoria —como un número de teléfono inventado— en los datos de entrenamiento. Si la computadora luego escupe ese número falso exacto cuando se le pregunta, es una señal de que la computadora lo memorizó. Esto funciona porque un número de teléfono falso es un sinsentido; la computadora no debería saberlo a menos que lo haya memorizado.

Pero los autores se dieron cuenta de que este truco falla estrepitosamente para el movimiento humano. ¿Por qué? Porque en el mundo real, no existen los movimientos "falsos". Cada trayectoria que recorre una persona es real, y cada trayectoria es sensible. No puedes simplemente inventar un camino "secreto" aleatorio para probar un modelo porque un camino aleatorio podría parecer un sinsentido para la computadora, lo que facilitaría distinguir la diferencia. El peligro real es que la computadora memoriza trayectorias reales que parecen perfectamente normales. Los autores argumentan que para los modelos de movilidad, los "secretos" son precisamente las cosas que el modelo debería aprender para ser bueno prediciendo. Es como un profesor que debe aprender las reglas de la gramática pero accidentalmente memoriza tu entrada de diario específica en su lugar.

El nuevo marco: Midiendo la "fuga de memoria"

Para resolver esto, los autores construyeron un nuevo marco para auditar estos modelos. En lugar de buscar secretos falsos, crearon un sistema para ver si el modelo prefiere tu trayectoria específica sobre otras trayectorias que parecen similares. Dividieron esto en tres niveles de "filtración":

Memorización de ubicación: ¿Recuerda el modelo las coordenadas exactas de tu casa?
Memorización de pares de anclaje: ¿Recuerda el vínculo específico entre tu hogar y tu lugar de trabajo?
Memorización de segmentos: ¿Recuerda la ruta pequeña y específica que tomas para ir desde la parada del autobús hasta la cafetería?

Para probar esto, no solo adivinaron. Construyeron "conjuntos de referencia". Imagina que tú eres el modelo y se te muestra una imagen de tu ruta diaria. Luego, se te muestran otras 100 imágenes de rutas que se ven casi iguales (misma distancia, misma hora del día) pero pertenecen a personas diferentes. Si tú, el modelo, dices: "¡Oh, conozco esta perfectamente!" y le das una puntuación de confianza mucho más alta que a las otras 99, has memorizado.

Los hallazgos: Los aburridos son los más vulnerables

Los investigadores probaron sus nuevas herramientas en tres bases de datos masivas que contienen millones de registros de movimiento de personas en Shanghái, Shenzhen y Japón. Entrenaron varios tipos de modelos diferentes, desde los más simples hasta sistemas complejos de aprendizaje profundo. Esto es lo que encontraron:

1. La memorización está en todas partes:
Los modelos definitivamente estaban memorizando. En algunos casos, hasta el 85% de las trayectorias de entrenamiento mostraban fuertes signos de memorización. Esto no era solo de unos pocos casos aislados; era un problema generalizado. Incluso los modelos que eran muy buenos prediciendo la siguiente ubicación (con una precisión que a veces superaba el 90%) seguían almacenando secretamente los detalles exactos de las trayectorias que aprendieron.

2. La paradoja del "Rutinario":
El hallazgo más sorprendente fue quién fue memorizado. Los autores agruparon a los usuarios en tres tipos:

Rutinarios: Personas con vidas muy predecibles y repetitivas (alta estacionariedad, baja diversidad).
Regulares: Personas con algo de rutina pero con algo de variedad.
Exploradores: Personas que deambulan mucho y tienen trayectorias impredecibles.

Los modelos amaban a los Rutinarios. De hecho, el 99.4% de las trayectorias en un conjunto de datos mostraron señales de memorización positiva, y estos eran mayoritariamente los usuarios predecibles. Los modelos encontraron fácil aprender el patrón de una persona que va al mismo lugar todos los días, así que almacenaron los detalles exactos. Por el contrario, los Exploradores fueron mucho más difíciles de memorizar. Sus trayectorias eran demasiado caóticas, por lo que los modelos tuvieron que generalizar (aprender la idea general) en lugar de memorizar los detalles específicos.

3. El efecto "Ancla":
Los modelos eran particularmente buenos recordando "pares de anclaje", la conexión entre dos lugares clave, como el hogar y el trabajo. Si conoces dónde vive alguien, el modelo a menudo podía predecir exactamente dónde trabaja, y viceversa, porque había memorizado ese par específico.

4. Pequeños cambios, grandes diferencias:
Los autores también descubrieron que el diseño del modelo importaba. Por ejemplo, probaron un modelo llamado Graph-Flashback, que tenía una "memoria" muy pequeña (solo 10 unidades de estado oculto). Podrías pensar que un modelo pequeño olvidaría las cosas, pero en realidad mostró una enorme "cola" de memorización, con algunos puntajes de exposición alcanzando 469.15. Esto sugiere que incluso los modelos simples pueden ser peligrosos si no se diseñan cuidadosamente.

El peligro real: Es fácil robar los secretos

Finalmente, el artículo planteó la pregunta aterradora: "¿Si el modelo lo memorizó, puede un hacker realmente robarlo?". Simularon un atacante que sabía un poco sobre el día de una persona (como su rutina matutina) e intentó adivinar el resto. Encontraron un vínculo claro: cuanto más había memorizado un camino el modelo (medido por su puntuación de "magnitud"), más fácil era para el atacante reconstruir todo el viaje.

En un experimento, descubrieron que para los usuarios con altas puntuaciones de memorización, el atacante necesitaba muchos menos intentos para descifrar el resto del día. Es como si un ladrón supiera que siempre sales de tu casa a las 8:00 AM y caminas hacia la misma panadería; no necesita adivinar hacia dónde vas después. La "memoria" del modelo le dio la respuesta al ladrón.

Conclusión

Este artículo no solo dice que "la privacidad es importante". Proporciona la primera forma sistemática de medir cuánta privacidad se está perdiendo en las aplicaciones de movilidad. Los autores concluyen que la memorización no es un error; es una característica de cómo aprenden estos modelos, y ocurre más en las personas con las vidas más predecibles. Sugieren que antes de desplegar estos modelos en el mundo real, necesitamos realizar estas nuevas "auditorías de privacidad" para ver qué usuarios están en riesgo. Si no lo hacemos, podríamos estar entregando nuestros secretos diarios a computadoras que están demasiado ansiosas por recordarlos.

Resumen Técnico: Auditoría de la Memorización en Modelos de Predicción de Movilidad

1. Planteamiento del Problema

Los modelos de predicción de movilidad humana, que pronostican la próxima ubicación de un usuario basándose en trayectorias históricas, se despliegan ampliamente en el análisis urbano y los servicios personalizados. Si bien estos modelos logran una alta precisión, existe una brecha crítica en la comprensión de su tendencia a memorizar datos de entrenamiento sensibles. A diferencia de los modelos de lenguaje natural donde la memorización suele involucrar secuencias "atípicas" o raras (por ejemplo, números de teléfono), los datos de movilidad presentan un desafío único: la información sensible es omnipresente. Cada trayectoria representa un movimiento del mundo real, y los datos necesarios para la generalización (patrones de comportamiento comunes) a menudo coinciden con los datos que deben permanecer privados (coordenadas y rutas específicas).

Los marcos de auditoría de privacidad existentes, como la métrica de exposición desarrollada por Carlini et al. para modelos de lenguaje, son inadecuados para los datos de movilidad por dos razones principales:

Atípicos vs. Típicos (Outliers vs. Inliers): La exposición asume que los secretos son valores atípicos raros. En movilidad, los "secretos" son valores típicos (trayectorias comunes y realistas). Una alta confianza en una trayectoria común puede reflejar la reproducción fiel del comportamiento en lugar de la memorización de un secreto único, pero esto sigue constituyendo una filtración de privacidad.
Aislados vs. Omnipresentes: La exposición asume que los secretos son anomalías aisladas. En movilidad, la sensibilidad es inherente a cada trayectoria. Una única puntuación global no puede capturar la distribución de los riesgos de memorización a través de diversos comportamientos de usuario.

En consecuencia, los métodos existentes pueden subestimar significativamente los riesgos de privacidad en los sistemas de movilidad desplegados, dejando las trayectorias de los usuarios vulnerables a ataques de inferencia y extracción.

2. Metodología

Los autores proponen un marco sistemático para cuantificar la memorización al nivel de las trayectorias de entrenamiento individuales, distinguiendo entre lo que el modelo debe aprender (patrones generales) y lo que no debe memorizar (coordenadas específicas). El marco opera en tres pasos conceptuales:

A. Abstracción del Comportamiento

Para aislar la memorización, los autores definen abstracciones de trayectoria que capturan los patrones estructurales que se espera que el modelo generalice, descartando al mismo tiempo los identificadores específicos del usuario. Identifican tres niveles distintos de riesgo de memorización:

Memorización de Ubicación: El modelo aprende coordenadas específicas en lugar de la dinámica de desplazamiento. La abstracción elimina las posiciones absolas, reteniendo solo los vectores de movimiento ( $\Delta l_i = l_i - l_{i-1}$ ).
Memorización de Pares de Anclaje: El modelo aprende asociaciones específicas entre ubicaciones salientes (por ejemplo, hogar y trabajo). La abstracción retiene solo el centroide del anclaje y el radio de conmutación, descartando el camino específico.
Memorización a Nivel de Segmento: El modelo aprende de forma rígida sub-secuencias de corto plazo (por ejemplo, una ruta de la hora del almuerzo). La abstracción enmascara un segmento específico, tratándolo como un marcador de posición para cualquier sub-trayectoria plausible.

B. Construcción del Conjunto de Referencia

Para medir la memorización, la verosimilitud del modelo para una trayectoria de entrenamiento objetivo se compara contra un conjunto de referencia de alternativas conductualmente consistentes que no han sido vistas.

Construcción Ideal: Sintetizar trayectorias que coincidan perfectamente con la abstracción (factible para el nivel de segmento, pero difícil para otros).
Construcción Aproximada: Utilizar agrupamiento (por ejemplo, $k$ -means) en el espacio de abstracción para agrupar usuarios con patrones de movilidad similares. Una trayectoria de entrenamiento se compara contra otras trayectorias en el mismo grupo. Para asegurar la robustez estadística, una estrategia de "enriquecimiento de clúster" aumenta los grupos pequeños con vecinos cercanos.

C. Cuantificación de la Memorización

Se derivan tres métricas de la verosimilitud ( $L$ ) asignada a la trayectoria objetivo en relación con su conjunto de referencia $\mathcal{R}$ :

Exposición: $\log_2 |\mathcal{R}| - \log_2 \text{rank}(L(T_u))$ . Mide la reducción de la incertidumbre respecto al secreto.
Preferencia de Exposición: $\text{rank}(L(T_u)) / |\mathcal{R}|$ . Un valor normalizado en $[0, 1]$ que indica la posición de la trayectoria en la distribución de verosimilitud (un valor cercano a 0 implica una fuerte memorización).
Magnitud de la Exposición: $L(T_u) - \mathbb{E}_{T'_v \sim \mathcal{R}}[L(T'_v)]$ . Mide la ventaja absoluta en verosimilitud que el modelo asigna a los datos de entrenamiento sobre las alternativas.

3. Configuración Experimental

El marco fue evaluado a través de tres conjuntos de datos públicos con diferentes escalas y granularidades:

Shanghai Telecom: ~9,500 usuarios, datos de torres de telefonía celular.
YJMob100K: ~100,000 usuarios, datos de GPS de alta granularidad en Japón.
Shenzhen Urban: ~414,000 usuarios, datos de torres de telefonía celular.

El estudio probó una diversidad de modelos, incluyendo bases estadísticas (cadenas de Markov) y arquitecturas de aprendizaje profundo (LSTM, DeepMove, LSTPM, Graph-Flashback). Los modelos fueron entrenados con 2,000 trayectorias, utilizando el resto para construir los conjuntos de referencia.

4. Resultados Clave

A. Memorización Omnipresente

La memorización es generalizada y no es meramente un resultado del sobreajuste (overfitting).

En el conjunto de datos Shenzhen Urban, el 99.4% de las trayectorias de entrenamiento mostraron una magnitud de exposición positiva.
Hasta el 85% de las trayectorias en ciertas configuraciones exhibieron señales de memorización fuerte.
La memorización ocurre incluso en modelos que no presentan sobreajuste (don la pérdida continúa disminuyendo sin alcanzar una meseta).

B. El Comportamiento del Usuario se Correlaciona con el Riesgo

La memorización no es uniforme; está fuertemente correlacionada con los patrones de movilidad del usuario:

Rutineros (Routiners): Los usuarios con alta estacionalidad, alta repetitividad y baja diversidad (bajo radio de giroación) son los más susceptibles a la memorización.
Exploradores (Scouters): Los usuarios con alta variabilidad espacial y temporal son memorizados significativamente menos.
Efecto en Forma de U: Los usuarios con un radio de giroación muy bajo o muy alto tienden a ser memorizados más que aquellos con valores intermedios.

C. Impacto de la Arquitectura del Modelo

La Arquitectura Importa: Los patrones de memorización varían significamente entre modelos. Por ejemplo, Graph-Flashback (un modelo de baja capacidad) exhibió una cola pesada en la distribución de exposición, mientras que LSTPM y DeepMove mostraron distribuciones más compactas.
Sensibilidad al Contexto: Extender el horizonte de entrada temporal (por ejemplo, de 24h a 72h en LSTM-long) aumentó la cola superior de la distribución de memorización.
Divergencia de Métricas: Las métricas de los autores a nivel de trayectoria mostraron ninguna correlación con las puntuaciones de exposición a nivel de modelo propuestas por Carlini et al., confirmando que las auditorías estándar de modelos de lenguaje fallan al capturar los riesgos específicos de la movilidad.

D. Extractabilidad

Las puntuaciones de memorización altas se traducen directamente en un mayor riesgo de extracción:

Extracción Basada en Prefijos: Las trayectorias con mayor magnitud de memorización requirieron menos intentos de decodificación codiciosa (greedy decoding) para reconstruir la ruta completa a partir de un prefijo parcial.
Extracción Basada en Anclajes: Los usuarios con alta memorización de pares de anclaje fueron más vulnerables a que se infiriera su ubicación laboral a partir de su ubicación de origen.

5. Significancia y Reivindicaciones

El artículo afirma proporcionar la primera auditoría sistemática de la memorización en los modelos de predicción de movilidad. Sus contribuciones principales son:

Metodológica: Un marco que separa los patrones de comportamiento generalizables de los datos sensibles específicos, permitiendo la cuantificación de la memorización en múltiples granularidades (ubicación, anclaje, segmento).
Empírica: Evidencia de que la memorización es omnipresente, específica del usuario y está impulsada por la regularidad del comportamiento en lugar de solo por la capacidad del modelo o el sobreajuste.
Práctica: Una demostración de que la memorización sirve como un predictor para los riesgos de extracción en el mundo real, sugiriendo que los sistemas actuales de predicción de movilidad pueden filtrar inadvertidamente trayectorias de usuarios sensibles.

Los autores concluyen que es necesaria una auditoría de privacidad obligatoria antes de desplegar modelos de predicción de movilidad. Argumentan que debido a que la sensibilidad es omnipresente en los datos de movilidad, la auditoría estándar basada en "valores atípicos" es insuficiente, y se requieren nuevas métricas fundamentadas en el usuario para evaluar y mitigar los riesgos de privacidad en los modelos generativos de movilidad.