🤖 machine learning

Secrets Everywhere: Auditing Memorization in Mobility Prediction Models

Este artigo apresenta a primeira auditoria sistemática de memorização em modelos de previsão de mobilidade humana, introduzindo uma estrutura de multigranularidade para quantificar como esses modelos expõem trajetórias sensíveis de usuários e revelando riscos de privacidade generalizados que se correlacionam com a regularidade do usuário.

Autores originais: Anne Josiane Kouam, Hristo Boyadzhiev, Konrad Rieck

Publicado 2026-08-04

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Anne Josiane Kouam, Hristo Boyadzhiev, Konrad Rieck

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine sua vida diária como um livro de histórias gigante e invisível. Cada vez que você caminha para a escola, pega um café ou vai para casa, você está escrevendo um novo capítulo em um livro que apenas você leu. Por muito tempo, cientistas têm tentado construir "super-leitores" — programas de computador que podem adivinhar o que você fará a seguir com base em seus capítulos passados. Esses programas são chamados de modelos de previsão de mobilidade. Eles são os cérebros por trás do seu GPS sugerindo a rota mais rápida ou de aplicativos recomendando um restaurante perto do seu escritório. Mas aqui está a reviravolta: assim como um aluno que memoriza um livro didático palavra por palavra em vez de entender a história, esses programas de computador às vezes ficam bons demais em lembrar. Eles não apenas aprendem as regras gerais de como as pessoas se movem; eles acidentalmente memorizam seu caminho exato, seus pontos de encontro secretos e sua rotina diária. Isso é chamado de memorização. É um grande problema porque, se um computador lembrar da sua história específica bem demais, um hacker astuto poderia perguntar ao computador: "O que acontece depois que ela sai do trabalho?" e o computador poderia cuspir seu endereço residencial exato, pensando que está apenas sendo útil.

Este artigo, intitulado "Secrets Everywhere" (Segredos em Todo Lugar), é como uma história de detetive onde os autores entram disfarçados para auditar esses super-leitores. Eles queriam descobrir: Esses modelos realmente memorizam nossos segredos e, se sim, de quem são esses segredos? Os pesquisadores descobriram que esses modelos estão, de fato, acumulando nossos movimentos privados, mas não da maneira que pensávamos. Acontece que, quanto mais entediante e rotineiro for o seu dia, maior a probabilidade de o computador memorizá-lo. Se você é um "explorador" que vaga por toda a cidade, o computador esquece você. Mas se você é um "rotineiro" que vai à mesma academia no mesmo horário todos os dias, o computador lembra de cada passo seu com uma precisão assustadora. Os autores também descobriram que a antiga maneira de verificar esses segredos não funcionava para dados de localização, então eles inventaram um novo conjunto de ferramentas para medir exatamente quanta parte da sua vida o computador está roubando.

O Kit de Ferramentas do Detetive: Por que as Regras Antigas Não Funcionaram

Para entender a grande descoberta do artigo, primeiro precisamos olhar para como os cientistas geralmente verificam a memorização. No mundo dos modelos de linguagem (como aqueles que escrevem ensaios ou conversam com você), os pesquisadores usam um truque chamado "exposição". Eles inserem uma frase falsa e aleatória — como um número de telefone inventado — nos dados de treinamento. Se o computador posteriormente cuspir esse exato número falso quando questionado, é um sinal de que o computador memorizou. Isso funciona porque um número de telefone falso é um absurdo; o computador não deveria conhecê-lo, a menos que o tivesse memorizado.

Mas os autores perceberam que esse truque falha miseravelmente para o movimento humano. Por quê? Porque no mundo real, não existem movimentos "falsos". Todo caminho que uma pessoa percorre é real, e todo caminho é sensível. Você não pode simplesmente inventar um caminho "secreto" aleatório para testar um modelo porque um caminho aleatório pode parecer um absurdo para o computador, tornando fácil a distinção. O perigo real é que o computador memoriza caminhos reais que parecem perfeitamente normais. Os autores argumentam que, para modelos de mobilidade, os "segredos" são justamente as coisas que o modelo deveria aprender a prever com excelção. É como um professor que deve aprender as regras da gramática, mas acidentalmente memoriza sua entrada específica no diário.

O Novo Framework: Medindo o "Vazamento de Memória"

Para resolver isso, os autores construíram um novo framework para auditar esses modelos. Em vez de procurar por segredos falsos, eles criaram um sistema para ver se o modelo prefere o seu caminho específico sobre outros camros que pareçam semelhantes. Eles dividiram isso em três níveis de "vazamento":

Memorização de Localização: O modelo lembra das coordenadas exatas da sua casa?
Memorização de Par de Âncora: Ele lembra da ligação específica entre sua casa e seu local de trabalho?
Memorização de Segmento: Ele lembra da rota pequena e específica que você faz para ir da parada do ônibus até a cafeteria?

Para testar isso, eles não apenas adivinharam. Eles construíram "conjuntos de referência". Imagine que você é o modelo e lhe é mostrada uma imagem da sua rota diária. Em seguida, lhe são mostradas outras 100 imagens de rotas que parecem quase iguais (mesma distância, mesma hora do dia), mas pertencem a pessoas diferentes. Se você, o modelo, disser: "Oh, eu conheço esta perfeitamente!" e der a ela uma pontuação de confiança muito maior do que as outras 99, você memorizou.

As Descobertas: Os Entediantes São os Mais Vulneráveis

Os pesquisadores testaram suas novas ferramentas em três conjuntos de dados massivos contendo milhões de registros de movimento de pessoas em Xangai, Shenzhen e Japão. Eles treinaram vários tipos diferentes de modelos, desde os simples até sistemas complexos de deep learning. Aqui está o que encontraram:

1. A Memorização Está em Todo Lugar:
Os modelos estavam definitivamente memorizando. Em alguns casos, até 85% dos caminhos de treinamento mostraram fortes sinais de memorização. Isso não foi apenas alguns casos isolados; era um problema generalizado. Mesmo modelos que eram muito bons em prever a próxima localização (com precisão às vezes acima de 90%) ainda estavam armazenando secretamente os detalhes exatos dos caminhos que aprenderam.

2. O Paradoxo do "Rotineiro":
A descoberta mais surpreendente foi quem foi memorizado. Os autores agruparam os usuários em três tipos:

Rotineiros: Pessoas com vidas muito previsíveis e repetitivas (alta estacionalidade, baixa diversidade).
Regulares: Pessoas com alguma rotina, mas com alguma variedade.
Exploradores: Pessoas que vagam muito e têm caminhos imprevisíveis.

Os modelos amavam os Rotineiros. Na verdade, 99,4% das trajetórias em um conjunto de dados mostraram sinais positivos de memorização, e estes eram majoritariamente os usuários previsíveis. Os modelos acharam fácil aprender o padrão de uma pessoa que vai ao mesmo lugar todos os dias, então armazenaram os detalhes exatos. Por outro vez, os Exploradores eram muito mais difíceis de memorizar. Seus caminhos eram muito caóticos, então os modelos tiveram que generalizar (aprender a ideia geral) em vez de memorizar os detalhes específicos.

3. O Efeito "Âncora":
Os modelos eram particularmente bons em lembrar de "pares de âncora" — a conexão entre dois lugares-chave, como casa e trabalho. Se você sabe onde alguém mora, o modelo pode frequentemente prever exatamente onde a pessoa trabalha, e vice-versa, porque memorizou esse par específico.

4. Pequenas Mudanças, Grandes Diferenças:
Os autores também descobriram que o design do modelo importava. Por exemplo, eles testaram um modelo chamado Graph-Flashback, que tinha uma "memória" muito pequena (apenas 10 unidades de estado oculto). Você poderia pensar que um modelo pequeno esqueceria as coisas, mas ele na verdade mostrou uma "cauda" massiva de memorização, com alguns escores de exposição atingindo 469,15. Isso sugere que mesmo modelos simples podem ser perigosos se não forem projetados cuidadosamente.

O Perigo Real: É Fácil Roubar os Segredos

Finalmente, o artigo fez a pergunta assustadora: "Se o modelo memorizou, um hacker pode realmente roubá-lo?". Eles simularam um atacante que sabia um pouco sobre o dia de uma pessoa (como sua rotina matinal) e tentou adivinhar o resto. Eles encontraram uma ligação clara: quanto mais o modelo memorizou um caminho (medido pelo seu escore de "magnitude"), mais fácil era para o atacante reconstruir toda a jornada.

Em um experimento, descobriram que, para usuários com altos escores de memorização, o atacante precisava de muito menos tentativas para descobrir o resto do dia. É como se um ladrão soubesse que você sempre sai de casa às 8:00 e caminha até a mesma padaria; eles não precisam adivinhar para onde você está indo a seguir. A "memória" do modelo deu a resposta ao ladrão.

A Conclusão

Este artigo não diz apenas que "a privacidade é importante". Ele fornece a primeira maneira sistemática de medir quanto da privacidade está sendo perdida em aplicativos de mobilidade. Os autores concluem que a memorização não é um erro, mas uma característica de como esses modelos aprendem, e acontece principalmente com as pessoas que têm as vidas mais previsíveis. Eles sugerem que, antes de implantarmos esses modelos no mundo real, precisamos realizar essas novas "auditorias de privacidade" para ver quais usuários estão em risco. Se não o fizermos, podemos estar entregando nossos segredos diários a computadores que estão ansiosos demais para lembrá-los.

Resumo Técnico: Auditoria de Memorização em Modelos de Predição de Mobilidade

1. Declaração do Problema

Modelos de predição de mobilidade humana, que preveem a próxima localização de um usuário com base em trajetórias históricas, são amplamente implantados em análises urbanas e serviços personalizados. Embora esses modelos alcancem alta precisão, existe uma lacuna crítica na compreensão de sua tendência a memorizar dados de treinamento sensíveis. Diferente dos modelos de linguagem natural, onde a memorização geralmente envolve sequências "outliers" raras (ex: números de telefone), os dados de mobilidade apresentam um desafio único: a informação sensível é pervasiva. Cada trajetória representa um movimento do mundo real, e os dados necessários para a generalização (padrões comportamentais comuns) frequentemente coincidem com os dados que devem permanecer privados (coordenadas e rotas específicas).

Os frameworks de auditoria de privacidade existentes, como a métrica de exposição desenvolvida por Carlini et al. para modelos de linguagem, são inadequados para dados de mobilidade por duas razões principais:

Outliers vs. Inliers: A exposição assume que segredos são outliers raros. Na mobilidade, "segredos" são inliers (trajetórias comuns e realistas). Uma alta confiança em uma trajetória comum pode refletir a reprodução fiel de um comportamento em vez da memorização de um segredo único, mas isso ainda constitui um vazamento de privacidade.
Isolado vs. Pervasivo: A exposição assume que segredos são anomalias isoladas. Na mobilidade, a sensibilidade é inerente a cada trajetória. Um único escore global não consegue capturar a distribuição dos riscos de memorização através de diversos comportamentos de usuários.

Consequentemente, métodos existentes podem subestimar significativamente os riscos de privacidade em sistemas de mobilidade implantados, deixando as trajetórias dos usuários vulneráveis a ataques de inferência e extração.

2. Metodologia

Os autores propõem um framework sistemático para quantificar a memorização ao nível de trajetórias individuais de treinamento, distinguindo entre o que o modelo deve aprender (padrões gerais) e o que ele não deve memorizar (coordenadas específicas). O framework opera em três etapas conceituais:

A. Abstração Comportamental

Para isolar a memorização, os autores definem abstrações de trajetória que capturam os padrões estruturais que o modelo deve generalizar, enquanto descartam identificadores específicos do usuário. Eles identificam três níveis distintos de risco de memorização:

Memorização de Localização: O modelo aprende coordenadas específicas em vez de dinâmicas de deslocamento. A abstração remove posições absolutas, retendo apenas vetores de movimento ( $\Delta l_i = l_i - l_{i-1}$ ).
Memorização de Par de Âncoras: O modelo aprende associações específicas entre locais salientes (ex: casa e trabalho). A abstração retém apenas o centroide da âncora e o raio de comutação, descartando o caminho específico.
Memorização de Nível de Segmento: O modelo aprende rigidamente sub-sequências de curto prazo (ex: uma rota de almoço). A abstração mascara um segmento específico, tratando-o como um placeholder para qualquer sub-trajetória plausível.

B. Construção do Conjunto de Referência

Para medir a memorização, a verossimilhança (likelihood) do modelo para uma trajetória de treinamento alvo é comparada contra um conjunto de referência de alternativas comportamentalmente consistentes e não vistas.

Construção Ideal: Sintetizar trajetórias que correspondam perfeitamente à abstração (viável para nível de segmento, mas difícil para outros).
Construção Aproximada: Utilizar agrupamento (ex: $k$ -means) no espaço de abstração para agrupar usuários com padrões de mobilidade semelhantes. Uma trajetória de treinamento é comparada contra outras trajetórias no mesmo cluster. Para garantir robustez estatística, uma estratégia de "enriquecimento de cluster" aumenta pequenos clusters com vizinhos próximos.

C. Quantificação da Memorização

Três métricas são derivadas da verossimilhança ( $L$ ) atribuída à trajetória alvo em relação ao seu conjunto de referência $\mathcal{R}$ :

Exposição: $\log_2 |\mathcal{R}| - \log_2 \text{rank}(L(T_u))$ . Mede a redução da incerteza em relação ao segredo.
Preferência de Exposição: $\text{rank}(L(T_u)) / |\mathcal{R}|$ . Um valor normalizado em $[0, 1]$ indicando a posição da trajetória na distribuição de verossimilhança (valores mais próximos de 0 implicam forte memorização).
Magnitude de Exposição: $L(T_u) - \mathbb{E}_{T'_v \sim \mathcal{R}}[L(T'_v)]$ . Mede a vantagem absoluta de verossimilhança que o modelo atribui aos dados de treinamento sobre as alternativas.

3. Configuração Experimental

O framework foi avaliado em três conjuntos de dados públicos com diferentes escalas e granularidades:

Shanghai Telecom: ~9.500 usuários, dados de torres celulares.
YJMob100K: ~100.000 usuários, dados de GPS de alta granularidade no Japão.
Shenzhen Urban: ~414.000 usuários, dados de torres celulares.

O estudo testou diversos modelos, incluindo baselines estatísticos (Cadeias de Markov) e arquiteturas de deep learning (LSTM, DeepMove, LSTPM, Graph-Flashback). Os modelos foram treinados em 2.000 trajetórias, com o restante sendo utilizado para construir os conjuntos de referência.

4. Resultados Principais

A. Memorização Pervasiva

A memorização é generalizada e não é meramente um resultado de overfitting.

No conjunto de dados Shenzhen Urban, 99,4% das trajetórias de treinamento mostraram magnitude de exposição positiva.
Até 85% das trajetas em certas configurações exibiram sinais fortes de memorização.
A memorização ocorre mesmo em modelos que não apresentam overfitting (onde a perda continua diminuindo sem atingir um platô).

B. Comportamento do Usuário Correlaciona-se com o Risco

A memorização não é uniforme; ela está fortemente correlacionada com os padrões de mobilidade do usuário:

Rotineiros (Routiners): Usuários com alta estacionalidade, alta repetitividade e baixa diversidade (baixo raio de giração) são mais suscetíveis à memorização.
Exploradores (Scouters): Usuários com alta variabilidade espacial e temporal são significativamente menos memorizados.
Efeito em forma de U: Usuários com raio de giração muito baixo ou muito alto tendem a ser mais memorizados do que aqueles com valores intermediários.

C. Impacto da Arquitetura do Modelo

Arquitetura Importa: Os padrões de memorização variam significamente entre modelos. Por exemplo, o Graph-Flashback (um modelo de baixa capacidade) exibiu uma cauda pesada na distribuição de exposição, enquanto o LSTPM e o DeepMove mostraram distribuições mais compactas.
Sensibilidade ao Contexto: Estender o horizonte de entrada temporal (ex: de 24h para 72h no LSTM-long) aumentou a cauda superior da distribuição de memorização.
Divergência de Métricas: As métricas de nível de trajetória dos autores mostraram nenhuma correlação com os escores de exposição de nível de modelo propostos por Carlini et al., confirmando que as auditorias padrão de modelos de linguagem falham em capturar riscos específicos de mobilidade.

D. Extraibilidade

Altos escores de memorização traduzem-se diretamente em maior risco de extração:

Extração Baseada em Prefixo: Trajetórias com maior magnitude de memorização exigiram menos tentativas de decodificação gulosa (greedy decoding) para reconstruir o caminho completo a partir de um prefixo parcial.
Extração Baseada em Âncoras: Usuários com alta memorização de par de âncoras foram mais vulneráveis a terem sua localização de trabalho inferida a partir de sua localização de residência.

5. Significância e Alegações

O artigo afirma fornecer a primeira auditoria sistemática de memorização em modelos de predição de mobilidade. Suas principais contribuições são:

Metodológica: Um framework que separa padrões comportamentais generalizáveis de dados sensíveis específicos, permitendo a quantificação da memorização em múltiplos níveis de granularidade (localização, âncora, segmento).
Empírica: Evidência de que a memorização é pervasiva, específica do usuário e impulsionada pela regularidade comportamental, em vez de apenas pela capacidade do modelo ou overfitting.
Prática: Uma demonstração de que a memorização serve como um preditor para riscos de extração no mundo real, sugerindo que os atuais sistemas de predição de mobilidade podem inadvertidamente vazar trajetórias sensíveis de usuários.

Os autores concluem que a auditoria de privacidade obrigatória é necessária antes de implantar modelos de predição de mobilidade. Eles argumentam que, como a sensibilidade é pervasiva nos dados de mobilidade, a auditoria padrão baseada em "outliers" é insuficiente, e novos métodos, fundamentados no usuário, são necessários para avaliar e mitigar os riscos de privacidade em modelos generativos de mobilidade.