AccretionLink: On-Device Auditing of Exposure-Control Attacks on Attribute Inference

No mundo digital, frequentemente assumimos que a privacidade é quebrada apenas quando alguém rouba nossas senhas, invade nossas contas ou nos engana para revelar segredos. Mas há uma maneira mais silenciosa e sutil de nossa vida privada ser exposta, uma que não requer roubo nem mentiras. Isso acontece quando um observador tem permissão para escolher quais de nossas postagens públicas olhar e em que ordem. Imagine uma pessoa que deseja adivinhar suas visões políticas ou sua renda. Em vez de ler tudo o que você já escreveu, dão a ela uma lista de suas postagens públicas e uma ferramenta especial que lhe permite escolher as dez mais reveladoras para ler primeiro. Mesmo que cada uma das postagens que eles escolherem seja real, autêntica e exatamente o que você escreveu, o mero ato de selecionar as mais interessantes muda a história que eles podem contar sobre você. Este é o cerne de uma nova preocupação de segurança: o poder do controle de exposição. É a capacidade de moldar as evidências disponíveis para um observador sem alterar a evidência em si.

Pesquisadores construíram agora um sistema para medir exatamente quanto dano esse tipo de seleção pode causar. Eles criaram um ambiente controlado onde puderam testar quão bem uma inteligência artificial poderia adivinhar detalhes privados sobre uma pessoa, como idade, renda ou estado civil, baseando-se apenas em sua escrita pública. A equipe configurou um jogo onde um atacante tinha permissão para escolher postagens de um conjunto de conteúdo autêntico. Em um cenário, o atacante tinha que ler as postagens em uma ordem aleatória, como folhear um livro página por página. Em outro, o atacante podia escolher as postagens que pareciam mais prováveis de revelar a resposta. Os pesquisadores descobriram que esse simples ato de escolha fez uma diferença significativa. Quando o atacante teve permissão para escolher as melhores postagens, sua capacidade de adivinhar corretamente melhorou visivelmente. O sistema que construíram, chamado AccretionLink, realizou esses testes em uma realização experimental específica de um dispositivo Pixel 10, garantindo que todo o processo ocorresse localmente no dispositivo, sem enviar nenhum texto privado para a internet.

O estudo utilizou dois tipos de sujeitos de teste. O primeiro foi um conjunto de 52 perfis completamente falsos criados por um computador. Esses perfis tinham respostas conhecidas e seladas para sua renda, estado civil, educação e idade. Os pesquisadores realizaram o jogo de seleção nesses perfis e descobriram que, quando o atacante tinha permissão para escolher as postagens, ele reduzia sua taxa de erro. No ponto em que oito postagens haviam sido lidas, a confiança do atacante melhorou em um valor mensurável comparado a quando ele lia aleatoriamente. Mais importante, o processo de seleção fez com que o sistema fizesse suposições confiantes, porém erradas, em casos específicos. De 109 oportunidades de adivinhar um traço privado nesses perfis sintéticos, o método de seleção levou a seis instâncias onde o sistema estava altamente confiante, mas completamente errado sobre a renda ou educação da pessoa. Isso provou que o controle de exposição poderia não apenas melhorar as suposições, mas também fabricar falsa certeza, transformando um perfil correto em um incorreto, porém confiante.

Para garantir que esses resultados não fossem apenas um truque do código do computador, os pesquisadores também testaram o sistema com dados reais de um conjunto de dados público de postagens do Twitter de 2015. Eles aplicaram a mesma lógica de seleção a esses perfis reais. Mesmo sem a capacidade de ver o sistema de classificação real usado pelo Twitter, o método de seleção ainda melhorou a capacidade do atacante de adivinhar o grupo de idade do usuário. A melhoria foi menor do que nos perfis falsos, mas foi consistente e estatisticamente clara. Crucialmente, os pesquisadores mostraram que esse efeito não dependia do atacante usar o mesmo modelo para escolher as postagens e para adivinhar a resposta. Eles usaram um método diferente e mais simples para escolher as postagens, e o modelo original ainda adivinhou melhor. Isso confirmou que a vantagem veio do ato de seleção em si, não de uma falha específica em um determinado software. Importante notar que, embora o método de seleção tenha melhorado a precisão do atacante em dados reais, não causou nenhuma reversão de alta confiança entre os 71 perfis reais elegíveis testados.

Os pesquisadores também construíram uma forma de provar que o teste foi feito de forma justa e que nenhum dado foi adulterado. Eles realizaram todo o experimento em uma realização experimental específica de um dispositivo Pixel 10, usando um chip especializado projetado para inteligência artificial. O dispositivo processou cada postagem exatamente uma vez, criando uma impressão digital do trabalho realizado. Em seguida, assinou este registro com uma chave segura armazenada no hardware do dispositivo, criando um log permanente e imutável do teste. Este log provou que os resultados vieram do modelo específico e dos dados específicos usados, sem etapas ocultas ou interferência externa. O estudo descobriu que o tempo para processar o texto foi dominado pelo tempo necessário para analisar o significado das palavras, não pelo tempo para atualizar as pontuações ou verificar os resultados. Isso significa que o gargalo no sistema era a inteligência do próprio modelo, não a velocidade do processador do dispositivo.

As descobertas sugerem que a ordem em que vemos a informação importa tanto quanto a própria informação. Mesmo que cada postagem que façamos seja honesta e inalterada, a capacidade de selecionar criteriosamente quais delas são vistas primeiro pode mudar significamente o que um observador pode aprender sobre nós. Os pesquisadores demonstraram que isso não é apenas um risco teórico, mas uma realidade mensurável que pode ser testada e registrada em uma realização experimental específica de um smartphone. Eles demonstraram que uma estratégia de seleção simples poderia levar a conclusões confiantes e incorretas sobre a vida privada de uma pessoa. Embora o estudo não tenha pretendido resolver este problema ou prever como as empresas de redes sociais classificam as postagens atualmente, ele forneceu um método claro e reproduzível para auditar quanto dano o controle de exposição pode causar. O trabalho destaca que, na era da inteligência artificial, a segurança de nossa privacidade depende não apenas do que dizemos, mas de quem tem o direito de escolher quais de nossas palavras são ouvidas primeiro.