Inferential Privacy Leakage in Anonymized Conversational AI Logs

Resumo Técnico: Vazamento de Prividade Inferencial em Logs de Conversas de IA Anonimizados

Declaração do Problema
O artigo aborda uma lacuna crítica na privacidade de IA conversacional: a suposição de que a remoção de Informações Pessoalmente Identificáveis (PII) explícitas dos logs de usuários é suficiente para proteger a identidade do usuário. Embora a sanitização tradicional remova nomes, localizações e declarações demográficas diretas, os autores investigam se a identidade demográfica de um usuário (idade, gênero, país) permanece recuperável a partir do estilo, da mistura de tópicos e dos marcadores culturais inerentes ao seu histórico de conversas. O estudo postula que Modelos de Linguagem de Grande Porte (LLMs) podem inferir esses atributos por meio de padrões de raciocínio estereotipados, mesmo quando os dados de entrada foram rigorosamente filtrados para excluir autoexposições explícitas.

Metodologia
A pesquisa utiliza dois conjuntos de dados coletados por meio de um pipeline de doação de dados de participantes consentidos recrutados através do Clickworker, sob aprovação do Comitê de Ética em Pesquisa (IRB).

1. Conjuntos de Dados:

   • Conjunto de Dados 1 (Multinacional): 1.057 usuários do Brasil, Índia, Nigéria e Paquistão. Inclui históricos completos de conversas do ChatGPT e dados demográficos básicos (idade, gênero, país).
   • Conjunto de Dados 2 (Subcoorte Indiana): Um subconjunto de 212 usuários indianos do Conjunto de Dados 1 que também forneceram históricos de Pesquisa Google, Pesquisa YouTube e Visualização YouTube, juntamente com dados demográficos expandidos (religião, casta, renda, educação, preferência de voto).

2. Filtragem e Seleção de Coorte:

   • Para testar a inferência além da exposição explícita, os autores construíram uma "coorte analítica conservadora".
   • Filtragem: Eles aplicaram um filtro de dois estágios às mensagens dos usuários:
     • Uma passagem determinística de Reconhecimento de Entidades Nomeadas (NER) (SpaCy) para sinalizar PII padrão.
     • Um filtro baseado em LLM (Llama-3.3-70B-Instruct) para detectar autoexposições demográficas implícitas (ex.: "Como mãe solteira...").
   • Coorte: Apenas usuários cujo histórico completo de conversas passou por ambos os filtros (sem mensagens sinalizadas) foram mantidos. Isso garante que qualquer inferência bem-sucedida dependa exclusivamente de sinais estilísticos e temáticos, e não de declarações explícitas.

3. Protocolo de Inferência:

   • Adversário: O mesmo modelo Llama-3.3-70B-Instruct foi utilizado como adversário para prever demografia.
   • Tarefa: O modelo previu faixa etária, gênero e país (e atributos adicionais para o Conjunto de Dados 2) usando prefixos progressivamente maiores do histórico de conversas sanitizado (incrementos de 5%).
   • Métricas: O desempenho foi medido usando F1 ponderado, precisão e recall em comparação com dados de pesquisa de verdade absoluta. A métrica "contexto-necessário" rastreou o tamanho mínimo de prefixo necessário para uma previsão correta.
   • Análise Qualitativa: As racionalizações de cadeia de pensamento do modelo foram analisadas para identificar os padrões de raciocínio que impulsionam as previsões.

4. Comparação Cross-Plataforma:

   • Para o Conjunto de Dados 2, o mesmo protocolo de inferência foi aplicado aos históricos de Pesquisa Google, Pesquisa YouTube e Visualização YouTube para comparar logs do ChatGPT com substratos estabelecidos de perfilamento comportamental.

Principais Contribuições

1. Montagem de Conjuntos de Dados: Criação de um corpus doado de 1.057 históricos do ChatGPT de quatro países do Sul Global, pareados com dados demográficos autorrelatados, e uma subcoorte com históricos paralelos de pesquisa/visualização.
2. Auditoria de Divulgação: Uma análise granular de 1,24 milhão de mensagens revelando que 34,5% contêm informações pessoais, com o usuário mediano revelando conteúdo identificável dentro dos primeiros 14% de seu histórico.
3. Inferência em Dados Sanitizados: Demonstração de que a demografia permanece altamente recuperável a partir de conversas que passaram por filtros rigorosos para autoexposição explícita.
4. Identificação de Mecanismos de Viés: Análise qualitativa revelando que a inferência depende de quatro padrões recorrentes de estereótipos, levando a distribuições de erro assimétricas.
5. Benchmarks Cross-Plataforma: Uma comparação direta mostrando que os logs do ChatGPT são uma superfície de inferência comparável, embora distinta, aos logs tradicionais de pesquisa e navegação.

Resultados

• Divulgação Explícita: 34,5% das mensagens dos usuários continham informações pessoais em uma taxonomia de 20 categorias. O usuário mediano revelou conteúdo identificável dentro dos primeiros 14% de seu histórico, com um pico em divulgações na primeira mensagem. As taxas de divulgação não diminuíram à medida que as conversas se alongavam.
• Desempenho de Inferência (Coorte Sanitizada): Mesmo sem sinalizadores demográficos explícitos, o LLM alcançou alta precisão:
  • Gênero: F1 ponderado de 0,90 (Linha de Base: 0,52).
  • País: F1 ponderado de 0,88 (Linha de Base: 0,26).
  • Idade: F1 ponderado de 0,84 (Linha de Base: 0,23).
  • Velocidade: Para mais da metade dos usuários, o modelo previu corretamente a demografia usando apenas os primeiros 5% do histórico de conversas.
• Padrões de Raciocínio (Viés): A análise das racionalizações do modelo revelou quatro pistas estereotipadas que impulsionam a inferência:
  1. Tecnologia ≡ Masculino: Conteúdo técnico (programação, Linux, finanças) foi quase exclusivamente interpretado como masculino. 26% das mulheres em campos técnicos foram classificadas erroneamente como homens, comparado a 1% dos homens classificados erroneamente como mulheres.
  2. Tecnologia ≡ Ocidental: Proficiência técnica em usuários do Sul Global (Nigéria, Paquistão) foi frequentemente interpretada como "educação estilo ocidental", levando à classificação errônea como americanos ou britânicos.
  3. Fluência em Inglês ≡ EUA: Inglês fluente sem marcadores locais (moeda, gírias) foi defaultizado para residência nos EUA.
  4. Conteúdo Contemporâneo ≡ Jovem: Usuários mais velhos discutindo software moderno ou transições de carreira foram frequentemente classificados erroneamente em faixas etárias mais jovens (25–34).
• Comparação Cross-Plataforma:
  • Logs do ChatGPT foram o sinal mais forte para idade, educação e preferência de voto.
  • Logs de Pesquisa e YouTube foram mais fortes para gênero, religião e renda.
  • Histórico de Visualização YouTube foi consistentemente o sinal mais fraco.
  • O ChatGPT não subsume substratos mais antigos, mas oferece uma superfície de perfilamento qualitativamente diferente, rica em narrativas.

Significado e Alegações
O artigo afirma que a remoção de PII ao nível de mensagem é insuficiente como intervenção de privacidade para IA conversacional. O estudo demonstra que:

1. A inferência é distinta da memorização: O ataque não depende do modelo ter visto os dados específicos do usuário durante o treinamento. Em vez disso, depende dos priores gerais derivados do pré-treinamento e dos estereótipos do modelo aplicados a novos textos.
2. O dano à privacidade é distribuído desigualmente: A distribuição de erro não é aleatória; ela classifica sistematicamente grupos específicos de forma errônea (mulheres em tecnologia, usuários mais velhos com habilidades contemporâneas, profissionais do Sul Global). Isso cria um dano duplo: usuários que conformam com estereótipos são perfilados com precisão, enquanto usuários que violam estereótipos são mal atribuídos, levando a dano representacional e direcionamento incorreto a jusante.
3. O ChatGPT é um novo substrato de perfilamento comparável: Embora não seja uniformemente mais invasivo que logs de pesquisa, os logs do ChatGPT capturam uma classe diferente de dados (narrativa, emocional, reflexiva) que complementa os substratos existentes de publicidade comportamental.
4. Implicações Políticas: As práticas atuais de anonimização (redação de PII) falham em abordar os riscos inferenciais impostos por características estilísticas e temáticas. Os autores argumentam por intervenções de privacidade ao nível da conversa (ex.: ofuscação estilística, privacidade diferencial) em vez de redação isolada de mensagens.

Os autores afirmam explicitamente que não alegam que o ChatGPT é uniformemente mais invasivo que a pesquisa, nem medem resultados comerciais a jusante. Sua contribuição é a observação estrutural de que a identidade é recuperável de logs sanitizados por meio de raciocínio mediado por estereótipos, e que esse risco é distribuído desigualmente entre as populações.