Addressing Labelled Data Scarcity: Taxonomy-Agnostic Annotation of PII Values in HTTP Traffic using LLMs

Resumo Técnico: Anotação Agnóstica de Taxonomia de Valores de PII em Tráfego HTTP usando LLMs

Declaração do Problema

Auditorias de privacidade automatizadas de aplicações web e móveis dependem cada vez mais da análise de tráfego HTTP de saída para detectar vazamento de Informações Pessoalmente Identificáveis (PII). No entanto, detectores baseados em aprendizado existentes enfrentam duas limitações críticas:

1. Escassez de Dados: Eles dependem de conjuntos de dados de alta qualidade, rotulados manualmente, que são intensivos em mão de obra para criar e difíceis de manter.
2. Rigidez Taxonômica: Esses modelos estão fortemente acoplados a taxonomias de rótulos fixas. À medida que as definições de privacidade evoluem ou diferem entre domínios (por exemplo, GDPR vs. mHealth vs. políticas da Play Store), o re-treinamento é necessário, e o desempenho frequentemente degrada-se significativamente mesmo com mudanças mínimas na taxonomia ou na distribuição de dados.

O artigo postula que Modelos de Linguagem Grandes (LLMs), como modelos generalistas capazes de desempenho em tarefas zero-shot ou few-shot sem re-treinamento, oferecem uma solução potencial para habilitar a anotação agnóstica de taxonomia de valores de PII em tempo de execução.

Metodologia

Os autores propõem um framework abrangente consistindo em dois componentes principais: um pipeline de anotação multiestágio e um gerador de dados sintéticos.

1. Pipeline de Anotação Multiestágio
O pipeline decompõe a tarefa complexa de detecção de PII em subproblemas especializados para melhorar a precisão e lidar com a variabilidade do tráfego HTTP:

• Pré-processamento Determinístico: Os corpos de mensagens HTTP são normalizados para mitigar a variabilidade de codificação. Isso inclui decodificação de URL (RFC 3986), resolução de referências de caracteres HTML e decodificação opcional na camada de aplicação (por exemplo, Base64) para substrings que correspondem a padrões sintáticos específicos. Tanto as representações originais quanto normalizadas são preservadas para rastreabilidade.
• Anotação em Dois Estágios:
  • Classificação em Nível de Rótulo: Um LLM prevê o conjunto de rótulos de PII ($L_m$) explicitamente presentes na mensagem, aderindo a um requisito estrito de "valor explícito" (sem inferência a partir de chaves vazias).
  • Extração em Nível de Instância: Um segundo LLM realiza Reconhecimento de Entidades Nomeadas (NER) direcionado no corpo normalizado, condicionado aos rótulos previstos. Este estágio foca na detecção de limites e desambiguação usando pistas contextuais (nomes de chaves, padrões de valor, posição estrutural).
• Revisão Pós-Anotação: Um terceiro estágio de LLM atua como revisor, refinando as anotações iniciais para corrigir falsos negativos, incompatibilidades de rótulos e erros de limites.
• Harness de Inferência LLM: Para garantir robustez, o pipeline emprega Geração Aumentada por Recuperação (RAG) para injetar exemplos relevantes para a tarefa (estruturais e específicos de rótulo) nos prompts. Uma camada de validador determinístico impõe conformidade de esquema e normaliza as saídas de rótulos (por exemplo, mapeando "E-mail" para "Email") usando similaridade de cosseno contra a taxonomia alvo.

2. Gerador de Mensagens HTTP Sintéticas
Para abordar a escassez de dados rotulados sem expor tráfego real de usuários, os autores introduzem um gerador orientado por taxonomia:

• Geração de Cenários: O LLM cria modelos de cenários (por exemplo, criação de conta, checkout) com base em uma taxonomia fornecida.
• Instanciação de Mensagens: O LLM gera solicitações HTTP concretas (e opcionalmente respostas) contendo valores explícitos de PII.
• Validação: Uma camada de validação garante a boa formação estrutural, conformidade com a taxonomia e que todos os valores anotados apareçam literalmente no payload gerado.
• Rastreamento de Cobertura: O sistema monitora a cobertura de rótulos para garantir representação diversificada em toda a taxonomia.

Contribuições Principais

O artigo delineia três contribuições primárias:

• C1 (Pipeline de Anotação): Uma abordagem baseada em LLM multiestágio para identificação granular de PII em payloads HTTP que suporta a troca em tempo de execução de taxonomias de rótulos sem re-treinamento.
• C2 (Gerador Sintético): Um mecanismo baseado em LLM para gerar tráfego HTTP sintético com anotações de PII de verdade fundamental, reduzindo a dependência de curadoria manual para taxonomias em mudança.
• C3 (Avaliação): Uma avaliação abrangente em três taxonomias distintas (AI4Privacy, mHealth e PlayStore) cobrindo diferentes domínios e níveis de granularidade para avaliar flexibilidade e desempenho.

Resultados

A avaliação utilizou três conjuntos de dados derivados do gerador sintético, divididos em 80/20 para avaliação e exemplares RAG. O desempenho foi medido usando Precisão, Revocação e Escores F1 em níveis de rótulo e instância.

• Desempenho Geral: O pipeline alcançou desempenho forte nas taxonomias AI4Privacy (53 classes) e mHealth (38 classes). A detecção em nível de rótulo foi próxima do teto (F1 > 0,98) no estágio de classificação, e a extração em nível de instância permaneceu alta (F1 > 0,95).
• Variância Taxonômica: O desempenho foi menor na taxonomia PlayStore (38 classes), que utiliza categorias de nível superior voltadas para políticas. Isso sugere que a dificuldade de anotação correlaciona-se com a granularidade semântica da taxonomia; categorias amplas são mais difíceis de mapear para valores específicos de payload do que tipos concretos de PII.
• Impacto Arquitetural:
  • A configuração em dois estágios (classificação seguida de extração direcionada) geralmente superou ou igualou a anotação em estágio único em AI4Privacy e mHealth, melhorando principalmente a revocação em nível de instância.
  • Em PlayStore, a abordagem em dois estágios melhorou a detecção de rótulos, mas não se traduziu em melhor extração de instâncias, indicando que saídas de classificadores ruidosas podem propagar erros em taxonomias complexas.
• Estágio de Revisão: O estágio de revisão forneceu benefício líquido limitado, ocasionalmente degradando o desempenho. Os autores sugerem que isso ocorre porque a mesma família de modelos foi usada para anotação e revisão, potencialmente reproduzindo suposições compartilhadas em vez de fornecer correção independente.

Significado e Alegações

O artigo afirma que os LLMs servem como uma base promissora para anotação de tráfego flexível e agnóstica de taxonomia. As principais conclusões incluem:

• Viabilidade: LLMs podem identificar e anotar com precisão valores de PII transmitidos explicitamente quando a taxonomia é fornecida em tempo de execução, eliminando a necessidade de re-treinamento em novos conjuntos de rótulos.
• Geração de Dados: Tráfego HTTP sintético com anotações de verdade fundamental é um substrato viável para avaliação controlada e prompting few-shot, mitigando a escassez de dados rotulados do mundo real.
• Limitações e Escopo: Os autores são modestos quanto à implantação dessa abordagem como substituto direto para detectores de produção leves. Eles observam que:
  • O desempenho depende fortemente do design da taxonomia e da estrutura do payload.
  • Dados sintéticos, embora úteis para avaliação, podem não capturar totalmente a distribuição do tráfego do mundo real (por exemplo, ofuscação, payloads malformados).
  • A avaliação atual é limitada a valores transmitidos explicitamente em corpos de solicitação, excluindo cabeçalhos, cookies e tráfego criptografado.
• Caminho Futuro: Os autores propõem uma abordagem híbrida como o caminho mais promissor: usar anotação baseada em LLM para criar ou refinar conjuntos de dados rotulados sob taxonomias em evolução e, subsequentemente, destilar essas anotações em modelos menores e discriminativos para implantação de alto rendimento.