Resumo Técnico: Geração de Taxonomia de Segurança e Privacidade a partir de Avaliações de Aplicativos Móveis

Declaração do Problema

As avaliações de aplicativos móveis constituem uma fonte massiva e continuamente em evolução de feedback de usuários sobre privacidade e segurança. Diferente das políticas estáticas definidas por desenvolvedores, essas avaliações capturam experiências reais de usuários com permissões intrusivas, coleta de dados e vigilância. No entanto, as taxonomias existentes para organizar essas preocupações são construídas manualmente, estáticas e caras de manter, falhando em acompanhar a natureza dinâmica dos ecossistemas de aplicativos.

Automatizar a construção de taxonomias é a solução natural, mas os métodos atuais enfrentam barreções significativas de escalabilidade. Abordagens existentes que utilizam Grandes Modelos de Linguagem (LLMs) e agrupamento (clustering) são tipicamente projetadas para corpora científicos de alguns milhares de documentos. Elas têm dificuldade com coleções de avaliações de aplicativos que chegam a centenas de milhares (mesmo após a filtragem) devido às limitações da janela de contexto dos LLMs e à intratabilidade computacional do agrupamento hierárquico em conjuntos de dados tão grandes. Além disso, há uma carência de conjuntos de dados de grande escala, abertos e específicos para privacidade, visto que recursos anteriores ou são limitados em escopo (ex: apenas aplicativos de saúde) ou não foram liberados publicamente.

Metodologia: TaxoScale

Para enfrentar esses desafios, os autores introduzem o TaxoScale, um pipeline de quatro etapas projetado para construir taxonomias na escala de mais de 600.000 avaliações. O sistema utiliza como semente uma taxonomia existente definida por especialistas (Akgul et al., 2024) e a estende utilizando uma combinação de agrupamento baseado em embeddings e nomenclatura de nós via LLM.

1. Construção do Corpus e Rotulagem Pseudo-Labels

• Agregação de Dados: Os autores agregaram 18,63 milhões de avaliações de três fontes (avaliações impulsionadas por IA, MobileRec e aplicativos aprovados por professores), cobrindo 11.220 aplicativos.
• Filtragem: Um classificador baseado em LLM (Llama-3.3-70B) filtrou essas avaliações para identificar 601.257 avaliações relacionadas a privacidade e segurança. O modelo foi selecionado após o teste de dez LLMs de código aberto em oito modelos de prompt, alcançando um F1 score de 0,9700.
• Extração: Um sumarizador extrativo (também Llama-3.3-70B) isolou trechos de texto específicos que descrevem preocupações dentro das avaliações filtradas. Esses trechos servem como "pseudo-labels" (ex: extrair "precisa dos meus contatos e registros de chamadas" de uma avaliação que elogia a interface, mas reclama das permissões).

2. O Pipeline TaxoScale

O pipeline procede através de quatro estágios distintos:

• Etapa 1: Embedding e Atribuição: Os pseudo-labels são codificados usando Qwen3-Embedding-8B e atribuídos a nós na taxonomia semente com base na similaridade de cosseno. Rótulos que caem abaixo de um limiar de similaridade são coletados como dados não atribuíveis para serem anexados à raiz.
• Etapa 2: Agrupamento Hierárquico Recursivo: Esta é a inovação central para escalabilidade. Em vez de aplicar um único algoritmo de agrupamento a todo o conjunto de dados, o TaxoScale alterna entre:
  • Particionamento top-down: Usando k-means de mini-lote para dividir grandes clusters.
  • Fusão bottom-up: Usando a ligação de Ward (Ward's agglomerative linkage) nos centroides resultantes.
  • Recursão: Se um cluster resultante permanecer muito grande (excedendo um limiar de tratabilidade $\tau$), o processo recorre sobre esse sub-cluster. Isso permite que o sistema lide com centenas de milhares de rótulos enquanto permanece fundamentado em terminologia estabelecida.
• Etapa 3: Conversão Binária-para-Multivias: O agrupamento inicial produz uma árvore binária, que é frequentemente fina demais. O sistema colapsa os nós com base em limiares de altura de fusão ($\delta_{leaf}$ e $\epsilon$) para converter a estrutura binária em uma taxonomia multivias que reflete melhor a categorização humana.
• Etapa 4: Nomeação de Nós Baseada em LLM: Os novos nós são nomeados de baixo para cima usando Qwen3-235B. O modelo é instruído com os pseudo-labels do nó (ou nomes dos filhos para nós internos), o caminho do pai e os nomes dos irmãos para gerar resumos concisos (2 a 6 palavras) que sejam distintos dos irmãos e estritamente sub-categóricos em relação ao pai.

Principais Contribuições

1. Corpus de Privacidade em Grande Escala: A criação de um corpus abrangente e aberto de 601.257 avaliações de aplicativos relacionadas a privacidade e segurança, derivado de 18,63 milhões de avaliações brutas.
2. Pipeline TaxoScale: Uma metodologia inovadora que combina agrupamento hierárquico recursivo com nomenclatura por LLM para escalar a construção de taxonomias para centenas de milhares de documentos, superando as limitações de janelas de contexto e complexidade computacional.
3. Descoberta Inédita: O sistema identifica com sucesso ramos ausentes em taxonomias anteriores, incluindo um novo ramo de Segurança de Rede (ex: Gerenciamento de Endereço IP, Funcionalidade de VPN) e subcategorias refinadas de Rastreamento Comportamental (ex: Comportamento de Direção, Rastreamento de Transações Financeiras).
4. Liberação de Recursos: Os autores liberam o corpus filtrado, os rótulos de preocupação extraídos e o código-fonte do TaxoScale.

Resultados

O TaxoScale foi avaliado contra quatro bases de comparação fortes: Chain-of-Layers, TaxoCom, TaxoAdapt e SCYCHIC. A avaliação utilizou quatro métricas:

• Score de Caminho (Path Score): Mede se os nós filhos são subtópicos genuínos dos pais.
• Score de Nível (Level Score): Mede a coerência e a consistência de especificidade entre irmãos.
• Score de Cobertura (Coverage Score): A fração de pseudo-labels que mapeiam para nós folha com alta similaridade.
• Score de Novidade (Novelty Score): A extensão em que os nós representam conceitos além das taxonomias padrão.

Desempenho:

• TaxoScale obteve as pontuações mais altas em todas as métricas: Caminho (0,7285), Nível (0,7726), Cobertura (0,9852) e Novidade (0,4778).
• Destacou-se ao superar a próxima melhor base (TaxoAdapt) nos scores de Caminho e Nível, e excedeu significativamente a Chain-of-Layers em Cobertura (0,9852 vs. 0,9090).
• O alto score de novidade indica a capacidade do sistema de trazer à tona conceitos não presentes em taxonomias manuais existentes.

Significância e Alegações

O artigo afirma que o TaxoScale aborda a lacuna crítica entre a escala massiva de dados de privacidade gerados por usuários e a natureza estática das taxonomias atuais. Ao automatizar a expansão de taxonomias definidas por especialistas, o sistema pode acompanhar ameaças e perspectivas de usuários em evolução.

Os autores enfatizam que sua abordagem é agnóstica ao domínio; embora motivada por privacidade e segurança, o pipeline não faz suposições específicas sobre esses domínios e pode ser aplicado a qualquer corpus de grande escala. No entanto, eles declaram explicitamente que a validação entre domínios é deixada para trabalhos futuros, pois o estudo atual está fundamentado nos desafios específicos da privacidade e segurança de aplicativos móveis. O trabalho demonstra que a combinação de agrupamento recursivo com LLMs permite a descoberta de preocupações finas e de nicho (como "Rastreamento de Comportamento de Direção") que, de outra forma, seriam absorvidas em categorias mais amplas e menos informativas.