Resumo Técnico: Geração Automatizada de Legendas de Privacidade Precisas a partir de Código-Fonte Android Usando Grandes Modelos de Linguagem

Declaração do Problema

Os avisos de privacidade de aplicativos são artefatos críticos que informam usuários e reguladores sobre quais informações pessoais um aplicativo coleta, como elas são usadas e por quê. Esses avisos dependem frequentemente de "legendas de privacidade" — sentenças concisas em linguagem natural que descrevem esses comportamentos. No entanto, criar legendas precisas é um fardo significativo para desenvolvedores, particularmente para aqueles em equipes pequenas sem expertise em privacidade. As práticas atuais, como o uso de geradores de políticas online, a cópia de aplicativos similares ou a anotação manual de código, frequentemente resultam em legendas que são imprecisas, incompletas ou inconsistentes com o comportamento real do aplicativo. Essa discrepância pode levar a multas regulatórias e remoção de aplicativos.

As abordagens automatizadas existentes para gerar avisos de privacidade sofrem de três limitações primárias:

1. Alto Fardo para o Desenvolvedor: Muitas ferramentas exigem entrada manual extensiva, como anotar o código-fonte ou responder a questionários detalhados.
2. Contexto Limitado ou Impreciso: Métodos automatizados frequentemente dependem de contextos de código-fonte restritos (por exemplo, apenas os primeiros métodos em um grafo de chamadas) ou entradas potencialmente imprecisas, como políticas de privacidade, que são conhecidas por frequentemente representar erroneamente o comportamento real do aplicativo.
3. Especificidade de Formato: Muitas abordagens geram formatos de aviso específicos (por exemplo, políticas de privacidade juridicamente densas) que são difíceis de adaptar para outros formatos, como justificativas de permissão ou descrições de lojas de aplicativos.

Metodologia: PCapGen

Os autores propõem o PCapGen (Privacy Caption Generator), um framework projetado para identificar automaticamente comportamentos de privacidade em código-fonte Android e gerar legendas de privacidade precisas, concisas e completas sem exigir a entrada do desenvolvedor. O framework consiste em três componentes principais:

1. Identificador: Análise de Taint Baseada em Heurísticas

O componente Identificador visa rastrear o fluxo de informações pessoais (caminhos de taint) dentro de um aplicativo.

• Desafio: Ferramentas tradicionais de análise de taint (como o FlowDroid) dependem de listas pré-definidas de métodos "source" (entrada de dados) e "sink" (saída de dados). Elas têm dificuldade em identificar caminhos que envolvem métodos sink desconhecidos, que são comuns na lógica personalizada de aplicativos.
• Inovação: Os autores desenvolveram uma abordagem inovadora baseada em heurísticas. Em vez de depender apenas de sinks pré-listados, eles constroem um grafo de chamadas a partir de uma API source conhecida até uma profundidade fixa (determinada como seis níveis com base na análise empírica de 50 aplicativos). Todos os métodos dentro desta profundidade são tratados como candidatos potenciais a sink. A análise de taint é então executada para extrair caminhos válidos.
• Escopo: Esta abordagem foi testada em 80 fontes de API não relacionadas à localização (cobrindo WiFi, conta, rede, câmera, armazenamento e sensores). Ela identificou com sucesso caminhos de taint válidos para APIs de WiFi, rede e conta, embora tenha enfrentado limitações com APIs de câmera e armazenamento devido a callbacks assíncronos ou fluxos baseados em componentes não capturados no grafo de chamadas.

2. Extrator: Construção de Contexto de Código-Fonte

O Extrator converte os caminhos de taint identificados em um contexto de código-fonte legível por humanos adequado para Grandes Modelos de Linguagem (LLMs).

• Descompilação: Usando a ferramenta de engenharia reversa Androguard, o sistema descompila arquivos APK para extrair o código-fonte das classes e métodos envolvidos nos caminhos de taint.
• Mapeamento de Instruções: Os caminhos de taint são inicialmente representados em Jimple (um formato intermediário, não legível por humanos). O Extrator usa um LLM (especificamente o DeepSeek na implementação final) com Aprendizado em Contexto (ICL) para mapear essas instruções Jimple de volta para as linhas correspondentes no código-fonte extraído.
• Saída: Este processo produz uma visão de "grão grosso" (a estrutura completa da classe/método) e uma visão de "grão fino" (instruções específicas que manipulam dados pessoais), fornecendo ao LLM um contexto abrangente que abrange múltiplos arquivos e métodos.

3. Gerador: Geração de Legenda

O Gerador utiliza um LLM para sintetizar o contexto extraído em uma legenda de privacidade.

• Engenharia de Prompt: Os autores iteraram através de várias estratégias de prompting. Eles tentaram inicialmente o "prompt chaining" (dividindo a tarefa em subetapas: identificar instruções, criar rótulos, depois gerar legendas), mas descobriram que isso levava à propagação de erros e alucinações.
• Abordagem Final: Eles adotaram uma abordagem de prompt único usando ICL. O prompt fornece ao modelo o código-fonte, as instruções de análise de taint e um exemplo de tupla de código e uma legenda. O modelo é então encarregado de gerar uma legenda para a nova amostra de código.
• Configurações: O sistema foi avaliado utilizando três LLMs diferentes: GPT-4, Claude Opus 4 e DeepSeek.

Conjunto de Dados e Avaliação

Para avaliar o PCapGen, os autores construíram um conjunto de dados de 442 amostras únicas de código-fonte Android com legendas de linha de base verificadas por desenvolvedores.

• Criação da Linha de Base: Como escrever legendas manualmente para centenas de amostras de código é inviável, eles usaram o GPT-4 para gerar as legendas iniciais de linha de base.
• Verificação: Desenvolvedores Java profissionais (selecionados via Prolific) verificaram essas legendas. Eles as avaliaram em precisão, concisão e completude, e selecionaram a versão preferida entre duas opções geradas. Apenas amostras onde as legendas atingiram um limiar de qualidade foram retidas.
• Métricas de Avaliação: O desempenho do PCapGen foi comparado com essas legendas de linha de base usando:
  • LLMs-como-Juiz: Três modelos (LlaMa 3.3, Mistral, Gemini 2.5 Pro) avaliaram as legendas nos três critérios de qualidade e escolheram a melhor legenda em comparações pareadas.
  • Especialistas em Privacidade Humanos: Dois especialistas em privacidade realizaram avaliações e seleções de preferência semelhantes.
  • Métricas Automatizadas: BERTScore, BARTScore e ROUGE-L foram usados para medir a similaridade semântica e de nível de tokens.

Principais Resultados

1. Comparação de Configuração (RQ1)

Entre as três configurações de LLM, o PCapGen_Claude (usando Claude Opus 4) superou consistentemente o PCapGen_GPT e o PCapGen_DeepSeek em todos os critérios de qualidade (precisão, concisão, completude) de acordo com todos os juízes de LLM. A análise estatística (testes t pareados) confirmou que a diferença entre o PCapGen_Claude e as outras configurações foi estatisticamente significativa com um efeito médio.

2. Similaridade Semântica (RQ2)

As legendas do PCapGen foram encontradas como semanticamente muito similares às legendas de linha de base curadas por desenvolvedores.

• Avaliações Humanas/LLM: Especialistas em privacidade e juízes de LLM avaliaram a similaridade como moderada a alta (pontuações médias > 3.3 em uma escala de 1-5).
• Métricas Automatizadas: Altos escores de BERTScore e BARTScore indicaram forte sobreposição semântica. No entanto, os escores de ROUGE-L foram baixos (precisão ~0.33), indicando que, embora o significado seja semelhante, o vocabulário e o fraseado diferem significamente. Isso sugere que o PCapGen refraseia com sucesso os comportamentos em uma linguagem mais concisa e natural.

3. Comparação de Qualidade com Juízes (RQ3)

Juízes de LLM classificaram consistentemente as legendas do PCapGen_Claude acima das legendas de linha de base em todos os três critérios:

• Precisão: +0.57 de melhoria.
• Completude: +0.47 de melhoria.
• Concisão: +0.35 de melhoria.
  Essas melhorias foram estatisticamente significativas (p < 0.001) com grandes efeitos. Em testes de preferência pareada, os juízes de LLM preferiram o PCapGen_Claude sobre a linha de base em 76% a 100% dos casos.

4. Comparação de Qualidade com Especialistas (RQ4)

Especialistas em privacidade não encontraram uma diferença estatisticamente significativa nas médias das classificações dos três critérios de qualidade entre o PCapGen_Claude e a linha de base. No entanto, em tarefas de preferência pareada, os especialistas escolheram o PCapGen_Claude sobre a linha de base 71% das vezes. Isso sugere que, embora os especialistas possam classificar os dois de forma semelhante em uma escala, eles percebem as legendas do PCapGen como superiores quando comparadas diretamente.

Significância e Contribuições

O artigo reivindica as seguintes contribuições primárias:

1. Framework Inovador: O PCapGen é a primeira abordagem que complementa a análise estática/de taint tradicional com LLMs para gerar automaticamente legendas de privacidade diretamente do código-fonte sem a entrada do desenvolvedor.
2. Análise de Taint Estendida: Os autores desenvolveram um método baseado em heurísticas para identificar caminhos de taint entre fontes conhecidas e sinks desconhecidos, expandindo as capacidades das ferramentas tradicionais que dependem de listas pré-definidas.
3. Avaliação Robusta: O estudo fornece um framework de avaliação abrangente usando tanto especialistas em privacidade humanos quanto LLMs-como-juiz, demonstrando que o PCap can gera legendas que são tão boas ou melhores do que as curadas por desenvolvedores.
4. Conjunto de Dados e Ferramentas: Os autores disponibilizaram um conjunto de dados de alta qualidade de 442 trechos de código Android com legendas de privacidade, juntamente com os scripts e ferramentas de anotação usados no estudo.

Conclusão

Os autores concluem que o PCapGen demonstra a viabilidade de gerar automaticamente legendas de privacidade de alta qualidade a partir de código-fonte Android. Ao aproveitar um contexto amplo de código-fonte derivado da análise de taint e as capacidades de raciocínio dos LLMs, o sistema produz legendas que são concisas, completas e precisas. Os resultados sugerem que esta abordagem pode auxiliar significativamente desenvolvedores com recursos limitados no cumprimento de obrigações regulatórias ao automatizar a criação de avisos de privacidade que refletem fielmente o comportamento do aplicativo.