Resumo Técnico: Viabilizando Auditorias Multilíngues de Políticas de Privacidade

Declaração do Problema

A análise automatizada de políticas de privacidade tornou-se um método padrão para avaliar a transparência em ecossistemas digitais. No entanto, os pipelines de auditoria existentes são predominantemente centrados no inglês. Este viés linguístico cria um filtro estrutural em ambientes multilíngues, como a União Europeia (UE), onde muitos serviços — particularmente aplicações do setor público — divulgam práticas de privacidade exclusivamente em línguas locais. Consequentemente, auditorias de larga escala frequentemente falham em capturar lacunas de transparência em ecossistemas não anglófonos, deixando uma parte significativa do cenário digital sem escrutínio. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam o potencial para classificação cross-lingual zero-shot, permanece incerto se eles podem analisar de forma confiável políticas de privacidade em todas as 24 línguas oficiais da UE sem ajuste fino (fine-tuning) específico para cada língua ou sem a existência de um corpus anotado abrangente e multilíngue.

Metodologia

1. Construção de um Corpus de Avaliação Multilíngue

Para abordar a falta de benchmarks multilíngues, os autores construíram um corpus derivado cobrindo todas as 24 línguas oficiais da UE.

• Dados de Origem: O estudo utilizou dois conjuntos de dados estabelecidos e anotados por especialistas em inglês: OPP-115 (políticas de websites) e MAPP (políticas de aplicativos móveis).
• Estratégia de Tradução: Os textos originais em inglês foram traduzidos para todas as 24 línguas da UE utilizando o serviço eTranslation da Comissão Europeia. As anotações originais dos especialistas foram preservadas e mapeadas para os textos traduzidos para garantir a consistência semântica entre as línguas.
• Garantia de Qualidade da Tradução: Os autores compararam o eTranslation com o GPT-4o usando métricas padrão (BLEU, ChrF, METEOR, COMET) em benchmarks jurídicos (JRC-Acquis) e gerais (FLORES+). O eTranslation foi selecionado por seu desempenho superior em textos jurídicos. Um especialista jurídico realizou verificações de sanidade em um subconjunto de traduções (francês, alemão, croata), confirmando que a fidelidade semântica e terminológica foi amplamente preservada, com questões críticas (omissões/erros de tradução) corrigidas via pós-processamento.

2. Classificação Cross-Lingual Baseada em LLM

Os autores avaliaram um método baseado em LLM para identificar categorias de coleta de dados pessoais sem adaptação específica para a língua.

• Modelo: O GPT-4o foi utilizado como o classificador primário, com o GPT-OSS-120B avaliado como uma alternativa de código aberto.
• Prompting: Foi empregado um esquema de prompting de duas mensagens. A primeira mensagem continha o texto completo da política no idioma alvo; a segunda definia a tarefa utilizando exemplos de poucos disparos (few-shot) em inglês (mantidos idênticos à configuração original).
• Tarefa: O modelo realizou a classificação ao nível da política para detectar categorias declaradas de coleta de dados pessoais com base na taxonomia do OPP-115 (ex: informações de contato, identificadores de dispositivo, localização).
• Avaliação: O desempenho foi medido através de scores macro-F1, comparando as previsões do modelo com os rótulos de referência originais em inglês.

3. Auditoria Empírica de Larga Escala

O método validado foi aplicado a um conjunto de dados de 2.611 aplicativos Android da Google Play Store da Espanha.

• Coortes: O conjunto de dados incluiu 808 aplicativos do setor público (identificados via metadados e inferência por LLM) e 2.556 aplicativos comerciais de alto ranking.
• Análise de Múltiplas Fontes: A auditoria combinou três fontes de evidência:
  1. Políticas de Privacidade: Analisadas tanto em espanhol quanto em inglês.
  2. Rótulos de Privacidade: Seção "Dados de Segurança" (Data Safety) do Google Play.
  3. Tráfego de Rede em Tempo de Execução: Capturado via análise dinâmica em dispositivos com root utilizando Frida e mitmproxy para interceptar fluxos HTTP(S) e detectar transmissões de dados pessoais (ex: IDs de dispositivo, localização, cookies).
• Verificação de Consistência: O estudo comparou práticas declaradas (políticas e rótulos) contra comportamentos observados (tráfego de rede) para identificar omissões de divulgação.

Principais Resultados

1. Desempenho Cross-Lingual do LLM

O classificador baseado em LLM demonstrou um desempenho estável e elevado em todas as 24 línguas da UE sem necessidade de fine-tuning.

• Métricas: Os scores macro-F1 variaram entre 0,91 e 0,94 entre as línguas.
• Consistência: Não houve viés sistemático favorecendo grupos linguísticos específicos. Em alguns casos (ex: romeno, croata), o desempenho superou ligeiramente as bases de comparação em inglês.
• Viabilidade de Código Aberto: O GPT-OSS-120B alcançou resultados comparáveis (média F1 ≈ 0,917) com um custo computacional significativamente menor (redução de 40–50x), sugerindo que modelos de código aberto são viáveis para auditorias de larga escala.

2. Barreiras Linguísticas na Cobertura de Auditoria

A auditoria revelou uma divisão linguística acentuada no ecossistema de aplicativos:

• Aplicativos do Setor Público: Forneceram predominantemente políticas de privacidade em espanhol.
• Aplicativos Comerciais: Forneceram majoritariamente políticas em inglês.
• Implicação: Auditorias exclusivas em inglês excluiriam sistematicamente a vasta maioria das aplicações do setor público, obscurecendo lacunas de transparência neste setor.

3. Discrepâncias de Divulgação

Foram encontradas desalinhamentos significativos entre as práticas declaradas e as observadas:

• Política vs. Comportamento: 22,5% dos aplicativos com políticas válidas exibiram pelo menos uma prática de coleta de dados não declarada. Esta taxa foi altamente assimétrica: 49,5% dos aplicativos do setor público apresentaram omissões, comparado a 15,1% dos aplicativos comerciais.
• Natureza das Omissões: As omissões mais frequentes envolveram telemetria de dispositivo e sistema (ex: Device_Model, Build_Number, Kernel_Version), que representaram mais de 95% dos itens não declarados. Estes eram frequentemente transmitidos via SDKs de terceiros e serviços de nuvem.
• Rótulos vs. Comportamento: Os rótulos mostraram melhor alinhamento com o comportamento (taxa de omissão de 7,7%), embora o mapeamento fosse menos granular do que a análise da política.
• Política vs. Rótulos: 70,8% dos aplicativos apresentaram inconsistências entre suas políticas de privacidade e seus rótulos de privacidade, com desenvolvedores tendendo a declarar categorias de dados mais amplas nas políticas do que nos rótulos.

4. Diferenças entre Setores

• Roteamento de Dados: Aplicativos do setor público foram mais propensos a manter dados dentro do EEE (87,9% das transmissões) em comparação com aplicativos comerciais (67,0%). No entanto, mesmo os aplicativos do setor público frequentemente transmitiam dados para jurisdições fora do EEE (ex: EUA, Reino Unido) via infraestrutura de nuvem (ex: Google APIs, CDNs) sem divulgação explícita em suas políticas.
• Infraestrutura: Aplicativos do setor público frequentemente dependiam de frameworks de serviços Google compartilhados e APIs de nuvem, levando a fluxos de dados que eram opacos para os desenvolvedores e não mencionados em suas divulgações.

Significância e Alegações

O artigo alega que sua principal contribuição é demonstrar que a análise de políticas de privacidade multilíngue é viável em escala usando LLMs sem adaptação específica para a língua, permitindo assim a auditoria de populações de aplicativos anteriormente invisíveis.

• Viabilização de uma Supervisão Mais Ampla: Ao estender as capacidades de auditoria para as línguas locais, o estudo revela que as lacunas de transparência não se limitam ao rastreamento comercial, mas também são prevalentes em serviços do setor público, muitas vezes decorrentes de práticas de engenharia padrão e dependências de SDK, em vez de intenção maliciosa.
• Mudança Metodológica: O trabalho argumenta que auditorias centradas no inglês atuam como um filtro estrutural, obscurecendo sistematicamente as lacunas de transparência em ambientes multilíngues. A análise multilíngue desloca o foco de falhas isoladas de redação para problemas sistêmicos na forma como os serviços móveis são montados através de dependências técnicas.
• Implicações Regulatórias: Os achados sugerem que os mecanismos de transparência atuais (políticas e rótulos) frequentemente falham em refletir a realidade técnica dos fluxos de dados, particularmente no que diz respeito à telemetria de dispositivos e transferências transfronteiriças. Os autores postulam que a responsabilidade deve se estender às camadas de SDK e de infraestrutura, e que a auditoria via LLM multilíngue pode servir como uma camada de verificação escalável para apoiar a supervisão regulatória (ex: Artigos 12, 13 e 44–49 do GDPR).

O artigo conclui que, embora os LLMs possam efetivamente preencher a lacuna linguística, o problema subjacente é um descompasso entre os artefatos declarativos e os componentes técnicos que geram os fluxos de dados, necessitando de um maior alinhamento entre política, rótulos e evidência empírica de tempo de execução.