The Third-Party Access Effect: An Overlooked Challenge in Secondary Use of Educational Real-World Data

Resumo Técnico: O Efeito do Acesso de Terceiros em Dados do Mundo Real Educacionais

Definição do Problema
O uso secundário de Dados do Mundo Real (RWD, na sigla em inglês) de granularidade fina na educação oferece oportunidades significativas para pesquisa e personalização de sistemas. No entanto, as práticas atuais frequentemente avaliam a proteção da privacidade e a comunicação com as partes interessadas de forma isolada. Especificamente, pesquisadores avaliam se os dados são "seguros" (dimensão técnica) ou se as partes interessadas "aceitam" o compartilhamento (dimensão sociotécnica) sem considerar como esses fatores influenciam conjuntamente a validade das descobertas analíticas subsequentes. O artigo postula que as práticas padrão de privacidade, quando comunicadas às partes interessadas, podem induzir mudanças comportamentais — como a opção de exclusão (opt-out) ou o engajamento em não-autodeclaração (ex: alterar comportamentos de aprendizagem para evitar detecção) — que introduzem viés de seleção e comprometem a validade científica das análises de uso secundário.

Metodologia
Para investigar essa lacuna, os autores conduziram três análises distintas utilizando quatro conjuntos de dados educacionais: dois conjuntos de dados institucionais do sistema de e-book BookRoll (contextos Universitário e de Ensino Secundário), os registros de lições de vocabulário do Duolingo e o conjunto de dados de exercícios EdNet-KT4.

1. Avaliação de Risco (RQ1): Os autores aplicaram o framework unicity (de Montjoye et al., 2013) para avaliar os riscos de reidentificação. Eles trataram os carimbos de data/hora (timestamps) como identificadores quase-identificadores (QIs), testando tanto a precisão bruta ao nível do minuto quanto janelas temporais generalizadas (trimestres, horas, datas). A métrica estima a proporção de estudantes que podem ser identificados de forma única dado um número específico de observações auxiliares ($\varepsilon$).
2. Pesquisa de Vignette (RQ2): Uma pesquisa foi administrada a 19 estudantes de graduação que utilizavam ativamente o sistema BookRoll. A pesquisa empregou um design de vignette de três etapas para medir a disposição de compartilhar dados sob diferentes condições: (a) compartilhamento de dados brutos, (b) compartilhamento de dados pseudonimizados, e (c) compartilhamento de dados pseudonimizados após serem informados sobre o risco quantificado de reidentificação (derivado da Análise 1). Os participantes também foram questionados sobre potenciais comportamentos de não-autodeclaração.
3. Análise de Sensibilidade (RQ3): Os autores avaliaram a robustez das descobertas de uso secundário subsequentes contra aumentos plausíveis de exclusões (opt-outs). Eles modelaram "hábitos de aprendizagem" usando regressão linear de Mínimos Quadrados Ordinários (OLS), onde a variável dependente era a entropia do tempo gasto no sistema através de quatro janelas diárias. A engenharia de atributos (feature engineering) e a seleção de modelos foram automatizadas via abordagens de Ciência de Dados Automatizada (AutoDS) utilizando Modelos de Linguagem de Grande Escala (LLMs). A sensibilidade dos coeficientes de regressão foi medida usando a métrica de Perturbação de Influência Máxima Aproximada (AMIP) para determinar a proporção de pontos de dados (estudantes) que, se removidos, inverteriam a significância estatística ou o sinal dos coeficientes.

Principais Resultados

• Alto Risco de Reidentificação (RQ1): RWD educacionais de granularidade fina exibem alto risco de reidentificação, mesmo quando meramente pseudonimizados. Nos conjuntos de dados do BookRoll, um atacante poderia identificar aproximadamente 91,3% dos estudantes com apenas quatro observações de carimbo de data/hora. Embora a generalização dos carimbos de data/hora para o nível de "data" tenha reduzido o risco em conjuntos de dados maiores (Duolingo, EdNet), falhou em proteger todos os estudantes em conjuntos de dados menores e contextuais (BookRoll Universitário), onde padrões de atividade únicos persistiram.
• Impacto Comportamental da Comunicação de Risco (RQ2): Embora a maioria dos estudantes estivesse disposta a compartilhar dados brutos ou pseudonimizados inicialmente, a comunicação do risco quantificado de reidentificação alterou significativamente as decisões. Cinco de 19 participantes reconsideraram seu consentimento para compartilhar dados após aprenderem sobre o risco. Além disso, os participantes relataram intenções de engajar em comportamentos de não-autodeclaração, como reduzir a tomada de notas, o destaque de textos ou alterar postagens em redes sociais para evitar vincular suas atividades de aprendizagem à sua identidade.
• Sensibilidade das Descobertas Subsequentes (RQ3): As conclusões analíticas sobre hábitos de aprendizagem foram altamente sensíveis à perda de dados. Em vários conjuntos de dados, remover menos de 10% dos estudantes (uma taxa plausível dado os comportamentos de intenção de exclusão observados em RQ2) foi suficiente para alterar a significância estatística ou a direção (sinal) dos coeficientes de regressão. Isso indica que as descobertas derivadas de dados compartilhados podem não se generalizar para a população total se as preocupações com a privacidade impulsionarem uma atrição não aleatória.

Principais Contribuições
O artigo introduz e define o Efeito do Acesso de Terceiros (3PAE - Third-Party Access Effect). Este fenômeno descreve uma situação em que o conhecimento adquirido por pesquisadores terceiros a partir dos dados difere daquilo que teria sido aprendido na ausência do acesso de terceiros, devido às respostas comportamentais das partes interessadas aos riscos de privacidade.

Os autores conceituam o 3PAE usando os critérios de Gerring para formulação de conceitos, posicionando-o como distinto dos tradicionais "efeitos de resfriamento" (chilling effects) ou "efeitos de observador", pois surge especificamente da incerteza de identificabilidade em contextos de compartilhamento de dados anonimizados. O artigo une as dimensões técnica e sociotécnica da privacidade ao demonstrar que as técnicas de proteção de privacidade e sua comunicação não são meramente obstáculos éticos ou legais, mas determinantes diretos da validade dos dados.

Significância e Alegações
O artigo alega que as práticas comuns de privacidade na educação, quando avaliadas apenas em termos de trocas entre privacidade e utilidade, podem inadvertidamente introduzir riscos de validade para a pesquisa de uso secundário. A significância do trabalho reside em:

1. Reenquadramento da Avaliação de Privacidade: Argumentar que as práticas de privacidade devem ser avaliadas não apenas por sua capacidade de proteger dados, mas pelo seu impacto subsequente na validade científica das análises derivadas desses dados.
2. Unificação Conceitual: Fornecer um framework unificado (3PAE) para conectar a avaliação de risco técnico (reidentificação) com resultados sociotécnicos (comportamento das partes interessadas e viés de seleção).
3. Implicações para a Privacidade Diferencial (DP): Sugerir que a Privacidade Diferencial, que limita a influência de qualquer indivíduo isolado nos resultados da análise, oferece um caminho teórico e prático para mitigar o 3PAE. No entanto, os autores observam que os desafios sociotécnicos de comunicar a DP para as partes interessadas na educação permanecem como uma área aberta para pesquisa.

Os autores mantêm uma postura modesta, reconhecendo que seus achados demonstram o risco de 3PAE sob práticas comuns, em vez de provar sua realização em todos os cenários. Eles convocam trabalhos futuros para validar empiricamente o 3PAE e desenvolver estratégias de comunicação que equilibrem transparência com a preservação da utilidade dos dados.