Resumo Técnico: Desidentificação que Preserva Utilidade para Tutoria em Matemática

1. Declaração do Problema

O compartilhamento de dados de diálogo em larga escala é essencial para avançar a ciência do ensino e da aprendizagem, contudo, a desidentificação rigorosa permanece uma barreira significativa. Em transcrições de tutoria em matemática, surge um desafio específico conhecido como ambiguidade numérica. Expressões matemáticas (por exemplo, frações, datas em problemas verbais, resultados de cálculos) frequentemente compartilham semelhanças de nível superficial com Informações Pessoalmente Identificáveis (PII) estruturadas, como datas, números de telefone ou números de carteira de motorista.

Sistemas genéricos de detecção de PII, incluindo ferramentas padrão da indústria como o Microsoft Presidio, frequentemente identificam erroneamente essas faixas matemáticas como identificadores sensíveis. Isso leva à excessiva redação, onde conteúdo instrucional central é removido dos dados, tornando-os inúteis para pesquisas educacionais subsequentes. Além disso, há uma falta de benchmarks específicos de domínio para avaliar a detecção de PII em contextos de tutoria em matemática, pois dados originais não redigidos raramente são compartilháveis devido a regulamentações de privacidade.

2. Metodologia

A pesquisa segue um fluxo de trabalho de três fases para abordar a questão de pesquisa: Como podemos detectar PII com precisão em transcrições de tutoria em matemática, preservando a utilidade educacional dos dados?

Fase 1: Construção do Conjunto de Dados (MathEd-PII)

Como dados originais não redigidos não estavam disponíveis, os autores construíram o MathEd-PII, o primeiro conjunto de dados de benchmark para detecção de PII em tutoria em matemática.

• Fonte: 1.000 sessões de tutoria (115.620 mensagens) de uma plataforma sediada nos EUA, inicialmente redigidas pelo provedor usando o Microsoft Presidio.
• Fluxo de Trabalho LLM com Humano no Loop: Para criar uma verdade fundamental confiável sem acesso aos dados originais, os autores empregaram um processo de três etapas:
  1. Avaliação Inicial: Um LLM avaliou uma amostra de mensagens redigidas para identificar PII não detectada (falsos negativos) e redações incorretas (falsos positivos), inferindo texto original plausível quando necessário.
  2. Validação Humana: Pesquisadores revisaram manualmente as saídas do LLM, refinando os prompts iterativamente até que 95% dos problemas identificados fossem resolvidos.
  3. Geração de Substitutos: O fluxo de trabalho validado foi aplicado ao corpus completo. O sistema substituiu PII confirmada por substitutos conscientes de contexto e que preservam a privacidade, e removeu rótulos para conteúdo incorretamente sinalizado como PII.
• Resultado: Um benchmark de 1.000 sessões contendo 1.995 rótulos de PII validados, significativamente menos do que os 5.263 rótulos no conjunto de dados original do provedor, indicando uma massiva excessiva redação na fonte.

Fase 2: Segmentação Matemática e Análise de Ambiguidade

Para investigar a hipótese de que falsos positivos se agrupam em regiões densas em matemática, os autores desenvolveram um módulo de segmentação baseado em densidade.

• Cálculo de Densidade Matemática: As mensagens foram pontuadas com base em uma soma ponderada de vocabulário matemático (derivado de componentes de aprendizagem do K-12), frases de múltiplas palavras e expressões regulares para padrões matemáticos.
• Segmentação: Mensagens que excediam um limite de densidade tornaram-se mensagens "âncora". Mensagens adjacentes foram adicionadas ao segmento se sua similaridade semântica (via embeddings) ao centróide do segmento excedesse um limite de similaridade.
• Análise: Isso permitiu aos autores comparar o desempenho da detecção de PII especificamente dentro de "Segmentos Matemáticos" versus "Segmentos Não Matemáticos".

Fase 3: Avaliação da Estratégia de Detecção

Quatro estratégias de detecção foram avaliadas no benchmark MathEd-PII:

1. Linha de Base: Microsoft Presidio (v2.2) com regras padrão e personalizadas.
2. Prompting Básico: LLMs instruídos a identificar toda a PII sem contexto de domínio.
3. Prompting Consciente de Matemática: LLMs instruídos com conhecimento específico sobre tutoria em matemática para reduzir falsos positivos numéricos.
4. Prompting Consciente de Segmento: LLMs fornecidos com um rótulo explícito indicando se uma mensagem pertence a um "Segmento Matemático" ou "Segmento Não Matemático".

Seis LLMs (incluindo Claude 4.5, GPT-5.2 e Gemini 3 Pro) foram testados, com os melhores desempenhos selecionados para as estratégias de prompting avançado. O desempenho foi medido usando Precisão, Revocação e Escore F1, com intervalos de confiança de 95% calculados via reamostragem bootstrap.

3. Resultados Chave

Análise de Falhas (PQ1)

• Ambiguidade Numérica Confirmada: Redações falsas de PII estão estruturalmente concentradas em regiões densas em matemática.
• Distribuição: 55,5% de todas as redações falsas ocorreram em segmentos densos em matemática, que constituem apenas 36,6% do corpus.
• Disparidade de Razão: Em segmentos matemáticos, a razão de falsos positivos para PII verdadeira foi de aproximadamente 4,88:1. Em segmentos não matemáticos, essa razão foi de 0,64:1.
• Erros Específicos: Detectores genéricos frequentemente identificaram erroneamente operações matemáticas (por exemplo, "9351 / 7") como Carteiras de Motorista dos EUA ou Números de Curso, e nomes fictícios em problemas verbais (por exemplo, "Se Alex tem 5 maçãs") como entidades PERSON reais.

Avaliação de Método (PQ3)

• Desempenho da Linha de Base: O Microsoft Presidio alcançou alta revocação (78%) mas precisão extremamente baixa (0,25), resultando em um escore F1 pobre de 0,379.
• Desempenho do LLM:
  • Prompting Básico: Melhorou significativamente os escores F1 (por exemplo, Gemini 3 Pro: 0,818).
  • Prompting Consciente de Matemática: Melhorou ainda mais a precisão ao abordar explicitamente a ambiguidade numérica (F1: 0,802 para Claude 4.5 Opus).
  • Prompting Consciente de Segmento: Alcançou o melhor desempenho geral. O Gemini 3 Pro com prompting consciente de segmento atingiu um escore F1 de 0,821 (Precisão: 0,888, Revocação: 0,764).
• Impacto sobre Falsos Positivos: A abordagem consciente de segmento reduziu falsos positivos em categorias numéricas críticas em mais de 90% (por exemplo, reduzindo falsos positivos de DATA em 99,5% e eliminando completamente falsos positivos de US_DRIVER_LICENSE) enquanto mantinha níveis de revocação comparáveis à linha de base.

4. Contribuições Chave

1. Identificação da Ambiguidade Numérica: O artigo estabelece a ambiguidade numérica como um modo de falha central na desidentificação de diálogos de tutoria em matemática, demonstrando que ferramentas padrão não conseguem distinguir entre notação matemática e identificadores sensíveis sem contexto de domínio.
2. Benchmark MathEd-PII: A introdução do primeiro conjunto de dados de benchmark publicamente disponível para detecção de PII em tutoria em matemática, construído por meio de um novo fluxo de trabalho de substituto LLM com humano no loop que permite avaliação rigorosa sem compartilhar dados originais não redigidos.
3. Evidência para Modelagem Consciente de Domínio: Demonstração empírica de que a desidentificação que preserva utilidade requer modelagem consciente de domínio. Especificamente, incorporar contexto de discurso matemático (via rótulos de segmentação) no prompting de LLM supera substancialmente as linhas de base agnósticas de domínio.

5. Significado e Alegações

Os autores afirmam que a desidentificação para diálogos de tutoria não pode ser tratada como uma etapa de pré-processamento agnóstica de domínio. O estudo fornece evidências de que preservar a utilidade analítica requer a incorporação do contexto específico do domínio (matemática).

• Privacidade vs. Utilidade: O trabalho demonstra que é possível alcançar alta proteção de privacidade (removendo PII verdadeira) sem sacrificar a fidelidade instrucional dos dados (preservando conteúdo matemático), desde que os sistemas de detecção estejam cientes do domínio.
• Contribuição Metodológica: O artigo oferece um fluxo de trabalho replicável para gerar dados de benchmark de alta qualidade em domínios sensíveis à privacidade onde dados originais não podem ser compartilhados, usando LLMs para gerar substitutos contextualmente coerentes.
• Limitações: Os autores observam que o conjunto de dados é limitado a uma única plataforma dos EUA e que, embora a precisão tenha melhorado significativamente, a otimização da revocação permanece uma área para trabalho futuro. Eles também alertam que a dependência atual de prompting pode ser frágil entre versões de modelos, sugerindo trabalho futuro no ajuste fino de modelos especializados.

Em conclusão, o artigo argumenta que, para que dados educacionais baseados em diálogo sejam compartilháveis e úteis, os pipelines de desidentificação devem evoluir de abordagens genéricas baseadas em regras ou modelos para estratégias conscientes de domínio que compreendam a diferença semântica entre um problema matemático e um identificador pessoal.