Homoglyph-based Adversarial Perturbation of Introductory Computer Science Theory Problems

Resumo Técnico: Perturbação Adversarial Baseada em Homoglyphs em Problemas Teóricos de Introdução à Ciência da Computação

Declaração do Problema
A adoção generalizada de Modelos de Linguagem de Grande Escala (LLMs) como ChatGPT, Gemini e Claude representa um desafio significativo para a integridade acadêmica, particularmente em cursos introdutórios de Ciência da Computação e Matemática Discreta. Os estudantes podem utilizar essas ferramentas para completar tarefas sem se envolver com o conteúdo, falhando assim em atender aos objetivos de aprendizagem do curso. Estratégias atuais de aplicação, como a detecção de conteúdo gerado por IA, são pouco confiáveis e propensas a acusações falsas. Além disso, abordagens adversariais padrão frequentemente falham contra LLMs modernos, pois esses modelos são robustos a perturbações simples de caracteres; eles frequentemente "reparam" prompts modificados ao depender de padrões memorizados de seus dados de treinamento, que muitas vezes incluem problemas amplamente utilizados de livros didáticos.

Metodologia
Os autores propõem um método de quatro etapas para criar perturbações adversariais que tornem os prompts de tarefas ineficazes para LLMs, mantendo-se visualmente idênticos para humanos. A abordagem opera sob o "modelo de estudante preguiçoso", assumindo que os estudantes copiam e colam prompts diretamente nas interfaces dos LLMs.

1. Identificação de Viés: O método começa identificando partes de uma questão onde o LLM exibe um forte viés em relação aos dados de treinamento originais. Mesmo que adjetivos críticos ou números sejam removidos, o modelo frequentemente alucina as informações ausentes com base em sua familiaridade com o material fonte (por exemplo, inserir "racional" em um prompt sobre "números não nulos" porque o problema original do livro didático continha essa palavra).
2. Modificação Semântica: Se a questão original carece de caracteres numéricos específicos ou expressões matemáticas, o método modifica o prompt para introduzi-los sem alterar o significado semântico ou a dificuldade para um estudante humano. Por exemplo, uma declaração geral sobre números irracionais é reescrita para incluir variáveis específicas (por exemplo, $x$ e $y$) ou coeficientes (por exemplo, $7x$). Isso cria uma variação do problema que é menos provável de existir literalmente no conjunto de dados de treinamento do modelo.
3. Seleção de Homoglyphs: Os autores selecionam homoglyphs específicos (caracteres que se assemelham visualmente a caracteres alfanuméricos padrão, mas possuem pontos de código Unicode diferentes) que são facilmente legíveis por humanos, mas não reconhecidos por LLMs. O processo de seleção envolve testar se o LLM falha ao identificar o homoglyph como o caractere pretendido.
4. Aplicação da Perturbação: Os homoglyphs selecionados são usados para substituir caracteres-chave (tipicamente coeficientes numéricos ou símbolos envolvidos em aritmética) no prompt modificado. Isso interrompe o processo de tokenização do LLM. Como o modelo não reconhece o homoglyph, ele não consegue mapeá-lo para o token correto. Consequentemente, o modelo ignora o caractere perturbado ou o substitui por um token para o qual possui viés (frequentemente o caractere original dos dados de treinamento), levando a uma solução incorreta.

Principais Contribuições

• Estratégia de Perturbação Adversarial: Uma abordagem inovadora que combina modificação semântica com ataques baseados em homoglyphs para contornar a robustez de LLMs modernos contra alterações simples de texto.
• Exploração do Viés do Modelo: O método aproveita a tendência dos LLMs de "reparar" prompts com base em dados de treinamento memorizados, transformando essa característica contra o modelo ao introduzir uma estrutura de problema modificada que o modelo tenta "corrigir" incorretamente.
• Ferramenta Interativa: O desenvolvimento de uma ferramenta amigável ao usuário que permite aos instrutores fazer upload de arquivos de homoglyphs, selecionar caracteres e gerar questões perturbadas de forma eficiente.
• Validação Empírica: Uma avaliação sistemática utilizando 69 questões baseadas em texto de um currículo padrão de Matemática Discreta (derivado de Discrete Mathematics and Its Applications de Rosen).

Resultados Experimentais
O estudo testou o método em 69 questões de lição de casa puramente baseadas em texto usando ChatGPT e Gemini.

• Eficácia: O método enganou com sucesso ambos os modelos em todas as questões testadas.
• Eficiência: As perturbações necessárias foram mínimas. Em média, foram necessárias apenas 1,54 tentativas para o ChatGPT e 1,67 para o Gemini encontrar uma perturbação bem-sucedida.
• Contagem de Caracteres: O número médio de caracteres perturbados por questão foi de aproximadamente 3,09 para o ChatGPT e 3,01 para o Gemini. Em muitos casos, perturbar um único caractere (por exemplo, alterar um coeficiente numérico como "8" para um homoglyph de "6") foi suficiente para fazer o modelo falhar.
• Observações sobre Densidade de Perturbação: Os autores notaram que perturbações excessivas (alterar múltiplos caracteres) às vezes poderiam reduzir a eficácia, pois o modelo poderia interpretar os homoglyphs como um novo fator comum em vez de falhar ao reconhecê-los. Por outro lado, perturbações mínimas frequentemente produziram melhores resultados.
• Limitações: O método é mais eficaz em caracteres numéricos envolvidos em aritmética. Perturbar caracteres que servem puramente como marcadores simbólicos (por exemplo, "0" e "1" em uma definição de linguagem formal como $\{0^n1^{2n}\}$) foi considerado ineficaz.

Significado e Alegações
O artigo afirma que este método oferece um dissuasor prático e não punitivo para a trapaça assistida por IA em cursos de teoria da ciência da computação. Ao modificar prompts de forma que sejam visualmente indistinguíveis para humanos, mas semanticamente confusos para LLMs, os instrutores podem garantir que os estudantes devem se envolver com o conteúdo para resolver os problemas. Os autores enfatizam que essa abordagem amplia as opções para a estratégia de "não permitir conteúdo gerado por IA", fornecendo uma defesa proativa que não depende de algoritmos de detecção pouco confiáveis. O trabalho é modesto em escopo, focando especificamente em problemas teóricos introdutórios e demonstrando que até mesmo LLMs altamente robustos podem ser comprometidos por perturbações mínimas, cuidadosamente selecionadas.