Project-wise Comparison of Software Birthmarks Using Weighted Partial Similarity

Resumo Técnico: Comparação de Projetos de Software Birthmarks Usando Similaridade Parcial Ponderada

Definição do Problema
Os software birthmarks são características intrínsecas de programas utilizadas para detectar plágio e reutilização não autorizada de código. Embora as medidas de similaridade existentes sejam eficazes ao nível de módulo (por exemplo, comparando arquivos de origem ou classes individuais), elas são insuficientes para ecossistemas de software de larga escala e do mundo real, onde os sistemas consistem em inúmeros módulos. Dois desafios primários surgem ao agregar comparações de nível de módulo para o nível de projeto:

1. Reutilização Parcial: Em muitos casos, apenas um subconjunto de módulos dentro de um projeto é reutilizado, enquanto a maioria permanece não relacionada. A agregação uniforme de todos os pares de módulos dilui o sinal da reutilização real.
2. Similaridade Incidental: Módulos pequenos ou genéricos frequentemente exibem alta similaridade por acaso entre projetos não relacionados. Quando tratados de forma igual a módulos maiores, essas correspondências "ruidosas" podem levar a falsos positivos, prejudicando a credibilidade da detecção.

Os métodos atuais de nível de projeto frequentemente falham em abordar esses problemas de forma sistemática, carecendo de mecanismos robustos para distinguir entre a reutilização parcial significativa e o ruído incidental.

Metodologia
Os autores propõem um framework para a comparação de birthmarks de nível de projeto que agrega similaridades de nível de módulo usando dois mecanismos complementares: Agregação Ponderada e Similaridade Parcial.

1. Agregação Simétrica (SA): O framework estabelece um método de agregação simétrica de base. Diferente das abordagens assimétricas anteriores, a SA calcula a média das pontuações de similaridade mais altas encontradas para cada módulo no Projeto A contra o Projeto B, e vice-versa. Isso garante que a pontuação de similaridade seja independente da ordem de entrada.
2. Atribuição de Pesos: Para mitigar a similaridade incidental de módulos pequenos, os autores atribuem pesos aos módulos com base em seu tamanho (especificamente, o número de $k$-gramas). Uma transformação logarítmica ($W = \ln(K)$) é aplicada para comprimir a faixa de peso, evitando que módulos extremamente grandes dominem a pontuação, ao mesmo tempo em que reduz a influência de módulos pequenos e ruidosos. A similaridade ponderada final entre dois módulos é o produto de sua similaridade bruta e o mínimo de seus pesos normalizados.
3. Similaridade Parcial: Para abordar a reutilização parcial, o framework foca apenas na fração superior ($\alpha\%$) das pontuações de similaridade ponderadas mais altas entre pares de módulos. Ao ignorar o volume de pares de módulos não relacionados, este método enfatiza os componentes reutilizados mais relevantes.
4. Métricas de Avaliação: O desempenho é avaliado usando Resiliência (a capacidade de detectar código reutilizado apesar de modificações) e Credibilidade (a capacidade de distinguir projetos desenvolvidos independentemente). Estas são combinadas via sua média harmônica ($H_{mean}$) para garantir um equilíbrio entre a detecção de verdadeiros positivos e a prevenção de falsos positivos.

Configuração Experimental
O estudo utiliza um conjunto de dados de 35 projetos Java de código aberto em 10 categorias. Casos de reutilização são simulados comparando diferentes versões do mesmo projeto, enquanto casos de não reutilização são formados comparando diferentes projetos dentro da mesma categoria. Os experimentos empregam birthmarks de $k$-gramas estáticos e avaliam várias funções de similaridade de módulo (por exemplo, Cosseno, Jaccard, Distância de Edição) e configurações de parâmetros.

Principais Resultados

• Superioridade do Método Proposto: O método proposto (combinando ponderação e similaridade parcial com um escopo de 1%) supera consistentemente as abordagens existentes, incluindo o método de base de Lee et al. e variantes anteriores de similaridade agregada. Ele alcança a maior $H_{mean}$ mediana (0,9728) com baixa variância.
• Necessidade de Ponderação: A ponderação é crítica. Quando a similaridade parcial é aplicada sem ponderação, o desempenho degrada significamente (até abaixo da similaridade aleatória em algumas configurações) porque módulos pequenos dominam os pares classificados no topo. A ponderação suprime esse ruído, estabilizando os resultados.
• Eficácia da Similaridade Parcial: Focar em um pequeno subconjunto de pares de módulos altamente similares (por exemplo, o top 1% ou 5%) produz melhores resultados do que considerar todos os pares. Isso confirma que ignorar módulos não relacionados é essencial para detectar a reutilização parcial.
• Configurações Ótimas: O melhor desempenho é alcançado com escopos de comparação pequenos (1–5%), tamanhos de $k$-grama maiores (3–4) e a função de similaridade de Distância de Edição, que demonstrou a maior precisão e estabilidade entre as funções testadas.
• Baseline de Agregação Simétrica: Mesmo sem ponderação ou similaridade parcial, a própria formulação de agregação simétrica supera os métodos assimétricos existentes, fornecendo uma base sólida para a comparação de nível de projeto.

Significância e Alegações
O artigo afirma estabelecer um framework robusto para a comparação de birthmarks de nível de projeto que aborda as limitações específicas da análise de nível de módulo em sistemas de larga escala. Os autores afirmam que:

• A similaridade de nível de projeto é um componente necessário para a primeira etapa da detecção de plágio em larga escala (recuperação/retrieval), precedendo a verificação detalhada de nível de módulo.
• A combinação de ponderação baseada em tamanho e similaridade parcial é um mecanismo complementar que melhora conjuntamente tanto a resiliência a modificações de código quanto a credibilidade na distinção de projetos não relacionados.
• Uma similaridade de nível de projeto eficaz não requer estratégias de correspondência complexas; em vez disso, uma combinação simples de agregação simétrica, pesos conscientes do tamanho e foco seletivo em pares de alta similaridade fornece uma solução prática e robusta.
• O framework proposto é geral e aplicável a vários tipos de birthmarks, embora o estudo o valide especificamente usando birthmarks de $k$-gramas estáticos em projetos Java.

Os autores reconhecem limitações, observando que o conjunto de dados consiste em projetos Java de código aberto e não inclui casos reais de plágio confirmados ou código ofuscado adversariamente. Eles posicionam seu trabalho como uma avaliação sistemática de estratégias de agregação de similaridade, com trabalhos futuros planejados para estender a outras linguagens e investigar a robustez contra ofuscação.