ReproBreak: A Dataset of Reproducible Web Locator Breaks

Resumo Técnico: ReproBreak

Declaração do Problema
Frameworks de teste automatizado de GUI, como Cypress e Playwright, dependem fortemente de localizadores de elementos (por exemplo, IDs, seletores CSS, XPath) para interagir com aplicações web. Uma "quebra de localizador" ocorre quando alterações estruturais na Aplicação Sob Teste (AUT) — como a renomeação de um ID de elemento ou a reestruturação do DOM — fazem com que um localizador falhe, mesmo que a funcionalidade subjacente permaneça correta. Embora a fragilidade de localizadores seja um desafio bem documentado em testes de GUI, pesquisas e conjuntos de dados existentes focaram principalmente no Selenium. Há uma lacuna significativa na literatura quanto à avaliação em grande escala da fragilidade de localizadores especificamente para Cypress e Playwright, que utilizam mecanismos internos diferentes para consultar e interagir com elementos em comparação ao modelo de driver externo do Selenium. Consequentemente, não existe um conjunto de dados para avaliar empiricamente ou comparar técnicas de reparo de localizadores e estratégias de robustez para esses frameworks modernos.

Metodologia
Os autores construíram o ReproBreak, um conjunto de dados de quebras de localizadores reproduzíveis, por meio de um pipeline automatizado de três etapas aplicado a repositórios de código aberto:

1. Fonte de Dados e Identificação: O estudo começou com o conjunto de dados E2EGit, filtrando 374 repositórios que utilizam Cypress, Playwright ou ambos. Desses, 359 repositórios foram analisados. Os autores identificaram arquivos de teste filtrando extensões específicas (por exemplo, .spec.ts) e palavras-chave específicas do framework (por exemplo, cy.get para Cypress, page.locator para Playwright). Usando git log e git diff, identificaram commits que modificaram arquivos de teste e extraíram trechos de código contendo alterações de localizadores ($L_c$).
2. Configuração de Ambiente Baseado em Docker: Para validar se uma alteração de localizador constituía uma quebra, os autores precisavam executar testes em um ambiente consistente. Focaram nos 10 principais projetos com o maior número de alterações de localizadores. Devido aos requisitos de esforço manual e problemas de dependência, criaram com sucesso ambientes Docker reproduzíveis (contendo Dockerfile e scripts de execução) para os 4 principais projetos.
3. Validação de Quebra de Localizador: Para cada alteração de localizador identificada ($L_c$) nos projetos validados, os autores realizaram uma verificação em duas etapas:
   • Etapa 3a: Executar o teste com o novo localizador na aplicação atualizada. Se passar, o novo localizador é válido.
   • Etapa 3b/c: Substituir o novo localizador pelo antigo localizador no mesmo commit e reexecutar. Se o teste falhar, a alteração é classificada como uma quebra de localizador ($L_b$). Se passar, é classificada como uma alteração de localizador não quebrante ($L_{nb}$), indicando que a atualização foi profilática.

Principais Contribuições

• Conjunto de Dados ReproBreak: Um banco de dados relacional estruturado SQLite contendo 449 quebras de localizadores confirmadas e reproduzíveis em quatro principais projetos de código aberto. O esquema vincula alterações de localizadores a commits específicos, repositórios e scripts de reprodução.
• Scripts de Reprodução Automatizada: Os autores fornecem scripts reproduce.py que permitem aos pesquisadores configurar automaticamente o ambiente Docker, injetar o localizador antigo e confirmar a quebra. Isso vai além de instantâneos estáticos para validação dinâmica e executável.
• Análise Específica do Framework: O conjunto de dados visa especificamente Cypress e Playwright, abordando a falta de recursos para avaliar a fragilidade nesses frameworks em comparação ao Selenium.

Resultados

• Escopo: A análise cobriu 359 repositórios (189 Playwright, 154 Cypress, 16 ambos).
• Alterações de Localizador: O pipeline identificou um total de 9.572 alterações de localizadores nos repositórios.
• Validação: Após filtrar projetos onde um ambiente Docker reproduzível pôde ser estabelecido, os autores validaram 580 alterações de localizadores.
• Quebras Identificadas: Das alterações validadas, 449 foram confirmadas como quebras de localizador ($L_b$), enquanto 131 foram alterações não quebrantes ($L_{nb}$).
• Distribuição: O conjunto de dados inclui dados de quatro projetos: ghiscoding/angular-slickgrid, nasa/openmct, tryghost/koenig e microsoft/playwright.

Significado e Alegações
O artigo posiciona o ReproBreak como um artefato fundamental para avançar a pesquisa na manutenção de testes de GUI para frameworks modernos. Os autores afirmam que o conjunto de dados permite:

• Avaliação de Técnicas de Robustez: Permitir que pesquisadores testem se técnicas de geração de localizadores resilientes baseadas em Selenium (por exemplo, Robula+, Sidereal) são aplicáveis ao Cypress e Playwright.
• Avaliação de Pontuação de Fragilidade: Fornecer uma base para adaptar e validar pontuações de fragilidade originalmente projetadas para o Selenium a esses novos frameworks.
• Benchmarking de Abordagens de Reparo: Permitir a avaliação de ferramentas de reparo de localizadores (por exemplo, Similo, Vista) e o desenvolvimento de agentes baseados em LLM para reparo automatizado.
• Pesquisa de Testes Baseados em NL: Oferecer um conjunto de dados em grande escala para avaliar a robustez de abordagens de teste baseadas em Linguagem Natural contra quebras de localizadores.

Os autores enfatizam que a inclusão de scripts de reprodução automatizada é um diferencial crítico, permitindo que pesquisadores confirmem ativamente quebras e testem técnicas de reparo em um ambiente de execução real, em vez de depender de análise estática. Eles observam que, embora o conjunto de dados atual cubra quatro projetos, a metodologia é extensível a outros frameworks definindo novos padrões regex de localizadores.