ReproBreak: A Dataset of Reproducible Web Locator Breaks

Technische Samenvatting: ReproBreak

Probleemstelling
Geautomatiseerde GUI-testframeworks zoals Cypress en Playwright zijn sterk afhankelijk van elementlocators (bijvoorbeeld IDs, CSS-selectoren, XPath) om te interageren met webapplicaties. Een "locator break" treedt op wanneer structurele wijzigingen in de Application Under Test (AUT) — zoals het hernoemen van een element-ID of het herstructureren van de DOM — ertoe leiden dat een locator faalt, zelfs als de onderliggende functionaliteit correct blijft. Hoewel de broosheid van locators een goed gedocumenteerde uitdaging is in GUI-testen, hebben bestaand onderzoek en datasets zich voornamelijk gericht op Selenium. Er is een aanzienlijke leemte in de literatuur betreffende grootschalige evaluatie van locatorbroosheid specifiek voor Cypress en Playwright, die gebruikmaken van verschillende interne mechanismen voor het opvragen en interageren met elementen in vergelijking met het externe driver-model van Selenium. Bijgevolg bestaat er geen bestaande dataset om empirisch locatorhersteltechnieken en robuustheidsstrategieën voor deze moderne frameworks te evalueren of te vergelijken.

Methodologie
De auteurs hebben ReproBreak geconstrueerd, een dataset van reproduceerbare locatorbreaks, via een geautomatiseerd proces in drie fasen toegepast op open-source repositories:

1. Data Bron en Identificatie: Het onderzoek begon met de E2EGit-dataset, waarbij werd gefilterd op 374 repositories die Cypress, Playwright of beide gebruiken. Hiervan werden 359 repositories geanalyseerd. De auteurs identificeerden testbestanden door te filteren op specifieke extensies (bijvoorbeeld .spec.ts) en framework-specifieke trefwoorden (bijvoorbeeld cy.get voor Cypress, page.locator voor Playwright). Met behulp van git log en git diff identificeerden ze commits die testbestanden wijzigden en extraheren ze codehunks die locatorwijzigingen bevatten ($L_c$).
2. Docker-gebaseerde Omgeving: Om te valideren of een locatorwijziging een break vormde, moesten de auteurs tests uitvoeren in een consistente omgeving. Ze concentreerden zich op de top 10 projecten met het hoogste aantal locatorwijzigingen. Vanwege de vereiste handmatige inspanning en afhankelijkheidsproblemen slaagden ze erin reproduceerbare Docker-omgevingen (bevattende Dockerfile en uitvoerscripts) te creëren voor de top 4 projecten.
3. Validatie van Locatorbreaks: Voor elke geïdentificeerde locatorwijziging ($L_c$) in de gevalideerde projecten voerden de auteurs een tweestapsverificatie uit:
   • Stap 3a: Voer de test uit met de nieuwe locator op de bijgewerkte applicatie. Als deze slaagt, is de nieuwe locator geldig.
   • Stap 3b/c: Vervang de nieuwe locator door de oude locator in dezelfde commit en voer deze opnieuw uit. Als de test faalt, wordt de wijziging geclassificeerd als een locator break ($L_b$). Als deze slaagt, wordt deze geclassificeerd als een niet-brekende locatorwijziging ($L_{nb}$), wat aangeeft dat de update preventief was.

Belangrijkste Bijdragen

• ReproBreak Dataset: Een gestructureerde relationele SQLite-database met 449 bevestigde, reproduceerbare locatorbreaks verspreid over vier grote open-source projecten. Het schema koppelt locatorwijzigingen aan specifieke commits, repositories en reproduktiescripts.
• Geautomatiseerde Reproductiescripts: De auteurs bieden reproduce.py-scripts die onderzoekers in staat stellen om automatisch de Docker-omgeving op te zetten, de oude locator in te voegen en de break te bevestigen. Dit gaat voorbij aan statische momentopnames naar dynamische, uitvoerbare validatie.
• Framework-specifieke Analyse: De dataset richt zich specifiek op Cypress en Playwright, en adresseert het gebrek aan middelen voor het evalueren van broosheid in deze frameworks in vergelijking met Selenium.

Resultaten

• Scope: De analyse bestreek 359 repositories (189 Playwright, 154 Cypress, 16 beide).
• Locatorwijzigingen: Het proces identificeerde in totaal 9.572 locatorwijzigingen verspreid over de repositories.
• Validatie: Na filtering op projecten waar een reproduceerbare Docker-omgeving kon worden opgezet, valideerden de auteurs 580 locatorwijzigingen.
• Geïdentificeerde Breaks: Van de gevalideerde wijzigingen werden 449 bevestigd als locatorbreaks ($L_b$), terwijl 131 niet-brekende wijzigingen waren ($L_{nb}$).
• Verdeling: De dataset bevat gegevens van vier projecten: ghiscoding/angular-slickgrid, nasa/openmct, tryghost/koenig, en microsoft/playwright.

Betekenis en Claims
Het artikel positioneert ReproBreak als een fundamenteel artefact voor het bevorderen van onderzoek in GUI-testonderhoud voor moderne frameworks. De auteurs claimen dat de dataset het mogelijk maakt om:

• Robuustheidstechnieken te evalueren: Onderzoekers in staat stellen om te testen of op Selenium gebaseerde technieken voor het genereren van veerkrachtige locators (bijvoorbeeld Robula+, Sidereal) toepasbaar zijn op Cypress en Playwright.
• Broosheidsscore-beoordeling: Een basis bieden om broosheidsscores, oorspronkelijk ontworpen voor Selenium, aan te passen en te valideren voor deze nieuwe frameworks.
• Benchmarking van herstelbenaderingen: Het beoordelen van locatorhersteltools (bijvoorbeeld Similo, Vista) en het ontwikkelen van op LLM gebaseerde agenten voor geautomatiseerd herstel mogelijk maken.
• Onderzoek naar NL-gebaseerd testen: Een grootschalige dataset bieden om de robuustheid van op Natuurlijke Taal gebaseerde testbenaderingen tegen locatorbreaks te evalueren.

De auteurs benadrukken dat de opname van geautomatiseerde reproductiescripts een kritisch onderscheidend kenmerk is, waardoor onderzoekers actief breaks kunnen bevestigen en hersteltechnieken kunnen testen in een echte uitvoeringsomgeving in plaats van te vertrouwen op statische analyse. Ze merken op dat hoewel de huidige dataset vier projecten bestrijkt, de methodologie uitbreidbaar is naar andere frameworks door het definiëren van nieuwe locator-regexpatronen.