💻 computer science

Towards Efficient Matching of Regexes with Backreferences using Register Set Automata (Technical Report)

Dit technische rapport introduceert register-setautomata als een efficiënt en robuust model voor het snel matchen van reguliere expressies met backreferences, waarbij een deterministische transformatie en een op afgeleiden gebaseerd algoritme worden gepresenteerd die lineaire of kwadratische tijdcomplexiteit garanderen en de decidableheid van het leegheidsprobleem aantonen.

Oorspronkelijke auteurs: Vojtěch Havlena, Lukáš Holík, Ondřej Lengál, Jan Vašák, Sabína Gulčíková

Gepubliceerd 2026-04-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Vojtěch Havlena, Lukáš Holík, Ondřej Lengál, Jan Vašák, Sabína Gulčíková

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met miljarden boeken. Je wilt er één specifieke zin in vinden, bijvoorbeeld: "Zoek alle zinnen waar het woord 'appel' staat, en zorg dat het woord dat direct na 'appel' komt, precies hetzelfde is als het woord dat twee zinnen eerder stond."

Dit is wat computers doen met Reguliere Expressies (regex). Het is een krachtige taal om patronen te zoeken in tekst. Maar als je deze patronen ingewikkeld maakt met "terugverwijzingen" (zoals in het voorbeeld hierboven), raken veel bestaande zoekmachines in de war. Ze proberen alle mogelijke combinaties uit, wat leidt tot een catastrofale achteruitgang in snelheid. Een hacker kan hier misbruik van maken om een server plat te leggen (een zogenaamde ReDoS-aanval).

De auteurs van dit paper hebben een nieuwe oplossing bedacht: Register Set Automata (RSA). Laten we dit uitleggen met een paar creatieve analogieën.

1. Het Probleem: De Verwarde Liberaal

Stel je een traditionele zoekmachine voor als een verwarde bibliothecaris die een lijstje heeft.

Als je vraagt: "Zoek 'appel'", kijkt hij op zijn lijstje.
Maar als je vraagt: "Zoek 'appel' en het volgende woord moet hetzelfde zijn als het woord dat je twee zinnen geleden zag", moet hij zich alles herinneren.
Traditionele methoden werken als een gokker: "Misschien was het woord 'appel' hier, misschien daar... ik probeer het even hier, oh nee, dat werkt niet, ik ga terug en probeer het daar."
Bij ingewikkelde patronen moet deze gokker miljarden combinaties proberen voordat hij zegt: "Nee, dit komt niet overeen." Dit duurt eeuwen.

2. De Oplossing: De Super-Organisator (RSA)

De auteurs introduceren een nieuw type bibliothecaris: de Register Set Automaton (RSA).

In plaats van één vakje te hebben om één woord in te zetten (zoals een traditionele automaat), heeft deze nieuwe bibliothecaris magische manden (registers) die verzamelingen van woorden kunnen bevatten.

De Magische Manden: Stel je voor dat je een mand hebt waarin je alle woorden die je tot nu toe hebt gezien, kunt gooien.
Het Nieuwe Trucje: Als de bibliothecaris een nieuw woord ziet, gooit hij het niet weg, maar voegt hij het toe aan de mand.
De Check: Als hij later een terugverwijzing ziet ("Zoek het woord dat eerder stond"), hoeft hij niet te gokken. Hij kijkt gewoon in de mand: "Zit dit woord in de mand?"
- Ja? Dan is het een match.
- Nee? Dan is het geen match.

Dit klinkt simpel, maar het is revolutionair omdat het deterministisch is. De bibliothecaris hoeft nooit terug te gaan en opnieuw te beginnen. Hij loopt één keer door de tekst, vult zijn manden en checkt ze. Geen gokken, geen paniek.

3. Waarom is dit zo snel?

Stel je voor dat je een lange rij mensen moet controleren op een paspoort.

De oude methode (Backtracking): Je loopt naar de eerste persoon, vraagt zijn naam, loopt naar de tweede, vraagt zijn naam, en als ze niet overeenkomen, ren je terug naar de eerste, verandert zijn naam, en probeert het opnieuw. Je rent heen en weer tot je moe bent.
De RSA-methode: Je hebt een lijstje (de mand) gemaakt terwijl je langs liep. Je loopt gewoon één keer door de rij. Als je bij iemand komt die je moet vergelijken, kijk je gewoon op je lijstje. Je loopt nooit terug.

Dit betekent dat de tijd die het kost lineair is met de lengte van de tekst. Of de tekst nu 10 karakters of 10 miljoen karakters lang is, de bibliothecaris blijft kalm en snel.

4. Wat betekent dit voor de wereld?

Veiligheid: Hackers kunnen geen servers meer platleggen door ingewikkelde zoekopdrachten te sturen. De nieuwe methode is "ReDoS-proof" voor een groot deel van de patronen die in de echte wereld worden gebruikt.
Snelheid: Websites en apps kunnen tekst sneller doorzoeken, zelfs met complexe regels.
Betrouwbaarheid: Je weet altijd hoe lang een zoekopdracht gaat duren. Geen verrassingen meer.

Samenvatting in één zin

De auteurs hebben een slimme manier bedacht om computers te leren om patronen in tekst te zoeken door in plaats van te gokken en terug te lopen, gewoon een verzameling van alles wat ze hebben gezien in een "magische mand" te houden, waardoor ze razendsnel en veilig kunnen zoeken zonder vast te lopen.

Het is alsof je van een zoektocht met een blinddoek (waarbij je stoten en terugloopt) overschakelt naar een zoektocht met een heldere kaart en een lijstje met alles wat je al hebt gevonden.

1. Het Probleem

Het matchen van reguliere expressies (regex) is een fundamentele taak in de informatica, gebruikt voor zoekopdrachten, validatie en data-analyse. Hoewel moderne matchers (zoals RE2 of HyperScan) zeer efficiënt zijn voor standaard regex, kampen ze met ernstige prestatieproblemen bij regex met backreferences.

Backreferences: Deze functie stelt een regex in staat om te verwijzen naar een eerder gevangen deel van de string (bijv. \1 verwijst naar de eerste capture group). Dit maakt het mogelijk om patronen te beschrijven die verder gaan dan reguliere talen (bijv. het herkennen van strings van de vorm $ww$).
Prestatieproblemen: De meeste bestaande matchers gebruiken een backtracking-algoritme. Bij complexe patronen met backreferences kan dit leiden tot "catastrophic backtracking", waarbij de uitvoeringstijd exponentieel groeit ten opzichte van de invoerlengte.
ReDoS (Regular Expression Denial of Service): Dit prestatieprobleem wordt vaak misbruikt voor aanvallen waarbij een kwaadwillende gebruiker een specifieke string stuurt die de server doet vastlopen. Bekende voorbeelden zijn de uitval van StackOverflow en kwetsbaarheden in het Express.js-framework.
Beperkingen van bestaande oplossingen: Snelle, automata-gebaseerde algoritmen (zoals Thompson's NFA of DFA) kunnen backreferences niet efficiënt verwerken omdat determinisatie van deze patronen vaak onmogelijk of onpraktisch is.

2. Methodologie en Kerninnovatie

De auteurs introduceren een nieuw formeel model genaamd Register Set Automata (RSA) om dit probleem op te lossen.

Register Set Automata (RSA):
- Dit is een uitbreiding van bestaande Register Automata (RA).
- Verschil: In traditionele RA's kan een register slechts één enkel symbool (data-waarde) bevatten. In RSA's kunnen registers sets van symbolen bevatten.
- Operaties: RSA's ondersteunen het toevoegen van invoerwaarden aan registers, het samenvoegen (unions) van registers, het wissen van registers, en het testen of een register een specifieke waarde bevat.
- Deterministische RSA (DRSA): De kern van de oplossing is het determiniseren van niet-deterministische automata naar DRSA's. Een DRSA kan in lineaire tijd (voor eindige alfabetten) of kwadratische tijd (voor oneindige alfabetten) een string verwerken, zonder backtracking.
Het Werkstroomproces:
1. Conversie Regex naar RA: De auteurs gebruiken een op Antimirov-derivaten gebaseerd algoritme om regex met backreferences (specifiek met single-letter capture groups) om te zetten in een niet-deterministische Register Automaton (NRA).
2. Determinisatie (NRA naar DRSA): Ze ontwikkelen een semi-algoritme (Algorithm 1) om de NRA te determiniseren tot een DRSA. Dit algoritme gebruikt een "subset construction" waarbij macro-staten worden bijgehouden die bestaan uit een verzameling oorspronkelijke staten en een mapping van register-groottes (0, 1, of >1).
3. Matching: De gegenereerde DRSA wordt gebruikt om invoerstrings te verwerken met een voorspelbare en efficiënte complexiteit.

3. Belangrijkste Bijdragen

Introductie van RSA: Een nieuw automata-model dat sets in registers toestaat, wat essentieel is voor het efficiënt verwerken van backreferences.
Theoretische Analyse:
- Het leegheidsprobleem (emptiness problem) voor RSA is beslisbaar, maar heeft een hoge complexiteit: F $\omega$ -compleet (Ackermanniaans), wat hoger is dan voor standaard RA's (PSPACE-compleet).
- RSA's zijn expressiever dan RA's en incomparable met andere modellen zoals Alternating Register Automata (ARA).
- Het model is gesloten onder unie en doorsnede, maar niet onder complement (voor niet-deterministische varianten).
Determinisatie-algoritme: Een semi-algoritme dat een grote klasse van NRA's (specifiek die zonder disequality-tests en met copyless eigenschappen) kan omzetten in DRSA's.
Complexiteitsanalyse: Het matchen met een DRSA is lineair in de lengte van de invoer ( $O(|w|)$ ) voor eindige alfabetten, en kwadratisch ( $O(|w|^2)$ ) voor oneindige alfabetten. Dit is een enorme verbetering ten opzichte van de exponentiële tijd van backtracking.
Praktische Implementatie: Een prototype matcher genaamd rsamatch is geïmplementeerd en getest.

4. Experimentele Resultaten

De auteurs hebben rsamatch vergeleken met state-of-the-art matchers (zoals PCRE2, grep, Python re, Java, JavaScript, en .NET) op een dataset van real-world regex met backreferences.

Robuustheid tegen ReDoS: Waar traditionele matchers vaak vastliepen (time-out > 100 seconden) op aanvalsvector-strings, bleef rsamatch binnen de 1 seconde voor de overgrote meerderheid van de gevallen.
Voorspelbaarheid: De standaardafwijking van de uitvoeringstijd van rsamatch was een orde van grootte lager dan die van de concurrenten, wat aantoont dat de prestaties voorspelbaar zijn en niet afhankelijk van de specifieke invoerstructuur.
Afdeling: Van de geteste regex met backreferences kon ongeveer 91% van de single-letter varianten succesvol worden omgezet naar een DRSA. De determinisatie faalde slechts in een klein percentage van de gevallen (vaak door complexiteit die buiten de scope van het algoritme valt, zoals zeer complexe niet-deterministische keuzes).
Snelheid: Hoewel rsamatch in Python is geschreven (en dus trager is dan C-gebaseerde matchers bij snelle, simpele regex), overtrof het deze in snelheid bij de moeilijke, ReDoS-gevoelige gevallen door het ontbreken van backtracking.

5. Betekenis en Conclusie

Dit rapport biedt een theoretisch onderbouwd en praktisch bewezen oplossing voor een langdurig probleem in de regex-verwerking: het veilig en snel matchen van patronen met backreferences.

Veiligheid: De techniek biedt een directe mitigatie voor ReDoS-aanvallen in systemen die regex gebruiken voor validatie of zoekopdrachten.
Theoretische Vooruitgang: Het vult een gat in de theorie van automata over oneindige alfabetten en data-woorden, en toont aan dat determinisatie mogelijk is voor een belangrijke subclass van niet-reguliere patronen.
Toekomstperspectief: Hoewel het huidige algoritme niet volledig is (het kan falen voor zeer complexe regex), is het een grote stap voorwaarts. De auteurs pleiten voor verdere optimalisatie en het uitbreiden van de klasse van determiniseerbare regex, evenals het implementeren van de matcher in snellere talen (C/C++) voor productieve inzet.

Kortom, de auteurs tonen aan dat het gebruik van Register Set Automata een haalbare weg is om de "catastrophic backtracking" van regex-matchers te elimineren, waardoor systemen veiliger en robuuster worden tegen Denial-of-Service aanvallen.