"Will This Data Break My Task?" - Interactive Synthesis of Task-Aware Data Unit Tests

Stel je voor dat je een chef bent die een druk restaurant runt. Elke ochtend arriveert er een enorme levering met een vrachtwagen (de data), vol verse ingrediënten. Voordat je ook maar één maaltijd kunt bereiden, moet je weten: Is dit voedsel veilig? Is de melk bedorven? Zijn er genoeg eieren voor de omeletten? Als je deze controle overslaat en bedorven voedsel serveert, worden je klanten ziek en moet je restaurant sluiten. In de digitale wereld staan bedrijven voor hetzelfde probleem. Ze hebben enorme datapiplines die in hun apps en AI-modellen stromen. Als er slechte data doorheen glipt — zoals een ontbrekend e-mailadres van een klant of een negatieve prijs — kan dit mobiele apps laten crashen, medische dossiers verwijderen of AI-modellen vreemd laten gedragen. Om dit te voorkomen, gebruiken engineers "data unit tests". Zie dit als geautomatiseerde kwaliteitsinspecteurs die de data controleren voordat deze wordt gebruikt. Maar hier komt de crux: traditionele inspecteurs zijn als blinddoekte chefs. Ze controleren de ingrediënten op basis van algemene regels (bijv. "alle melk moet koud zijn") zonder te weten wat de chef eigenlijk probeert te koken. Ze kunnen perfect goede melk afkeuren omdat het niet koud genoeg is voor een warme soep, of ze kunnen een cruciaal ingrediënt missen omdat ze er niet naar op zoek waren.

Dit is waar het paper "Will This Data Break My Task?" om de hoek komt kijken. De auteurs, Hao Chen, Arnab Phani en Sebastian Schelter, introduceren een nieuw systeem genaamd PrismaDV. In plaats van een blinddoekte inspecteur, is PrismaDV een super-slimme sous-chef die het recept leest voordat de ingrediënten arriveren. Het bekijkt de code van de downstream-taak (het recept) en de data (de ingrediënten) samen. Door precies te begrijpen wat het recept nodig heeft, kan het aangepaste, "taakbewuste" tests schrijven. Als een recept bijvoorbeeld alleen "CLEARED" bestellingen nodig heeft, weet het systeem dat het "CANCELLED" bestellingen moet negeren en zich moet concentreren op de specifieke kolommen die ertoe doen. Het systeem laat zien dat door een compound AI-systeem te gebruiken (een team van AI-tools die samenwerken) om zowel de data als de code te analyseren, PrismaDV deze aangepaste tests automatisch kan genereren. In hun experimenten was deze aanpak aanzienlijk beter in het opsporen van slechte data dan oudere methoden die het recept negeren, waarbij de nauwkeurigheid van detectie met meer dan 20 punten werd verbeteral. Het systeem raadt niet alleen; het bouwt een "data-code assumption graph", een kaart die elke test koppelt aan de specifieke regel code die eraan aanleiding gaf, waardoor mensen de resultaten kunnen beoordelen, aanpassen en vertrouwen.

Het Probleem: De "Blinddoekte" Inspecteur

In de moderne wereld is data de levensader van bedrijven. Maar data is rommelig. Het raakt corrupt, raakt vermist of raakt in de war terwijl het door complexe pipelines reist. Wanneer slechte data de eindbestemming bereikt — zoals een mobiele app of een machine learning-model — veroorzaakt dit ernstige problemen. Apps crashen, records verdwijnen en AI-modellen beginnen stille fouten te maken die hun prestaties na verloop van tijd verslechteren.

Om dit op te lossen, gebruiken engineers data unit tests. Dit zijn kleine programma's die fungeren als poortwachters. Ze controleren binnenkomende databundels tegen een reeks regels (constraints) voordat ze de data doorlaten naar de volgende fase. Als de data de test niet doorstaat, geeft het systeem een melding en kunnen engineers het probleem oplossen voordat het chaos veroorzaakt.

Echter, huidige tools voor het maken van deze tests hebben een groot gebrek: ze zijn taak-agnostisch. Dit betekent dat ze de data in een vacuüm bekijken. Ze kunnen zeggen: "Deze kolom heeft veel ontbrekende waarden, dus het is slecht!" Maar ze weten niet dat het specifieke programma dat deze data gebruikt, die kolom nooit bekijkt. Of ze kunnen een subtiele regel missen omdat ze de context van de code niet begrijpen.

Het handmatig maken van deze tests is een nachtmerrie. Voor een tabel met honderden kolommen moet een menselijke engineer raden welke regels belangrijk zijn. Als ze het fout hebben, leiden ze tot twee slechte uitkomsten:

1. Vals Alarm: De test is te streng en markeert goede data als slecht, wat leidt tot "alert fatigue" (waarschuwingsmoeheid) waarbij engineers de waarschuwingen negeren.
2. Gemiste Fouten: De test is te los en laat slechte data door, wat later tot crashes leidt.

De Oplossing: PrismaDV, de Chef die het Recept Leest

De auteurs stellen PrismaDV voor, een systeem dat het spel verandert door tests taakbewust te maken. In plaats van alleen naar de data te kijken, leest PrismaDV de broncode van de downstream-taak (het "recept") om precies te begrijpen wat het programma nodig heeft.

Denk er zo over na: als je een sandwich maakt, hoef je niet te controleren of de melk vers is. Maar als je een milkshake maakt, moet dat wel. PrismaDV leest de code, ziet dat het programma een milkshake maakt, en controleert alleen de melk. Het negeert het brood en de kaas.

PrismaDV werkt als een compound AI-systeem, wat betekent dat het een grote, moeilijke taak opdeelt in kleinere stappen, waarbij het Large Language Models (LLM's) gebruikt voor elk deel. Zo werkt het, stap voor stap:

1. Data Profiling & Kolomdetectie: Eerst neemt het een snelle blik op de data om te begrijpen wat erin zit. Daarna leest het de code van de taak om precies te bepalen welke kolommen (ingrediënten) het programma daadwerkelijk gebruikt. Het is slim genoeg om kolommen te negeren die de code wel noemt, maar nooit echt aanraakt.
2. De "Data-Code Assumption Graph": Dit is het geheime ingrediënt van het systeem. Terwijl het de code analyseert, bouwt het een kaart. Het verbindt specifieke regels code met de datakolommen die ze gebruiken, en concludeert vervolgens wat de programmeur over die data veronderstelde. Bijvoorbeeld, als een regel code zegt if status == 'CLEARED', concludeert het systeem: "Het programma gaat ervan uit dat wanneer de status 'CLEARED' is, het e-mailadres aanwezig moet zijn."
3. Constraint Synthese: Ten slotte vertaalt het die natuurlijke taal-aannames naar daadwerkelijke uitvoerbare code (tests) die kan draaien in populaire frameworks zoals AWS Deequ of Great Expectations.

Waarom het Er Toe Doet: De Resultaten

De auteurs testten PrismaDV op vijf real-world datasets met 60 verschillende downstream-taken. Ze creëerden een benchmark waarbij ze synthetische fouten (zoals ontbrekende waarden, verkeerde formaten of kapotte getallen) in schone data injecteerden om te zien of het systeem deze kon vangen.

De resultaten waren duidelijk:

• Oude methoden (zoals standaard Deequ of TensorFlow Data Validation) en zelfs eenvoudige AI-prompts hadden moeite. Ze misten vaak fouten of gaven te veel vals alarm.
• PrismaDV presteerde aanzienlijk beter dan hen allemaal. In hun tests verbeterde het de F1-score (een maatstaf voor hoe goed een systeem een balans vindt tussen het vinden van fouten zonder vals alarm te geven) met meer dan 20 punten vergeleken met de sterkste concurrent.
  • Bijvoorbeeld, door een specifiek AI-model te gebruiken, behaalde PrismaDV een F1-score van 77,4%, terwijl de op één na beste methode slechts 47,2% bereikte.

Dit is niet zomaar een kleine verbetering; het betekent dat het systeem veel betrouwbaarder is in het onderscheiden van "veilig te gebruiken" en "gevaarlijk".

De Interactieve Ervaring: Een Speeltuin voor Engineers

Het paper introduceert ook een webgebaseerde interface waarmee engineers met het systeem kunnen spelen. Het is niet zomaar een black box die code uitspuugt; het is een collaboratieve tool.

• Visualiseren van de Grafiek: Gebruikers kunnen de "Data-Code Assumption Graph" bekijken. Ze kunnen op een specifieke test klikken en precies zien welke regel code en welke datakolom de inspiratie vormden.
• Interactieve Verfijning: Als het systeem een regel raadt die niet helemaal past bij de bedrijfslogica, kan de gebruiker de natuurlijke taal-aanname aanpassen (bijv. "e-mail moet geldig zijn" veranderen in "e-mail moet alleen geldig zijn voor betaalde gebruikers"). Het systeem genereert vervolgens direct de code-test op basis van die nieuwe regel.
• Zelfverbeterend: Het systeem bevat een "prompt optimizer". Terwijl de tests in de echte wereld draaien, leert het systeem van fouten. Als een test een vals alarm geeft (goede data als slecht markeert), analyseert het systeem waarom dit gebeurde en past het zijn eigen instructies aan om deze fout in de toekomst te vermijden.

De Kernboodschap

PrismaDV suggereert dat de toekomst van datakwaliteit niet gaat over het schrijven van meer rigide regels of het blindelings controleren van meer kolommen. Het gaat over context. Door het testingssysteem te leren de code te lezen en de specifieke taak te begrijpen die de data moet uitvoeren, kunnen we tests bouwen die slimmer, nauwkeuriger en minder irritant zijn voor de engineers die ze moeten onderhouden. Het verandert het proces van datavalidatie van een gokspel in een precieze, traceerbare en collaboratieve inspanning.