OptBench: An Interactive Workbench for AI/ML-SQL Co-Optimization[Extended Demonstration Proposal]

Dit paper introduceert OptBench, een interactief werkplatform dat onderzoekers en practitioners in staat stelt om query-optimizers voor hybride SQL+AI/ML-werklasten transparant te bouwen, te vergelijken en te visualiseren via een verenigde DuckDB-omgeving.

De kern

Stel je voor dat een database een enorme, super-snelle keuken is waar data wordt bereid. Normaal gesproken doen koks (de database) alleen simpele taken: ingrediënten sorteren, mengen en opwarmen. Dit noemen we SQL.

Maar tegenwoordig willen we in diezelfde keuken ook complexe, dure gerechten maken met een robotarm die een kunstwerk schildert of een super-slimme AI die een diagnose stelt. Dit zijn de "AI/ML"-taken. Het probleem? De traditionele chef-kok (de database-optimizer) weet niet hoe hij die robotarm moet combineren met het sorteren van groenten. Hij doet het vaak in de verkeerde volgorde, waardoor de robotarm urenlang wacht terwijl de groenten al klaar zijn, of hij probeert de robotarm te gebruiken op groenten die al weggegooid hadden kunnen worden.

OptBench is een nieuw, interactief proefkeuken-systeem dat onderzoekers en ontwikkelaars helpt om deze twee werelden (de snelle keuken en de slimme AI-robot) perfect op elkaar af te stemmen.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het Probleem: De "Zwarte Doos"

Stel je voor dat je een AI-model hebt als een zwarte doos. Je gooit data erin, en er komt een antwoord uit. De database weet niet hoe die doos werkt.

• Soms is de AI heel traag als er veel lege plekken in de data zitten (zoals een lege doos).
• Soms kan de AI sneller werken als je eerst filtert (alleen de beste ingrediënten gebruiken).
• Maar omdat de database de AI niet begrijpt, maakt hij vaak slechte keuzes. Het is alsof je een dure, energieverslindende oven aanzet om één sneetje brood te bakken, terwijl je eerst had kunnen controleren of er wel brood in de koelkast lag.

2. De Oplossing: OptBench als de "Proefkeuken"

OptBench is geen nieuwe database, maar een werkbank (een "workbench") om nieuwe, slimme chefs (optimizers) te bouwen en te testen. Het zorgt ervoor dat iedereen op dezelfde manier kan koken, zodat je eerlijk kunt vergelijken wie het beste recept heeft.

Het heeft drie magische gereedschappen:

• De Lego-blokken (Rewrite Actions):
  Stel je voor dat je een ingewikkeld gerecht hebt. OptBench geeft je blokken waarmee je het recept kunt herschrijven.

  • Voorbeeld: In plaats van de hele robotarm te gebruiken, kun je zeggen: "Oh, dit deel van de AI is eigenlijk gewoon een simpele rekensom. Laten we dat doen met de snelle keukenmachine in plaats van de dure robot."
  • Of: "Deze robotarm werkt sneller als we eerst filteren. Laten we de volgorde omdraaien."
    Deze blokken zijn de "magische regels" die de database slim maken.

• De Meetinstrumenten (Statistics):
  Voordat de chef begint te koken, meet OptBench precies hoeveel ingrediënten er zijn, hoe "leeg" ze zijn, en hoe lang de robotarm duurt. Dit helpt de chef om te beslissen: "Vandaag is het beter om eerst te filteren," of "Vandaag is het beter om alles tegelijk te doen."

• De Vergelijkingskast (The Workbench):
  Dit is het coolste deel. Je kunt twee chefs naast elkaar zetten:

  1. Chef A: De oude, traditionele database (die niet weet hoe AI werkt).
  2. Chef B: Een nieuwe, slimme database die de AI-blokken gebruikt.
     Je ziet dan direct op een scherm: Chef B is 50 keer sneller! En je ziet waarom: Chef B heeft de robotarm pas ingeschakeld nadat hij de slechte ingrediënten had weggegooid.

3. Wat kun je er mee doen? (De Demo)

In de demonstratie van dit papier kunnen mensen drie dingen doen:

1. Een nieuwe chef bouwen: Je kunt zelf een simpele regel bedenken. Bijvoorbeeld: "Als de data heel leeg is (veel nullen), gebruik dan de 'snelle' versie van de AI." Je typt dit in, slaat het op, en OptBench test het direct.
2. Wedstrijden organiseren: Je kiest een moeilijke vraag (bijvoorbeeld: "Vind de beste hotels in Expedia") en laat tien verschillende chefs (optimizers) het proberen. OptBench laat zien wie het snelst is en welke strategie ze gebruikten.
3. De "Zwarte Doos" openmaken: Je kunt zien hoe de database de vraag heeft opgelost. Je ziet het recept (het plan) stap voor stap. Als het traag is, zie je precies waar de chef vastliep.

Waarom is dit belangrijk?

Vroeger was het vergelijken van slimme databases als het vergelijken van auto's die op verschillende wegen rijden: de ene op een racebaan, de andere op een modderpad. Je wist niet wie de beste auto had.

OptBench zorgt ervoor dat iedereen op exact dezelfde racebaan rijdt, met dezelfde auto's en dezelfde brandstof. Zo kunnen onderzoekers eerlijk ontdekken welke nieuwe ideeën echt werken om AI en databases sneller en slimmer te maken.

Kortom: OptBench is de simulator waar je leert hoe je de slimme AI-robot en de snelle database-kok samen aan het werk zet, zodat je niet urenlang hoeft te wachten op een antwoord, maar het in seconden krijgt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "OptBench: An Interactive Workbench for AI/ML-SQL Co-Optimization" in het Nederlands.

Probleemstelling

Database-workloads evolueren snel naar hybride "SQL+AI/ML" queries, waarbij relationele operatoren worden gecombineerd met dure, vaak ondoorzichtige AI/ML-operatoren (vaak uitgedrukt als User Defined Functions of UDFs). Deze integratie introduceert aanzienlijke optimalisatie-uitdagingen:

1. Black-box aard van ML: ML-operatoren gedragen zich als black boxes. Data-afhankelijke effecten, zoals sparsiteit, selectiviteit en cardinaliteit, domineren de runtime, maar zijn moeilijk te voorspellen door traditionele optimizers die zijn ontworpen voor relationele algebra.
2. Moeilijkheid van extensie: Effectieve heuristieken (bijv. "pas sterke filters toe voordat je een duur model uitvoer" of "schakel over tussen dichte en spaarse kernels") zijn lastig te coderen en valideren binnen monolithische optimizers vanwege het gebrek aan eerste klas extensibiliteit en kostenduur-inspectie voor ML-operatoren.
3. Gebrek aan eerlijke vergelijking: Onderzoeksprototypes voor SQL+ML-optimalisatie zijn moeilijk eerlijk te vergelijken ("apples-to-apples"). Elke optimizer wordt meestal ontwikkeld op een ander platform (bijv. PostgreSQL, SQL Server, Oracle, Velox) met verschillende planrepresentaties, statistiekeninterfaces en evaluatiepijplijnen.
4. Black-box optimalisatie: Het optimalisatieproces is vaak een black box voor gebruikers; ze zien alleen de eindruntime zonder inzicht in welke beslissingen zijn genomen, welke regels zijn gefireerd, of hoe deze afhankelijk zijn van data-statistieken.

Methodologie: OptBench

Om deze hiaten aan te pakken, stellen de auteurs OptBench voor: een interactieve werkbank voor het bouwen en benchmarken van query-optimizers voor hybride SQL+AI/ML queries. Het systeem is gebouwd op DuckDB vanwege de compacte, moderne en zeer aanpasbare optimizer en uitvoeringsengine.

De architectuur van OptBench bestaat uit de volgende kerncomponenten:

1. Uitbreidbare ML-functiebibliotheek:

   • Een verzameling van ML-operatoren (zoals matrixvermenigvuldiging, convoluties, softmax, decision trees, LLM's) die zijn verpakt als DuckDB C++ UDFs.
   • Deze functies kunnen worden samengesteld tot complexe inferentiestromen binnen SQL-query's.

2. Uitbreidbare Rewrite Actions (Hervormingsacties):

   • Dit zijn de bouwstenen van de optimizer. Een "Rewrite Action" is een herbruikbare transformatie die een logisch queryplan herschrijft door een SQL-ML co-optimalisatietechniek toe te passen, waarbij de semantiek (het resultaat) behouden blijft.
   • Voorbeelden van acties:
     • MatMulDense2Sparse: Schakel over van dichte naar spaarse matrixvermenigvuldiging op basis van sparsiteitsmetrieken.
     • Relationalizing ML: Zet ML-berekeningen (zoals dot products) om naar equivalente JOIN+AGGREGATE-plannen om klassieke optimalisaties (zoals pushdown) mogelijk te maken.
     • Fusing: Vouw ketens van neurale netwerken-UDF's samen tot één geoptimaliseerde Torch-operator.
     • Pushdown: Duw ML-berekeningen verder naar beneden in het plan (naar filters/joins) om te profiteren van selectiviteit.
   • Optimizers selecteren een optimale volgorde van deze acties om een verbeterd plan te genereren.

3. Uitbreidbare Statistieken-estimatie:

   • OptBench biedt een bibliotheek voor het berekenen en cachen van data-statistieken die specifiek relevant zijn voor ML, zoals sparsiteit, structuur-zeros, FLOPS en parametergroottes.
   • Het gebruikt steekproeven (sampling) om deze statistieken efficiënt te schatten zonder de volledige query uit te voeren.

4. Diverse en Uitbreidbare Inference Queries:

   • De werkbank bevat een suite van 10 SQL+ML queries afkomstig uit verschillende bronnen (Raven, TPCx-AI, IDNet).
   • Deze coveren diverse modaliteiten: tabulaire data, tekst (spamdetectie), en afbeeldingen (CNN-inferentie), en verschillende modeltypes (Decision Trees, XGBoost, DNN, LLM).

5. Web-gebaseerde Interface:

   • Een visuele interface die gebruikers toelaat om queries te selecteren, optimizers te definiëren (via drag-and-drop regels), plans naast elkaar te visualiseren, statistieken te inspecteren en benchmarkresultaten te vergelijken.

Belangrijkste Bijdragen

1. OptBench Platform: Een interactieve werkbank die het mogelijk maakt om nieuwe SQL-ML query-optimizers te ontwikkelen, uit te voeren en transparant te inspecteren.
2. Eerlijke Vergelijking: Het biedt een unificatie-omgeving waar heterogene optimizers (regelgebaseerd, kosten-gebaseerd, of door derden ontwikkeld) kunnen worden vergeleken op dezelfde hardware, software-configuratie en datasets.
3. Visuele Analyse en Debugging: Het stelt onderzoekers en ontwikkelaars in staat om plan-transformaties visueel te inspecteren en de impact van specifieke optimalisatieregels op de latentie kwantitatief te meten.
4. Twee Interactieve Demonstratiescenario's:
   • Het ontwikkelen en uploaden van nieuwe optimizers via de interface.
   • Het uitvoeren van gedetailleerde prestatievergelijkingen tussen verschillende optimizers op een gemeenschappelijke query-suite.

Resultaten en Evaluatie

Hoewel het paper een demonstratievoorstel is, worden de volgende resultaten en effectiviteiten gedemonstreerd:

• Prestatieverbetering: In een voorbeeldscenario (Scenario 1) reduceerde een regelgebaseerde optimizer (die ML-pushdown en spaarse kernels activeerde bij grote joins en hoge sparsiteit) de eind-tot-eind latentie van 85 seconden naar 1,976 seconden.
• Snelle Prototyping: Een pilot met een nieuwe gebruiker toonde aan dat het ontwikkelen, testen en opslaan van een eenvoudige regelgebaseerde optimizer slechts 4 minuten kostte.
• Transparantie: Het systeem maakt het mogelijk om te zien waarom een optimizer bepaalde beslissingen neemt (bijv. welke statistieken een regel activeerden) en hoe dit de planstructuur verandert, in tegenstelling tot traditionele black-box benaderingen.

Significantie

OptBench is significant omdat het de kloof overbrugt tussen theoretisch onderzoek naar SQL+ML-optimalisatie en praktische implementatie. Het lost het probleem op van het gebrek aan standaardisatie in de evaluatie van deze nieuwe technologieën. Door een gemeenschappelijke, uitbreidbare basis te bieden, kan de gemeenschap:

• Sneller nieuwe optimalisatiestrategieën prototypen en valideren.
• Objectief bepalen welke optimalisatietechnieken (zoals pushdown, factorisatie, of kernel-switching) het meest effectief zijn voor specifieke werkloads.
• Debuggen van prestatieproblemen in data science-pipelines die binnen databases draaien, zonder complexe gedistribueerde systemen op te hoeven zetten.

Kortom, OptBench transformeert de ontwikkeling van SQL+ML-optimizers van een versnipperde, moeilijk te vergelijken activiteit naar een gestandaardiseerd, transparant en interactief proces.