OptBench: An Interactive Workbench for AI/ML-SQL Co-Optimization[Extended Demonstration Proposal]

Das Paper stellt OptBench vor, eine interaktive Arbeitsumgebung auf Basis von DuckDB, die es Forschern und Praktikern ermöglicht, Optimierer für hybride SQL+AI/ML-Abfragen transparent zu entwickeln, zu vergleichen und deren Entscheidungsprozesse sowie Ausführungspläne visuell zu analysieren.

Das Wesentliche

Stellen Sie sich vor, Sie betreiben eine riesige, hochmoderne Bibliothek (das ist unsere Datenbank). Normalerweise suchen die Besucher nur nach Büchern, sortieren sie nach Größe oder zählen, wie viele es gibt. Das ist wie eine normale SQL-Abfrage: schnell, effizient und gut verstanden.

Aber in der modernen Welt wollen die Besucher in dieser Bibliothek plötzlich auch künstliche Intelligenz (KI) nutzen. Sie wollen nicht nur Bücher zählen, sondern sofort erkennen, ob ein Buchcover ein bestimmtes Muster hat, oder Texte analysieren, um Stimmungen zu erkennen. Das ist wie ein komplexer, schwerer Roboter, den man mitten in den Suchprozess stellt.

Das Problem? Dieser Roboter ist ein Geheimnis. Er ist eine "Blackbox". Die Bibliothekare (die Datenbank-Optimierer) wissen nicht genau, wie lange der Roboter für einen einzelnen Bucheinband braucht, oder ob er vielleicht schneller ist, wenn man ihm nur die Hälfte der Bücher zeigt.

Hier kommt OptBench ins Spiel.

Was ist OptBench?

OptBench ist wie ein interaktives "Schrebergarten-Set" für Datenbank-Experten und Forscher. Es ist eine Werkstatt, in der man neue, bessere Wege erfinden kann, um diese schweren KI-Roboter mit den schnellen Bibliotheks-Suchmaschinen zu kombinieren.

Stellen Sie sich OptBench als eine große, transparente Werkbank vor, auf der man verschiedene Werkzeuge (Optimierer) nebeneinanderlegen und testen kann, ohne dass man sich um den Aufbau der gesamten Bibliothek kümmern muss.

Die drei Hauptprobleme, die OptBench löst

1. Das "Blackbox"-Problem:

   • Analogie: Ein Bibliothekar weiß nicht, ob es schneller ist, zuerst alle Bücher zu sortieren und dann den Roboter zu benutzen, oder den Roboter sofort auf jedes Buch zu setzen.
   • Lösung: OptBench macht den Roboter durchsichtig. Es zeigt genau, welche Entscheidungen getroffen werden und wie lange sie dauern.

2. Der "Vergleichs-Problem":

   • Analogie: Bisher hat jeder Forscher seinen eigenen Roboter in einer eigenen, abgeschotteten Werkstatt getestet. Man konnte nicht fair vergleichen, wer schneller ist, weil die Werkzeuge und die Messlatten unterschiedlich waren.
   • Lösung: OptBench ist der einheitliche Wettkampfboden. Alle Optimierer laufen auf demselben System (DuckDB), mit denselben Daten und denselben Fragen. Es ist wie ein Sportstadion, in dem alle Athleten auf demselben Rasen laufen.

3. Das "Suchraum"-Problem:

   • Analogie: Es gibt tausende Möglichkeiten, wie man den Roboter und die Suchmaschine kombinieren kann. Man könnte den Roboter aufteilen, Teile davon vorher filtern oder ihn in eine andere Form verwandeln.
   • Lösung: OptBench bietet eine Baukasten-Box mit vielen kleinen Steinen (Regeln und Aktionen). Man kann diese Steine kombinieren, um neue Strategien zu bauen.

Wie funktioniert die Werkstatt? (Die Bausteine)

OptBench bietet drei Hauptwerkzeuge, die wie Legosteine funktionieren:

• Die KI-Bibliothek (ML Functions): Das sind die verschiedenen Roboter-Teile (z. B. ein Teil, das Gesichter erkennt, ein Teil, das Texte zusammenfasst). Sie sind so verpackt, dass sie direkt in die Datenbank-Abfragen passen.
• Die Umformungs-Regeln (Rewrite Actions): Das sind die genialen Tricks.
  • Beispiel: "Wenn die Daten sehr dünn besetzt sind (viele leere Stellen), benutze den 'dünnen' Roboter-Modus statt des 'dicken'."
  • Beispiel: "Wenn wir erst filtern müssen, schieben wir den Roboter nach den Filter, damit er nicht Zeit mit unnötigen Daten verschwendet."
• Die Statistik-Lupe: Bevor der Roboter loslegt, schaut OptBench kurz auf die Daten und sagt: "Hey, hier sind 90% der Daten leer, wir können sparen!" oder "Hier sind 1 Million Zeilen, wir müssen vorsichtig sein."

Was kann man in der Demo machen?

Stellen Sie sich vor, Sie sitzen an einem Computer mit einer schönen grafischen Oberfläche (wie ein Dashboard):

1. Der "Was-wäre-wenn"-Modus: Sie können eine Regel aufstellen: "Wenn die Tabelle riesig ist UND die Daten sehr spärlich sind, dann verwende den 'Sparsamkeits-Trick'."
2. Der "Duell"-Modus: Sie wählen zwei Optimierer aus.
   • Optimierer A: Der Standard-Bibliothekar (macht alles Schritt für Schritt, wie immer).
   • Optimierer B: Der neue, clevere Bibliothekar (nutzt die Tricks von OptBench).
   • Das Ergebnis: Sie sehen live, wie sich die Pläne unterscheiden (eine Art Bauplan-Vergleich) und wie viel schneller Optimierer B ist. Oft ist der Unterschied riesig (z. B. 85 Sekunden vs. 2 Sekunden!).
3. Der "Erfinder"-Modus: Sie können Ihre eigenen neuen Regeln oder sogar ganze neue Optimierer hochladen und sofort testen, ob sie funktionieren.

Warum ist das wichtig?

Früher mussten Datenwissenschaftler ihre KI-Modelle und ihre Datenbanken trennen. Daten wurden hin- und hergeschoben, was langsam und unsicher war. OptBench hilft dabei, diese Welten zu vereinen. Es ermöglicht es Forschern, schnell neue Ideen zu testen, ohne monatelang eigene Systeme bauen zu müssen.

Zusammenfassend:
OptBench ist wie ein Flugzeug-Testzentrum für Datenbank-Optimierer. Statt zu fliegen, testen sie hier, wie man KI-Modelle am effizientesten durch Datenströme fliegen lässt. Es macht die komplexe Welt der KI-Datenbanken greifbar, vergleichbar und vor allem: schneller.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „OptBench: An Interactive Workbench for AI/ML-SQL Co-Optimization" auf Deutsch:

1. Problemstellung

Datenbank-Workloads integrieren zunehmend künstliche Intelligenz (KI) und maschinelles Lernen (ML) direkt in die Datenverarbeitung. Dies führt zu hybriden „SQL+AI/ML"-Abfragen, die relationale Operatoren mit teuren, oft undurchsichtigen ML-Operatoren (häufig als benutzerdefinierte Funktionen/UDFs implementiert) mischen. Die Optimierung dieser Workloads ist aus mehreren Gründen schwierig:

• Black-Box-Charakter von ML: ML-Operatoren verhalten sich wie Blackboxes. Datenabhängige Effekte (z. B. Sparsity, Selektivität, Kardinalitäten) dominieren die Laufzeit, sind aber für traditionelle Optimierer schwer zu erfassen.
• Schwierigkeit der Heuristik-Entwicklung: Domänenexperten verlassen sich oft auf praktische Heuristiken (z. B. „Filter vor teurem Modell anwenden"), die in monolithischen Optimierern schwer zu kodifizieren und zu validieren sind.
• Fehlende Vergleichbarkeit: Forschungsprototypen für SQL+ML-Optimierung werden auf unterschiedlichen Plattformen (PostgreSQL, SQLServer, R, Oracle, etc.) entwickelt und mit verschiedenen Abfragen evaluiert. Dies macht einen fairen „Apfel-zu-Apfel"-Vergleich der Optimierungstechniken unmöglich.
• Mangelnde Transparenz: Der Optimierungsprozess ist oft undurchsichtig; Nutzer sehen nur die Endlaufzeit, nicht aber, welche Entscheidungen getroffen wurden oder wie diese von den Daten abhingen.

2. Methodik: OptBench

OptBench ist ein interaktiver Arbeitsbereich (Workbench), der auf DuckDB aufbaut, um die Entwicklung, den Vergleich und die Evaluierung von Query-Optimierern für hybride SQL+ML-Abfragen in einer transparenten Umgebung zu ermöglichen.

Das System besteht aus folgenden Kernkomponenten:

• Erweiterbare ML-Funktionsbibliothek: Eine Sammlung von ML-Operatoren (z. B. Matrixmultiplikation, CNNs, Entscheidungsbäume, LLMs), die als DuckDB C++ UDFs (User Defined Functions) gekapselt sind. Dies ermöglicht die Komposition komplexer Inferenz-Workflows innerhalb von SQL.
• Erweiterbare Rewrite-Aktionsbibliothek: Dies sind die „Bausteine" für Optimierer. Eine Rewrite Action ist eine wiederverwendbare Transformation, die einen logischen Query-Plan unter Beibehaltung der Semantik in einen effizienteren Plan umwandelt. Beispiele sind:
  • Dense/Sparse-Kernel-Auswahl: Umschalten zwischen dichten und spärlichen Matrixmultiplikationen basierend auf Sparsity-Metriken.
  • Relationalisierung: Umwandlung von ML-Berechnungen (z. B. Dot-Produkte) in äquivalente JOIN- und AGGREGATE-Pläne, um klassische Optimierungen (Join-Reordering, Pushdown) zu ermöglichen.
  • Fusion: Zusammenfassen von Ketten von UDFs zu einem einzigen, vektorisierten Torch-Operator.
  • Pushdown & Dekomposition: Verschieben von ML-Berechnungen näher an die Datenquellen (z. B. vor JOINs), um die Anzahl der zu verarbeitenden Zeilen zu reduzieren.
• Erweiterbare Statistik-Schätzung: Eine Bibliothek zur Berechnung und Caching von Datenstatistiken (Kardinalität, Selektivität, Sparsity-Ratio, FLOPS), die für ML-Optimierungen essenziell sind, aber in relationalen Katalogen oft fehlen.
• Diverse Abfrage-Suite: Ein Benchmark-Satz von 10 SQL+ML-Abfragen, die auf realen Datensätzen (Expedia, Flights, CreditCard) und Standards (TPCx-AI, IDNet) basieren. Sie decken verschiedene Modalitäten (Tabellen, Text, Bilder) und Modellfamilien ab.
• Web-basierte Benutzeroberfläche: Eine interaktive UI, die es ermöglicht, Optimierer zu definieren, Pläne nebeneinander zu visualisieren, Statistiken einzusehen und Latenzzeiten zu vergleichen.

3. Schlüsselbeiträge

Das Paper stellt folgende Hauptbeiträge vor:

1. OptBench-Prototyp: Ein interaktiver Arbeitsbereich, der die Entwicklung neuer SQL-ML-Optimierer und deren transparente Evaluierung ermöglicht.
2. Vereinheitlichte Vergleichsumgebung: Ein System, das heterogene Optimierer (regelbasiert, kostenbasiert, benutzerdefiniert) auf derselben Backend-Infrastruktur (DuckDB), mit denselben Abfragen und Daten ausführt. Dies eliminiert Verzerrungen durch unterschiedliche Systemimplementierungen.
3. Interaktive Visualisierung und Debugging: Die Fähigkeit, logische Pläne verschiedener Optimierer nebeneinander zu betrachten, Entscheidungswege (fired rules) zu verfolgen und die Auswirkungen von Rewrite-Aktionen auf die Laufzeit quantitativ zu messen.
4. Erweiterbarkeit: Ein einfaches Registrierungs-Interface, das es Forschern ermöglicht, neue Rewrite-Aktionen und Optimierer-Profile (sowohl regelbasiert als auch kostenbasiert) einfach einzubinden und zu testen.

4. Ergebnisse und Demonstrationsszenarien

Die Demonstration zeigt drei Hauptszenarien, die die Effektivität des Systems belegen:

• Entwicklung von regelbasierten Optimierern: Ein Nutzer kann in wenigen Minuten (im Demo-Setup in ca. 4 Minuten) einen neuen Optimierer definieren, der basierend auf Metriken (z. B. hohe Join-Kardinalität und hohe Sparsity) spezifische Rewrite-Aktionen (z. B. Pushdown von ML-Operatoren, Nutzung von Sparse-Kernels) triggert.
  • Ergebnis: Ein solcher Optimierer reduzierte die End-to-End-Latenz einer Abfrage von 85 Sekunden auf 1,976 Sekunden, indem er die ML-Inferenz vor den JOINs ausführte und auf spärliche Matrizen umstellte.
• Vergleich heterogener Optimierer: Das System ermöglicht den direkten Vergleich zwischen dem Standard-DuckDB-Optimierer, einem regelbasierten und einem kostenbasierten (DP-basierten) Optimierer. Die Visualisierung macht strukturelle Unterschiede im Plan (z. B. Operator-Platzierung) und deren Auswirkung auf die Laufzeit sofort sichtbar.
• Erweiterung durch externe Optimierer: Das System unterstützt das Hochladen externer Optimierer-Profile, was einen fairen Vergleich zwischen benutzerdefinierten Regeln und komplexen, extern implementierten Algorithmen erlaubt.

5. Bedeutung und Ausblick

OptBench adressiert eine kritische Lücke in der Datenbankforschung: Die fehlende Standardisierung und Vergleichbarkeit bei der Optimierung von SQL+ML-Workloads.

• Für Forscher: Es bietet eine kontrollierte Umgebung, um neue Optimierungsideen (Heuristiken, Suchalgorithmen) schnell zu prototypisieren und objektiv zu bewerten, ohne neue Datenbankkerne schreiben zu müssen.
• Für Praktiker: Es hilft bei der Diagnose von Performance-Problemen in ML-Pipelines innerhalb von Datenbanken, indem es Einblicke in die Entscheidungsfindung des Optimizers gibt.
• Für die Community: Es etabliert einen de-facto Standard für „Apfel-zu-Apfel"-Vergleiche, der die Weiterentwicklung von Co-Optimierungstechniken für hybride Workloads beschleunigt.

Zusammenfassend stellt OptBench einen wesentlichen Schritt dar, um die Lücke zwischen relationaler Datenbanktheorie und moderner KI-Inferenz zu schließen, indem es Transparenz, Vergleichbarkeit und schnelle Iteration in der Optimierung hybrider Abfragen ermöglicht.