OptBench: An Interactive Workbench for AI/ML-SQL Co-Optimization[Extended Demonstration Proposal]

OptBench est une plateforme interactive unifiée permettant de construire, comparer et visualiser de manière transparente des optimiseurs de requêtes pour des charges de travail hybrides combinant SQL et intelligence artificielle/apprentissage automatique.

L'essentiel

🚀 OptBench : Le "Simulateur de Vol" pour les Intelligences Artificielles dans les Bases de Données

Imaginez que vous dirigez une immense bibliothèque (une base de données) où l'on stocke des millions de livres. Traditionnellement, les bibliothécaires (les moteurs de bases de données) savent très bien ranger, trouver et classer ces livres. C'est ce qu'on appelle le SQL.

Mais aujourd'hui, les gens ne veulent plus seulement ranger des livres. Ils veulent aussi que la bibliothèque écrive elle-même de nouveaux chapitres en utilisant une intelligence artificielle (IA). C'est le mélange SQL + IA.

Le problème ? C'est comme demander à un bibliothécaire classique de faire de la magie noire. Il ne comprend pas comment fonctionne l'IA, et souvent, il fait des choix qui ralentissent tout le système.

C'est là qu'intervient OptBench.

🛠️ Qu'est-ce qu'OptBench ?

OptBench est un laboratoire interactif (un "workbench") conçu pour aider les chercheurs et les ingénieurs à construire de meilleurs "bibliothécaires" capables de gérer à la fois les livres et la magie de l'IA.

Pensez-y comme à un simulateur de vol pour les pilotes d'avions.

• Avant, chaque compagnie aérienne (chaque système de base de données) avait son propre avion, son propre cockpit et ses propres règles. On ne pouvait pas comparer facilement qui volait le mieux.
• Avec OptBench, tout le monde atterrit sur la même piste, avec le même avion de base (DuckDB), mais avec des cockpits différents (différents optimiseurs). Cela permet de comparer honnêtement qui est le meilleur pilote.

🧩 Comment ça marche ? (Les 3 ingrédients magiques)

Pour rendre ce laboratoire fonctionnel, les auteurs ont créé trois outils principaux :

1. La Boîte à Outils de Réécriture (Les "Transformateurs")
   Imaginez que vous avez un trajet en voiture très long et inefficace. OptBench propose des outils pour transformer ce trajet :

   • Exemple : Au lieu de passer par 10 villes (10 étapes de calcul), on trouve une autoroute directe (une seule étape).
   • Exemple : Au lieu de transporter 1000 kg de bagages (données denses), on vide les valises inutiles car on sait qu'il y a beaucoup de vide (données "creuses" ou sparse).
     OptBench contient une liste de ces "recettes" de transformation que les chercheurs peuvent assembler pour créer leur propre stratégie.

2. Le Miroir de Comparaison (L'interface Web)
   C'est la partie la plus cool. L'interface permet de voir côte à côte deux versions d'un même problème :

   • À gauche : La version "classique" (l'optimiseur par défaut).
   • À droite : La version "améliorée" (celle que vous venez de créer).
     Vous voyez instantanément : "Oh ! Mon optimiseur a évité de faire un gros calcul inutile, et le temps de réponse est passé de 85 secondes à 2 secondes !" C'est comme regarder deux voitures de course sur un circuit et voir laquelle prend les virages le mieux.

3. La Boîte à Statistiques (Le Radar)
   Pour prendre de bonnes décisions, il faut des infos. OptBench agit comme un radar météo qui dit : "Attention, il y a beaucoup de brouillard (données creuses) ici" ou "Le trafic est dense là-bas". Ces infos aident l'optimiseur à choisir la bonne "recette" de transformation.

🎮 À quoi ça sert dans la vraie vie ?

Le papier décrit trois scénarios pour utiliser cet outil :

• Le Développeur (L'Architecte) : Vous avez une idée géniale : "Si je fais ça avant ça, ça ira plus vite !". Au lieu de passer des mois à coder un système entier, vous utilisez OptBench pour tester votre idée en 5 minutes. Vous créez une règle, vous la testez, et vous voyez immédiatement si ça marche.
• Le Comparateur (Le Juge) : Vous voulez savoir si l'optimiseur de la compagnie A est meilleur que celui de la compagnie B. Avec OptBench, vous lancez les deux sur le même circuit (les mêmes données, la même machine). Plus de triche, plus de différences de matériel. Juste une comparaison pure de la logique.
• Le Détective (Le Debuggeur) : Votre application est lente. Pourquoi ? Est-ce que l'IA a été appelée trop tôt ? Est-ce que les données ont été mal triées ? OptBench vous montre le plan d'exécution étape par étape, comme une radiographie, pour trouver exactement où le blocage se produit.

💡 En résumé

OptBench, c'est comme un terrain de jeu équitable pour les experts en bases de données et en intelligence artificielle.

Avant, c'était comme si chaque cuisinier cuisinait dans sa propre cuisine avec ses propres ingrédients, et on ne pouvait pas dire qui faisait le meilleur plat. Avec OptBench, tout le monde cuisine dans la même cuisine, avec les mêmes ingrédients, et on peut comparer les plats, voir les recettes utilisées, et améliorer la cuisine de tout le monde.

C'est un outil essentiel pour rendre les applications d'IA plus rapides, moins chères et plus intelligentes, directement là où les données sont stockées.

Résumé technique

Voici un résumé technique détaillé du document de démonstration OptBench, présenté en français.

Titre : OptBench : Un atelier interactif pour l'optimisation conjointe SQL/IA-ML

1. Problématique

L'intégration croissante des pipelines d'intelligence artificielle (IA) et d'apprentissage automatique (ML) dans les bases de données relationnelles a donné naissance à des requêtes hybrides "SQL+ML". Ces requêtes mélangent des opérateurs relationnels classiques (jointures, filtres) avec des opérateurs ML coûteux et opaques (souvent exprimés sous forme de fonctions définies par l'utilisateur ou UDF, comme des réseaux de neurones ou des modèles d'arbres).

L'optimisation de ces charges de travail pose trois défis majeurs :

• Opacité des opérateurs ML : Les opérateurs ML se comportent comme des "boîtes noires". Leurs effets dépendants des données (sparsité, sélectivité, cardinalité) dominent souvent le temps d'exécution, mais sont difficiles à modéliser pour les optimiseurs traditionnels conçus pour l'algèbre relationnelle.
• Difficulté d'extension des optimiseurs : Les règles heuristiques efficaces (ex: "appliquer des filtres forts avant d'appeler un modèle coûteux" ou "basculer entre noyaux denses et creux") sont complexes à encoder dans des optimiseurs monolithiques en raison du manque d'extensibilité et d'introspection des coûts pour les opérateurs ML.
• Absence de comparaison équitable : Les prototypes de recherche actuels sont développés sur des plateformes différentes (PostgreSQL, SQLServer, R, Oracle, etc.) avec des représentations de plans et des pipelines d'évaluation hétérogènes. Il est donc impossible de comparer objectivement ("apples-to-apples") les techniques d'optimisation SQL-ML.

2. Méthodologie et Architecture

OptBench est une plateforme de travail interactive conçue pour construire, déboguer et comparer des optimiseurs de requêtes SQL+ML de manière transparente. Elle est construite sur le moteur de base de données DuckDB, choisi pour sa compacité, sa modernité et sa forte capacité de modification (hackability).

L'architecture repose sur cinq composants clés :

1. Bibliothèque de fonctions ML extensible :

   • Un ensemble d'opérateurs ML (algèbre linéaire, réseaux de neurones, arbres de décision, modèles LLM) encapsulés sous forme de fonctions UDF C++ dans DuckDB.
   • Ces fonctions permettent de composer des flux d'inférence complexes directement dans le SQL.

2. Bibliothèque d'actions de réécriture (Rewrite Actions) :

   • Ce sont les blocs de construction de l'optimiseur. Chaque action transforme un plan logique en un autre plan équivalent mais plus performant.
   • Exemples d'actions :
     • Sélection de noyaux Denses/Creux : Basculer mat_mul vers une version creuse si la sparsité est élevée.
     • Relationalisation : Convertir des inférences ML (ex: forêts d'arbres de décision) en formes relationnelles (jointures + agrégations) pour permettre des optimisations classiques (réordonnancement de jointures).
     • Fusion : Remplacer une chaîne d'UDF de réseaux de neurones par un opérateur Torch fusionné pour réduire la surcharge d'interprétation.
     • Décomposition et Pushdown : Pousser les calculs ML plus bas dans l'arbre d'exécution (avant les jointures) pour réduire le nombre de tuples traités.
     • Élagage d'arbres : Utiliser les contraintes de requête pour éliminer des branches inaccessibles dans les modèles d'arbres.

3. Estimation de statistiques extensible :

   • Fournit des métriques cruciales pour les décisions d'optimisation : cardinalité, sélectivité, taux de sparsité des features, et complexité FLOPS des modèles ML.
   • Utilise l'estimation native de DuckDB pour les opérateurs relationnels et ajoute un profilage ciblé (échantillonnage) pour les métriques ML sans exécuter la requête complète.

4. Suite de requêtes d'inférence diversifiée :

   • Comprend 10 requêtes couvrant différents scénarios :
     • Données tabulaires (Expedia, Flights, Fraud detection) avec des modèles comme XGBoost, K-Means, Naive Bayes.
     • Données textuelles (détection de spam).
     • Données multimodales (images via CNN, LLM) issues de benchmarks comme TPCx-AI et IDNet.

5. Interface Web Interactive :

   • Permet aux utilisateurs de sélectionner des requêtes, de visualiser les plans logiques côte à côte, d'inspecter les statistiques, de définir des optimiseurs (basés sur des règles ou uploadés) et de lancer des benchmarks.

3. Contributions Clés

• Un environnement unifié pour le prototypage : OptBench permet de développer rapidement de nouveaux optimiseurs (règles heuristiques ou algorithmes de recherche de coût) en utilisant une API d'enregistrement simple.
• Comparaison "Apples-to-Apples" : Tous les optimiseurs sont exécutés sur le même backend (DuckDB), avec les mêmes données et les mêmes requêtes, éliminant les biais liés aux systèmes sous-jacents.
• Visualisation et Traçabilité : L'outil permet de visualiser les transformations de plans (diffs), de suivre les traces de décision (quelles règles ont été déclenchées) et de corréler ces changements avec les gains de performance.
• Scénarios d'utilisation flexibles :
  • Développement : Créer un optimiseur basé sur des règles via une interface glisser-déposer ou du code.
  • Benchmarking : Comparer plusieurs optimiseurs (ex: optimiseur par défaut de DuckDB vs optimiseur personnalisé) sur une suite de requêtes.
  • Extensibilité : Charger des optimiseurs externes ou de nouvelles actions de réécriture.

4. Résultats et Démonstration

La démonstration met en évidence la capacité d'OptBench à transformer radicalement les performances :

• Cas d'usage (Règle basée) : Un utilisateur définit une règle simple : "Si la cardinalité de la jointure est élevée et que les vecteurs de features sont creux (> 70%), alors activer la décomposition ML et utiliser des noyaux creux".
• Impact : Sur une requête de test, cette optimisation a réduit le temps d'exécution de 85 secondes à 1,976 seconde (un gain d'environ 43x).
• Visualisation : L'interface montre clairement comment le plan initial (inférence ML après une jointure massive) est transformé en un plan optimisé (inférence poussée avant la jointure, opérateurs creux).
• Temps de développement : Un utilisateur novice a pu implémenter, tester et valider un tel optimiseur en seulement 4 minutes.

5. Signification et Impact

OptBench comble un vide critique dans la recherche sur les bases de données hybrides. En fournissant un cadre standardisé, il permet :

1. L'accélération de la recherche : Les chercheurs peuvent tester de nouvelles idées d'optimisation sans avoir à réécrire des moteurs de base de données entiers.
2. La reproductibilité : Les résultats des optimiseurs deviennent comparables et vérifiables par la communauté.
3. L'adoption par les praticiens : Les data scientists et ingénieurs peuvent déboguer les performances de leurs pipelines ML dans le SQL, comprendre les goulots d'étranglement (ex: mauvais ordre de jointure, évaluation prématurée de modèles) et itérer rapidement sur les stratégies d'optimisation.

En résumé, OptBench n'est pas seulement un outil de benchmark, mais un laboratoire interactif qui démocratise le développement d'optimiseurs pour l'ère du "SQL+AI".