Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows
Cet article présente Spider 2.0-AIFunc, un nouveau benchmark de 465 instances vérifiées à travers 125 bases de données réelles conçu pour évaluer la capacité des grands modèles de langage à générer des requêtes SQL AI-natives sur la plateforme Snowflake, révélant que si les meilleurs modèles propriétaires atteignent une précision de 67 à 70 %, les frameworks d'agents actuels optimisés pour les tâches traditionnelles de text-to-SQL ne se transfèrent pas efficacement vers ce contexte émergent.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédez une bibliothèque massive et de haute technologie (une base de données cloud) où les gens stockent de tout, des avis clients aux registres de ventes. Pendant des années, poser des questions sur cette bibliothèque exigeait de parler un langage très strict et robotique appelé SQL. C'était comme essayer de commander un repas complexe au restaurant en ne parlant qu'un code de chiffres et de symboles.
Récemment, les propriétaires de la bibliothèque (comme Snowflake) ont ajouté une nouvelle fonctionnalité : les Fonctions IA. Considérez cela comme des « assistants intelligents » intégrés directement dans le système de commande. Désormais, au lieu de simplement demander « toutes les pommes rouges », vous pouvez demander au système de « lire les avis de ces pommes et me dire si les gens sont heureux ou en colère », ou de « trouver des avis qui ressemblent à celui-ci ». Cela transforme la base de données en un système IA-natif, où vous pouvez mélanger des commandes de données standard avec une pensée basée sur le langage et l'intelligence, le tout dans une seule phrase.
Le Problème : L'ancienne carte ne fonctionne plus
Les chercheurs ont remarqué que bien que ces nouveaux « assistants intelligents » soient puissants, les tests utilisés pour entraîner et vérifier les cerveaux informatiques (les modèles d'IA) étaient obsolètes. Les anciens tests vérifiaient seulement si l'ordinateur pouvait parler le langage robotique strict. Ils ne vérifiaient pas si l'ordinateur pouvait utiliser ces nouveaux « assistants intelligents ». C'était comme tester un conducteur uniquement sur une route droite et déserte, alors que le monde réel comporte désormais du trafic, des piétons et des zones de travaux.
La Solution : Spider 2.0-AIFunc
Pour corriger cela, l'équipe a créé un nouveau test de conduite plus difficile appelé Spider 2.0-AIFunc.
- La Transformation : Ils ont pris 513 « tests de conduite » existants (des questions sur les données) et les ont réécrits. Ils ont forcé les questions à nécessiter l'usage des nouveaux « assistants intelligents ».
- Ancienne Question : « Montrez-moi tous les avis négatifs. » (Nécessite qu'un humain les lise d'abord).
- Nouvelle Question : « Montrez-moi tous les avis où l'assistant IA dit que le sentiment est négatif. » (L'IA fait la lecture à l'intérieur de la base de données).
- L'Équipe de Construction : Ils ont utilisé une équipe d'agents d'IA (des travailleurs numériques) pour réécrire ces questions. Ces agents agissaient comme des éditeurs et des mécaniciens :
- Ils ont vérifié que les instructions étaient claires (ex : « Que voulez-vous dire exactement par 'négatif' ? »).
- Ils se sont assurés que l'« assistant intelligent » disposait de tous les bons outils (paramètres) pour faire le travail.
- Ils ont fait passer les tests encore et encore pour s'assurer que les réponses étaient stables et ne changeaient pas simplement parce que l'assistant IA passait une mauvaise journée.
- L'Examen Final : Le résultat est un benchmark de 465 questions vérifiées à travers 125 bases de données différentes. Il couvre six types de tâches d'« assistant intelligent », comme trier des avis par émotion, trouver des textes similaires ou extraire des détails spécifiques d'un paragraphe.
Les Résultats : Qui a réussi le test ?
Les chercheurs ont soumis 10 modèles d'IA différents (les « conducteurs ») à ce nouvel examen pour voir comment ils pouvaient écrire ces requêtes complexes, alimentées par l'IA.
- Les Meilleurs Conducteurs (Modèles Propriétaires) : Les grands modèles à code fermé (comme Claude Opus et Gemini) ont le mieux réussi. Ils ont obtenu environ 67 % à 70 % de bonnes réponses. Ils étaient doués pour comprendre quel « assistant intelligent » utiliser et comment lui poser la bonne question.
- Les Conducteurs Open-Source : Les meilleurs modèles open-source (comme Kimi K2.5) ont obtenu environ 58 %. Ils étaient corrects, mais commettaient plus d'erreurs.
- L'Écart : La raison principale pour laquelle les modèles open-source ont eu des difficultés n'était pas qu'ils ne savaient pas écrire le code de base. Ils ont trébuché sur les parties « intelligentes » :
- Mauvaise compréhension des règles : Choisir la mauvaise table ou la mauvaise colonne.
- Mauvaises instructions : Oublier de dire à l'assistant IA exactement ce qu'il doit chercher (par exemple, ne pas lister toutes les catégories possibles pour une tâche de classification).
- Erreurs de logique : Mélanger l'ordre des opérations (par exemple, filtrer les données après avoir sollicité l'IA au lieu de le faire avant).
La Découverte Surprenante : Moins, c'est Mieux
Les chercheurs ont également testé si l'utilisation de « frameworks d'agents » complexes (des boîtes à outils élaborées qui aident l'IA à planifier ses étapes) aidait.
- Le Constat : Étonnamment, les boîtes à outils les plus complexes n'ont pas beaucoup aidé. En fait, une configuration minimale — juste un outil simple pour regarder la base de données et un outil pour exécuter la requête — a fonctionné aussi bien, voire mieux, que les frameworks sophistiqués.
- La Métaphore : C'est comme donner à un chef étoilé un petit couteau simple plutôt qu'un énorme et compliqué couteau suisse. Pour ce type de cuisine spécifique (le SQL IA-natif), le chef étoilé n'avait pas besoin de gadgets supplémentaires ; il avait juste besoin de savoir utiliser son couteau. Les frameworks complexes conçus pour les tâches de données traditionnelles entravaient le processus ou n'apportaient aucune valeur ajoutée pour ces nouvelles tâches intelligentes.
Résumé
Ce document présente un nouveau test réaliste pour les modèles d'IA qui vérifie s'ils peuvent utiliser les fonctionnalités modernes des bases de données « alimentées par l'IA ». Il a révélé que, bien que les meilleurs modèles d'IA deviennent performants, il existe toujours un écart entre les modèles de haut niveau et les modèles open-source. La clé du succès ne réside pas dans l'utilisation d'outils de planification plus complexes, mais dans le fait d'obtenir exactement les instructions de base et les paramètres pour les fonctions d'IA.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.