Dans le monde des données, l'information arrive souvent sous la forme de grilles rectangulaires nettes : des lignes de clients, des colonnes de transactions et des cellules remplies de chiffres ou de catégories. Pendant des décennies, le moyen le plus fiable pour trouver des modèles dans ces grilles consistait à utiliser un type spécifique de programme informatique appelé arbre de décision boosté par gradient. Ces programmes sont comme une équipe d'experts qui posent une série de questions simples par oui ou par non pour trier les données, construisant une structure de décision complexe pièce par pièce. Ils sont incroyablement efficaces, mais ils ont une limite significative : ils doivent être entraînés à partir de zéro pour chaque nouveau jeu de données. Si une entreprise souhaite prédire l'attrition des clients pour un produit puis passer à la prédiction des défauts de paiement pour un autre, le modèle doit être réentraîné, un processus qui nécessite du temps, de la puissance de calcul et un réglage minutieux des paramètres.

Récemment, une nouvelle approche est apparue qui emprunte une technique à l'étude du langage. Au lieu d'entraîner un nouveau modèle pour chaque tâche, ces nouveaux systèmes utilisent un modèle de base pré-entraîné unique capable d'apprendre à partir d'exemples fournis sur le moment. Cette méthode, appelée apprentissage en contexte (in-context learning), permet au modèle d'examiner quelques exemples du problème qu'il tente de résoudre, puis de faire une prédiction pour un nouveau cas sans jamais modifier ses paramètres internes. Bien que cela offre une voie prometteuse vers un outil universel pour les données tabulaires, un obstacle majeur subsiste. À mesure que la quantité de données historiques que le modèle doit considérer augmente, le temps nécessaire pour effectuer une seule prédiction explose. Le modèle doit comparer chaque nouvelle question à chaque morceau de donnée passée qu'il a déjà vu, créant un goulot d'étranglement computationnel qui le rend impraticable pour une utilisation à grande échelle et en temps réel.

Des chercheurs de l'Université de Cambridge ont abordé ce goulot d'étranglement avec une méthode qu'ils appellent Localized TabICLv2. Leur travail se concentre sur une version spécifique du modèle d'apprentissage en contexte connue sous le nom de TabICLv2, qui a déjà montré des performances de pointe sur diverses tâches de classification. Le problème central du modèle original est que, lors de son étape finale de prédiction, il force chaque nouveau point de donnée à prêter attention à l'ensemble du jeu de données d'entraînement simultanément. Si un jeu de données contient des centaines de milliers de lignes, le modèle doit traiter une quantité massive d'informations pour chaque requête, ce qui entraîne des temps de réponse lents et des coûts énergétiques élevés. Les chercheurs se sont posé une question simple : un modèle a-t-il vraiment besoin de regarder chaque exemple passé pour faire une bonne prédiction, ou peut-il trouver un groupe plus petit et plus pertinent d'exemples contenant les indices nécessaires ?

Pour répondre à cela, l'équipe a introduit une étape de recherche (retrieval) qui agit comme un filtre avant que la prédiction finale ne soit faite. Au lieu de nourrir le modèle avec l'intégralité de l'historique des données, ils convertissent d'abord chaque ligne de données en une représentation mathématique qui capture ses caractéristiques essentielles. Lorsqu'une nouvelle requête arrive, le système parcourt l'historique stocké pour trouver les quelques dizaines de lignes les plus similaires au nouveau cas. Il injecte ensuite uniquement ces correspondances les plus proches, plutôt que l'ensemble du jeu de données, dans le moteur de prédiction. Cette approche est similaire à la façon dont un humain pourrait résoudre un problème en se remémorant une poignée d'expériences passées pertinentes plutôt qu'en essayant de se souvenir de chaque événement de sa vie. En limitant le contexte à ces voisins les plus proches, les chercheurs ont considérablement réduit la quantité d'informations que le modèle devait traiter à la fois.

Cependant, le simple fait de réduire les données ne suffisait pas à maintenir la haute précision du système original. Le modèle avait été entraîné pour s'attendre au contexte complet, et le fait de supprimer la majeure partie de celui-ci a initialement provoqué une baisse de ses performances. Pour corriger cela, les chercheurs ont affiné les mécanismes internes du modèle. Ils ont ajusté la manière dont le modèle crée ses représentations des données et la manière dont il utilise ces représentations pour faire des prédictions, en l'entraînant spécifiquement pour fonctionner avec cette vue localisée plus restreinte. Ce processus a permis au modèle d'apprendre à extraire l'information la plus critique à partir de seulement quelques exemples, plutôt que de compter sur le volume massif de données pour trouver des modèles.

Les résultats de cette approche ont été mesurés par rapport à un large éventail de jeux de données réels, couvrant tout, de la détection de fraude par carte de crédit à l'attrition des clients. Lorsque les chercheurs ont testé le modèle localisé sur un benchmark standard contenant trente-huit jeux de données différents, ils ont constaté que la version affinée conservait presque toute la précision du modèle complet. Plus précisément, elle préservait 98,64 % de la performance originale, ce qui signifie qu'elle faisait presque autant de prédictions correctes que la version beaucoup plus lente à contexte complet. L'échange était un gain de vitesse massif. Dans les scénarios où le modèle devait traiter des données par lots (batches), il s'est exécuté plus de deux fois plus vite. Dans les situations où le modèle devait répondre à une seule question à la fois, l'accélération était encore plus spectaculaire, atteignant une amélioration médiane de 249 fois par rapport au système original.

L'étude a également révélé que la taille du jeu de données jouait un rôle significatif dans ces gains de vitesse. Plus le ensemble d'entraînement est grand, plus la localisation devient bénéfique. Pour les petits jeux de données, le temps passé à rechercher les bons voisins compensait parfois le temps économisé par le traitement de moins de données. Mais à mesure que le nombre de lignes d'entraînement atteignait les centaines de milliers, la méthode localisée devenait de plus en plus efficace, prouvant que l'approche passe bien à l'échelle avec les tailles de données qui ralentissent habituellement ces modèles. De plus, les chercheurs ont comparé leur méthode à des alternatives plus simples, telles que l'utilisation d'un arbre de décision standard sur les seuls voisins récupérés ou un système de vote basique. Leur modèle localisé a systématiquement surpassé ces bases plus simples, démontrant que la combinaison d'une recherche intelligente et d'un moteur de prédiction spécialisé était la clé du succès.

Ce travail suggère que l'avenir de l'apprentissage automatique tabulaire ne réside peut-être pas dans la construction de modèles plus grands qui consomment plus d'énergie, mais dans le fait de rendre les modèles existants plus intelligents quant aux informations dont ils ont besoin. En apprenant à un puissant modèle de base à se concentrer uniquement sur les exemples les plus pertinents, les chercheurs ont montré qu'il est possible d'atteindre une grande précision sans le coût de calcul lourd du traitement de jeux de données entiers. Les conclusions indiquent que ces modèles peuvent être rendus pratiques pour un déploiement réel, où la vitesse et l'efficacité sont tout aussi importantes que le pouvoir prédictif. Bien que la méthode repose sur l'hypothèse que les exemples passés les plus similaires sont les plus informatifs, les résultats montrent que cette hypothèse se vérifie à travers une vaste gamme de types de données. L'étude conclut qu'avec les ajustements appropriés, la promesse de l'apprentissage en contexte pour les données tabulaires peut être réalisée sans sacrifier l'efficacité requise pour les applications à grande échelle.