🤖 machine learning

LLM as Detector: An In-context Learning Approach for Tabular Anomaly Detection

Ce document propose LLM-Detector, un nouveau cadre qui exploite l'apprentissage en contexte pour convertir des données tabulaires normales en invites structurées destinées à des moteurs de notation générés par code, permettant ainsi une détection d'anomalies efficace sur divers ensembles de données sans nécessiter de réglage fin ni d'entraînement de réseau neuronal.

Auteurs originaux : Tu Anh Hoang Nguyen, Dang Nguyen, Thuc Duy Le, Trung Le, Sunil Gupta

Publié 2026-08-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tu Anh Hoang Nguyen, Dang Nguyen, Thuc Duy Le, Trung Le, Sunil Gupta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le vaste et calme bourdonnement des centres de données modernes, un type de problème spécifique se cache souvent à la vue de tous. Il ne s'agit pas d'une explosion dramatique ou d'une erreur flagrante, mais d'une subtile anomalie au sein d'un tableur de chiffres et de catégories. C'est le monde des données tabulaires, ce registre numérique qui enregistre tout, des transactions bancaires aux dossiers médicaux, en passant par les journaux de serveurs et les demandes d'assurance. Depuis des décennies, les ordinateurs ont pour tâche de trouver l'unique transaction frauduleuse parmi des millions de transactions légitimes, ou le patient malade parmi des milliers de personnes en bonne santé. Le défi est que ces « anomalies » ne ressemblent que rarement à des erreurs évidentes. Elles paraissent souvent parfaitement normales en surface, pourtant elles violent les règles cachées qui régissent la manière dont les différentes pièces d'information doivent être liées entre elles. L'âge, le revenu et la tranche d'imposition d'une personne suivent généralement un schéma prévisible ; lorsqu'ils ne le font pas, cela signale un problème, même si chaque nombre individuel semble plausible en soi.

Pendant des années, la méthode standard pour détecter ces erreurs cachées a consisté à construire des modèles mathématiques complexes qui apprennent à quoi ressemble la « normalité », puis signalent tout ce qui s'en écarte trop. Plus récemment, des scientifiques ont tenté d'utiliser de grands modèles de langage — les mêmes systèmes d'intelligence artificielle puissants capables de rédiger des essais ou de répondre à des questions — pour repérer ces erreurs. L'idée était que si l'on pouvait apprendre à un ordinateur à lire une ligne de données comme une phrase, il pourrait mieux comprendre l'histoire derrière les chiffres qu'une calculatrice. Cependant, ces premières tentatives se sont heurtées à un obstacle de taille : elles étaient soit trop lentes pour être utiles en temps réel, soit nécessitaient que l'IA soit réentraînée sur de nouvelles données, ce qui est coûteux et lourd en termes de calcul. Elles peinaient à gérer le mélange désordonné de chiffres et de catégories textuelles que contiennent souvent les données du monde réel, perdant fréquemment le sens des données dans le processus.

Une équipe de chercheurs issus d'universités australiennes a proposé une autre façon de résoudre ce casse-tête, une approche qui traite l'intelligence artificielle non pas comme un étudiant à former, mais comme un architecte qualifié à qui l'on remet un plan. Au lieu de forcer l'IA à apprendre à partir de zéro ou à mémoriser des exemples, ils lui ont demandé de rédiger un programme personnalisé basé sur un résumé de ce à quoi ressemble une donnée normale. Les chercheurs appellent cette nouvelle approche LLM-Detector. Leur méthode repose sur un concept appelé l'apprentissage en contexte (in-context learning), qui permet à un grand modèle de langage d'accomplir une tâche complexe simplement en recevant une description claire des règles et quelques exemples, sans avoir besoin de modifier son cerveau interne ou de subir un long processus d'entraînement.

Le processus commence par la prise d'une large collection de données normales et saines — comme des milliers d'enregistrements bancaires légitimes — et sa distillation en trois types d'informations clés. Premièrement, le système calcule le profil statistique de chaque colonne, notant les valeurs moyennes, les plages typiques et la fréquence des différentes catégories. Deuxièmement, il cartographie les relations de causalité, déterminant quelles informations dépendent des autres ; par exemple, il apprend qu'un revenu élevé est généralement corrélé à une tranche d'imposition spécifique. Troisièmement, il sélectionne un petit groupe représentatif de points de données réels qui servent d'ancres, montrant la forme et la dispersion typiques des données. Ces trois éléments sont ensuite regroupés dans un prompt unique et détaillé, puis envoyés au grand modèle de langage.

Le modèle lit ce prompt et, agissant comme un générateur de code, rédige un programme informatique complet et exécutable conçu spécifiquement pour ce jeu de données. Ce programme n'est pas une supposition ; c'est un ensemble d'instructions qui sait exactement comment vérifier les anomalies statistiques, comment repérer les ruptures de relations entre les variables et comment mesurer à quel point un nouveau point de donnée s'éloigne du centre de la population normale. Une fois ce programme écrit, il est sauvegardé et exécuté sur de nouvelles données inédites. Lorsqu'un nouvel enregistrement arrive, le programme calcule instantanément un score d'anomalie, un nombre qui indique à quel point l'enregistrement est suspect. Si le score est élevé, cela signifie que l'enregistrement viole les règles que l'IA a déduites des données normales.

Les chercheurs ont testé cette méthode sur vingt-quatre ensembles de données différents, allant de petits dossiers médicaux à de massifs journaux de cybersécurité. Ils ont comparé leur approche à quinze autres méthodes de pointe, incluant des outils statistiques traditionnels, des modèles d'apprentissage profond et les précédentes tentatives d'utilisation de modèles de langage pour cette tâche. Les résultats ont montré que leur méthode surpassait systématiquement les autres, particulièrement dans les ensembles de données mélangeant chiffres et catégories textuelles. En moyenne, leur approche a atteint un score de précision de détection de 0,7407, ce qui est supérieur à la méthode suivante la plus performante. Crucialement, cette performance s'est obtenue sans le coût de calcul massif lié à l'entraînement d'un nouveau modèle. Parce que l'IA n'écrit le code qu'une seule fois avant de s'effacer, le système est incroyablement rapide, ne prenant qu'une fraction de seconde pour traiter les données, contre les minutes ou les heures requises par d'autres méthodes.

L'étude a également exploré la contribution de différentes parties du système à son succès. Ils ont découvert que donner à l'IA uniquement les chiffres statistiques était utile, mais que l'ajout de la carte des relations entre les variables améliorait considérablement sa capacité à détecter les erreurs subtiles. L'inclusion d'exemples représentatifs de données normales a permis d'affiner davantage la capacité du système à comprendre la forme globale des données. Les chercheurs ont également testé la méthode avec différents modèles d'IA sous-jacents et ont constaté que, bien que les modèles plus puissants soient légèrement plus performants, la conception centrale consistant à écrire un programme personnalisé fonctionnait bien dans l'ensemble. Cela suggère que la puissance de la méthode provient de la structure de l'approche — traduire les données en un ensemble de règles logiques — plutôt que de dépendre d'un type spécifique d'intelligence artificielle.

En transformant le problème de la détection d'anomalies en une tâche de génération de code, les chercheurs ont créé un système qui est à la fois puissant et pratique. Il ne nécessite pas la puissance de calcul massive habituellement associée à l'intelligence artificielle avancée, et n'a pas besoin d'être réentraîné chaque fois que les données changent. Il se contente de lire l'histoire de ce qui est normal, rédige un livre de règles pour repérer les exceptions, puis applique ce livre de règles au monde réel. Cette approche offre une voie prometteuse pour les industries qui doivent surveiller de vastes quantités de données pour identifier les risques, de la prévention de la fraude financière à la sécurisation des réseaux informatiques, prouvant que parfois, la manière la plus efficace de trouver une aiguille dans une botte de foin est d'apprendre à l'ordinateur comment construire un meilleur aimant.

Résumé Technique : L'utilisation des LLM comme détecteurs pour la détection d'anomalies tabulaires

Définition du Problème

Le papier traite de la Détection d'Anomalies Tabulaires (TAD) dans des contextes non supervisés, où les modèles doivent identifier des enregistrements anormaux en utilisant uniquement des données normales d'entraînement ( $D_{normal}$ ). Les auteurs soulignent que la TAD est particulièrement complexe car les anomalies se manifestent souvent par des violations des dépendances croisées entre caractéristiques ou des mécanismes causaux, plutôt que par de simples écarts numériques marginaux.

Les méthodes existantes font face à plusieurs limitations :

Les approches basées sur la reconstruction (ex: Autoencodeurs, DeepSVDD) se concentrent souvent sur la fidélité de la reconstruction et échouent à imposer une cohérence explicite entre les caractéristiques.
Les méthodes basées sur la densité (ex: Isolation Forest, KNN) traitent les anomalies comme des points éloignés, éprouvant des difficultés avec les échantillons qui sont numériquement plausibles mais structurellement incohérents.
Les approches antérieures basées sur les LLM (spécifiquement AnoLLM et LLM-DAS) souffrent soit de coûts de calcul élevés dus à l'inférence ou au fine-tuning par échantillon, soit ne parviennent pas à gérer simultanément les types de données mixtes, l'efficacité computationnelle et la modélisation causale.

Méthodologie : LLM-Detector

Les auteurs proposent LLM-Detector, un cadre qui exploite les capacités d'apprentissage en contexte (in-context learning) des Grands Modèles de Langage (LLM) pour synthétiser un moteur de détection d'anomalies exécutable. Crucialement, le LLM n'est pas affiné (fine-tuned) ; il agit plutôt comme un synthétiseur de code déterministe conditionné par une connaissance structurée de l'état normal extraite de l'ensemble d'entraînement.

Le cadre opère en deux phases distinctes :

1. De la Connaissance au Code (Construction du Prompt & Génération de Code)

Les données d'entraînement normales ( $D_{normal}$ ) sont transformées en un "paquet de connaissances de l'état normal" compact et injectées dans le prompt du LLM. Ce paquet se compose de trois composants structurés :

Profils Statistiques ( $p_{stats}$ ): Résumés marginaux pour chaque caractéristique. Pour les caractéristiques numériques, cela inclut la moyenne, la variance et les bornes empiriques ; pour les caractéristiques catégorielles, cela inclut les probabilités de catégories empiriques.
Connaissance Causale ( $p_{causal}$ ): Un Graphe Acyclique Dirigé (DAG) représentant les dépendances entre caractéristiques, estimé via l'algorithme de Peter-Clark (PC). Cela capture les relations conditionnelles entre les variables parentes et enfants.
Prototypes Distillés ( $p_{distill}$ ): Un sous-ensemble représentatif d'échantillons normaux obtenu via le clustering K-Means et la cartographie de plus proches voisins. Ils servent d'ancres géométriques pour les vérifications de densité multivariée.

Le LLM reçoit un prompt contenant ces profils, un objectif de génération d'un moteur de scoring en Python, et des exigences spécifiques (ex: sortie bornée, exécution déterministe). Le LLM produit un script Python qui implémente la logique de scoring.

2. Du Code au Score (Inférence au moment du Test)

Le script Python généré est exécuté sur les échantillons de test ( $D_{test}$ ) pour calculer un score d'anomalie $S(x) \in [0, 100]$ . Le score est une agrégation de trois composantes :

Score d'Anomalie Marginale ( $S_{outlier}$ ): Mesure l'écart marginal. Les caractéristiques numériques sont pénalisées selon l'écart type par rapport à la moyenne ; les caractéristiques catégorielles sont pénalisées selon la faible probabilité empirique.
Score de Violation Causale ( $S_{causal}$ ): Détecte les incohérences structurelles. Il vérifie si une caractéristique enfant est anormale alors que ses parents causaux restent normaux, indiquant une rupture du mécanisme de dépendance.
Score de Densité ( $S_{density}$ ): Calcule la distance de Mahalanobis de l'échantillon de test par rapport à la variété (manifold) normale en utilisant les prototypes distillés et les estimations de covariance.

Le score final est borné et calibré, permettant une comparaison directe entre les échantillons sans nécessiter d'informations d'étiquetage pendant le processus de scoring.

Contributions Clés

Innovation de Cadre : Introduction de LLM-Detector, qui traite l'apprentissage en contexte comme un mécanisme de synthèse de logique de détection d'anomalies exécutable et spécifique au domaine, sans entraînement ni fine-tuning de modèle.
Factorisation de la Connaissance Structurée : Formalisation de la connaissance de l'état normal en profils statistiques, relations causales et prototypes distillés. Le papier démontre que l'injection de cette connaissance structurée permet la génération d'une logique de scoring guidée par la structure causale.
Validation Empirique : Évaluation étendue sur 24 jeux de données diversifiés (12 de type mixte, 12 uniquement continus) contre 15 méthodes de pointe (SOTA), incluant des méthodes statistiques classiques, des modèles de deep learning et des approches récentes basées sur les LLM.

Résultats Expérimentaux

Performance : LLM-Detector a obtenu l'AUC-ROC moyen le plus élevé sur tous les jeux de données.
- Jeux de données de type mixte : A atteint un AUC-ROC moyen de 0,7407, surpassant la deuxième meilleure méthode (AnoLLM à 0,6972) d'environ 5 %.
- Jeux de données uniquement continus : A atteint une performance de haut niveau (0,91), démontant sa généralisation aux espaces entièrement continus.
Études d'Ablation :
- La combinaison des trois types de connaissances (Statistiques + Causales + Distillées) a produit les meilleurs résultats, confirmant que les anomalies sont mieux détectées en considérant simultanément les facteurs marginaux, structurels et multivariés.
- La méthode est robuste à travers différents backbones de LLM (DeepSeek, GPT, Gemini), bien que Gemini-3.0 ait été le plus performant grâce à sa supériorité en raison de son raisonnement en contexte long et de sa synthèse de code.
- La performance s'est stabilisée avec 100 échantillons distillés, montrant des rendements décroissants au-delà de ce point.
Efficacité : La méthode est efficace sur le plan computationnel au moment du test. Contra-rément aux méthodes nécessitant un entraînement (ex: AnoGAN, AnoLLM) qui requièrent un temps GPU important, l'inférence de LLM-Detector se réduit à l'exécution d'un script Python pré-synthétisé léger.

Signification et Revendications

Le papier affirme que LLM-Detector offre une solution pratique pour la détection d'anomalies tabulaires dans le monde réel en :

Éliminant le besoin de fine-tuning de LLM, réduisant ainsi les coûts de calcul et évitant le besoin de ré-entraînement à grande échelle, tout en utilisant un ensemble d'entraînement normal pour l'extraction de connaissances.
Gérant nativement les types de données mixtes (catégorielles et continues) via le contexte textuel et le raisonnement sémantique, évitant la distorsion sémantique souvent causée par l'encodage des variables catégorielles dans les backbones numériques traditionnels.
Permettant le raisonnement causal sans étiquettes de vérité terrain explicites, en exploitant la découverte causale basée sur les données pour détecter les violations de mécanismes.
Fournissant interprétabilité et déterminisme, car le résultat est un programme exécutable basé sur des règles statistiques et causales explicites plutôt qu'une prédiction de réseau neuronal "boîte noire".

Les auteurs concluent que leur conception comble le fossé entre les données statistiques brutes et les règles de détection exécutables et conscientes de la causalité, atteignant des performances fortes et stables grâce à une génération de code par apprentissage en contexte rigoureuse.