🤖 machine learning

LLM as Detector: An In-context Learning Approach for Tabular Anomaly Detection

Dit artikel stelt LLM-Detector voor, een nieuw framework dat in-context learning gebruikt om normale tabelgegevens om te zetten naar gestructureerde prompts voor door code gegenereerde scoring engines, wat effectieve anomaliedetectie mogelijk maakt over diverse datasets heen zonder de noodzaak voor fine-tuning of het trainen van neurale netwerken.

Oorspronkelijke auteurs: Tu Anh Hoang Nguyen, Dang Nguyen, Thuc Duy Le, Trung Le, Sunil Gupta

Gepubliceerd 2026-08-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tu Anh Hoang Nguyen, Dang Nguyen, Thuc Duy Le, Trung Le, Sunil Gupta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de uitgestrekte, stille ruis van moderne datacenters verbergt zich vaak een specifiek soort onregelmatigheid in het volle zicht. Het is geen dramatische explosie of een schreeuwende fout, maar een subtiele onjuistheid binnen een spreadsheet van getallen en categorieën. Dit is de wereld van tabulaire data, het digitale grootboek dat alles registreert, van banktransacties en medische dossiers tot serverlogs en verzekeringsclaims. Decennia lang hebben computers de taak gekregen om de enkele frauduleuze transactie tussen miljoenen legitieme te vinden, of de ene zieke patiënt tussen duizenden gezonde. De uitdaging is dat deze "anomalieën" zelden lijken op overduidelijke fouten. Ze zien er aan de oppervlakte vaak volkomen normaal uit, maar schenden de verborgen regels die bepalen hoe verschillende stukken informatie met elkaar in verband moeten staan. De leeftijd, het inkomen en de belastingschijf van een persoon volgen meestal een voorspelbaar patroon; wanneer ze dat niet doen, signaleert dat een probleem, zelfs als elk individueel getal op zichzelf plausibel lijkt.

Jarenlang was de standaardmanier om deze verborgen fouten te vangen het bouwen van complexe wiskundige modellen die leren hoe "normaal" eruitziet, om vervolgens alles te markeren dat te ver van dat patroon afwijkt. Recentelijk hebben wetenschappers geprobeerd om grote taalmodellen te gebruiken — dezelfde krachtige kunstmatige intelligentiesystemen die essays kunnen schrijven of vragen kunnen beantwoorden — om deze fouten op te sporen. Het idee was dat als je een computer kon leren om een rij data te lezen als een zin, de computer het verhaal achter de cijfers beter zou begrijpen dan een rekenmachine dat zou kunnen. Deze vroege pogingen stuitten echter op een aanzienlijke hindernis: ze waren ofwel te traag om in realtime nuttig te zijn, of ze vereisten dat de AI opnieuw getraind werd op nieuwe data, wat duur en rekenintensief is. Ze hadden moeite met het verwerken van de rommelige mix van getallen en tekstcategorieën die echte data vaak bevat, waarbij de betekenis van de data vaak verloren ging.

Een team onderzoekers van Australische universiteiten heeft een andere manier voorgesteld om dit puzzelstuk op te lossen, een manier die de kunstmatige intelligentie niet behandelt als een student die getraind moet worden, maar als een bekwame architect die een blauwdruk krijgt. In plaats van de AI te dwingen om vanaf nul te leren of voorbeelden te memoriseren, vroegen ze de AI om een aangepast programma te schrijven op basis van een samenvatting van hoe normale data eruitziet. De onderzoekers noemen deze nieuwe aanpak LLM-Detector. Hun methode steunt op een concept genaamd in-context learning, waardoor een groot taalmodel een complexe taak kan uitvoeren door simpelweg een duidelijke beschrijving van de regels en een paar voorbeelden te krijgen, zonder dat het interne brein veranderd hoeft te worden of een langdurig trainingsproces hoeft te ondergaan.

Het proces begint met het nemen van een grote collectie normale, gezonde data — zoals duizenden legitieme bankrecords — en deze te destilleren tot drie soorten kerninformatie. Ten eerste berekent het systeem het statistische profiel van elke kolom, waarbij het gemiddelde waarden, typische bereiken en de frequentie van verschillende categorieën noteert. Ten tweede brengt het de causale relaties in kaart, waarbij wordt uitgezocht welke stukken informatie van elkaar afhankelijk zijn; het leert bijvoorbeeld dat een hoog inkomen meestal correleert met een specifieke belastingschijf. Ten derde selecteert het een kleine, representatieve groep werkelijke datapunten die fungeren als ankers, die de typische vorm en spreiding van de data laten zien. Deze drie elementen worden vervolgens verpakt in één enkele, gedetailleerde prompt en naar het grote taalmodel gestuurd.

Het model leest deze prompt en, optredend als een code-generator, schrijft het een volledig, uitvoerbaar computerprogramma dat specifiek voor die dataset is ontworpen. Dit programma is geen gok; het is een reeks instructies die precies weet hoe het op statistische vreemdheden moet controleren, hoe het gebroken relaties tussen variabelen moet opsporen en hoe het moet meten hoe ver een nieuw datapunt van het centrum van de normale menigte af staat. Zodra dit programma is geschreven, wordt het opgeslagen en uitgevoerd tegen nieuwe, ongeziene data. Wanneer een nieuw record binnenkomt, berekent het programma direct een anomalie-score, een getal dat aangeeft hoe verdacht het record is. Als de score hoog is, betekent dit dat het record de regels schendt die de AI heeft afgeleid uit de normale data.

De onderzoekers testten deze methode op vierentwintig verschillende datasets, variërend van kleine medische dossiers tot enorme cybersecurity-logs. Ze vergeleken hun aanpak met vijftien andere state-of-the-art methoden, inclusief traditionele statistische instrumenten, deep learning-modellen en de eerdere pogingen om taalmodellen voor deze taak te gebruiken. De resultaten lieten zien dat hun methode consequent de anderen overtrof, met name in datasets die getallen en tekstcategorieën mengden. Gemiddeld behaalde hun aanpak een detectienauwkeurigheidsscore van 0,7407, wat hoger was dan de op één na beste methode. Cruciaal was dat deze prestatie kwam zonder de zware computationele kosten van het trainen van een nieuw model. Omdat de AI de code slechts één keer schrijft en zich daarna terugtrekt, is het systeem ongelooflijk snel en verwerkt het data in een fractie van een seconde, vergeleken met de minuten of uren die andere methoden vereisen.

De studie onderzocht ook hoe verschillende onderdelen van het systeem bijdroegen aan het succes. Ze ontdekten dat het geven van enkel de statistische getallen nuttig was, maar het toevoegen van de kaart van relaties tussen variabelen maakte het systeem aanzienlijk beter in het vangen van subtiele fouten. Het opnemen van de representatieve voorbeelden van normale data verfijnde verder het vermogen van het systeem om de algemene vorm van de data te begrijpen. De onderzoekers testten de methode ook met verschillende onderliggende AI-modellen en ontdekten dat hoewel sterkere modellen iets beter presteerden, de kern van de aanpak — het schrijven van een aangepast programma — over de hele linie goed werkte. Dit suggereert dat de kracht van de methode voortkomt uit de structuur van de aanpak — het vertalen van data naar een reeks logische regels — in plaats van het vertrouwen op één specifiek type kunstmatige intelligentie.

Door het probleem van anomaliedetectie te transformeren tot een taak van codegeneratie, hebben de onderzoekers een systeem gecreëerd dat zowel krachtig als praktisch is. Het vereist niet de enorme rekenkracht die gewoonlijk met geavanceerde kunstmatige intelligentie wordt geassocieerd, noch hoeft het telkens opnieuw getraind te worden wanneer de data verandert. Het leest simpelweg het verhaal van wat normaal is, schrijft een regelboek voor het opsporen van de uitzonderingen, en past dat regelboek vervolgens toe op de echte wereld. Deze aanpak biedt een veelbelovend pad voor sectoren die enorme hoeveelheden data moeten monitoren op risico's, van het voorkomen van financiële fraude tot het beveiligen van computernetwerken, en bewijst dat de meest effectieve manier om een naald in een hooiberg te vinden soms is om de computer te leren hoe hij een betere magneet moet bouwen.

Technische Samenvatting: LLM als Detector voor Tabulaire Anomaliedetectie

Probleemdefinitie

Het artikel behandelt Tabulaire Anomaliedetectie (TAD) in ongesuperviseerde settings, waarbij modellen abnormale records moeten identificeren met behulp van uitsluitend normale trainingsdata ( $D_{normal}$ ). De auteurs benadrukken dat TAD bijzonder uitdagend is omdat anomalieën vaak manifesteren als schendingen van cross-feature afhankelijkheden of causale mechanismen, in plaats van eenvoudige marginale numerieke afwijkingen.

Bestaande methoden kampen met verschillende beperkingen:

Reconstructie-gebaseerde benaderingen (bijv. Autoencoders, DeepSVDD) richten zich vaak op reconstructiefaillissement en falen in het afdwingen van expliciete consistentie tussen features.
Dichtheid-gebaseerde methoden (bijv. Isolation Forest, KNN) behandelen anomalieën als verre punten, waardoor ze moeite hebben met monsters die numeriek plausibel maar structureel inconsistent zijn.
Eerdere LLM-gebaseerde benaderingen (specifiek AnoLLM en LLM-DAS) lijden ofwel onder hoge computationele kosten door per-sample inferentie/fine-tuning, of falen in het gelijktijdig afhandelen van gemengde datatypen, computationele efficiëntie en causale modellering.

Methodologie: LLM-Detector

De auteurs stellen LLM-Detector voor, een framework dat gebruikmaakt van de in-context learning capaciteiten van Large Language Models (LLMs) om een uitvoerbare anomaliedetectie-engine te synthetiseren. Cruciaal is dat de LLM niet wordt gefinetuned; in plaats daarvan fungeert het als een deterministische codesynthesizer die geconditioneerd is op gestructureerde kennis van de normale toestand, geëxtraheerd uit de trainingsset.

Het framework werkt in twee afzonderlijke fasen:

1. Kennis-naar-Code (Prompt Constructie & Codegeneratie)

Normale trainingsdata ( $D_{normal}$ ) wordt getransformeerd naar een compact "kennispakket van de normale toestand" en geïnjecteerd in de LLM-prompt. Dit pakket bestaat uit drie gestructureerde componenten:

Statistische Profielen ( $p_{stats}$ ): Marginale samenvattingen voor elke feature. Voor numerieke features omvat dit het gemiddelde, de variantie en empirische grenzen; voor categorische features omvat dit de empirische categoriewaarschijnlijkheden.
Causale Kennis ( $p_{causal}$ ): Een Directed Acyclic Graph (DAG) die feature-afhankelijkheden representeert, geschat met behulp van het Peter-Clark (PC) algoritme. Dit legt de conditionele relaties vast tussen ouder- en kindvariabelen.
Gedestilleerde Prototypes ( $p_{distill}$ ): Een representatieve subset van normale monsters verkregen via K-Means clustering en nearest-neighbor mapping. Deze dienen als geometrische ankers voor multivariate dichtheidscontroles.

De LLM ontvangt een prompt met deze profielen, een doelstelling om een Python scoring-engine te genereren, en specifieke vereisten (bijv. begrensde output, deterministische executie). De LLM genereert een Python-script dat de scoring-logica implementeert.

2. Code-naar-Score (Test-tijd Inferentie)

Het gegenereerde Python-script wordt uitgevoerd op test-monsters ( $D_{test}$ ) om een anomalie-score $S(x) \in [0, 100]$ te berekenen. De score is een aggregatie van drie componenten:

Outlier Score ( $S_{outlier}$ ): Meet de marginale afwijking. Numerieke features worden bestraft op basis van de gestandaardiseerde afwijking van het gemiddelde; categorische features worden bestraft op basis van een lage empirische waarschijnlijkheid.
Causale Schendingsscore ( $S_{causal}$ ): Detecteert structurele inconsistenties. Het controleert of een kind-feature abnormaal is terwijl de causale ouders normaal blijven, wat duidt op een gebroken afhankelijkheidsmechanisme.
Dichtheidsscore ( $S_{density}$ ): Berekent de Mahalanobis-afstand van het testmonster tot de normale manifold met behulp van de gedestilleerde prototypes en covariantieschattingen.

De uiteindelijke score is begrensd en gekalibreerd, wat directe vergelijking tussen monsters mogelijk maakt zonder dat er tijdens het scoringproces labelinformatie nodig is.

Belangrijkste Bijdragen

Framework Innovatie: Introductie van LLM-Detector, die in-context learning behandelt als een mechanisme voor het synthetiseren van uitvoerbare, domeinspecifieke anomaliedetectie-logica zonder modeltraining of fine-tuning.
Gestructureerde Kennisfactorisatie: Formalisering van kennis van de normale toestand in statistische profielen, causale relaties en gedestilleerde prototypes. Het artikel demonstreert dat het injecteren van deze gestructureerde kennis de generatie van causale-structuur-gestuurde scoring-logica mogelijk maakt.
Empirische Validatie: Uitgebreide evaluatie op 24 diverse tabulaire datasets (12 van gemengde types, 12 van enkel continue types) tegenover 15 state-of-the-art baselines, inclus\n bij klassieke statistische methoden, deep learning modellen en recente LLM-gebaseerde benaderingen.

Experimentele Resultaten

Prestaties: LLM-Detector behaalde de hoogste gemiddelde AUC-ROC over alle datasets.
- Datasets met gemengde types: Behaalde een gemiddelde AUC-ROC van 0.7407, waarmee het de op één na beste methode (AnoLLM met 0.6972) met ongeveer 5% versloeg.
- Continue-only datasets: Behaalde top-prestaties (0.91), wat de generalisatie naar volledig continue ruimtes aantoont.
Ablatie-studies:
- Het combineren van alle drie de kennisvormen (Statistiek + Causaal + Gedestilleerd) leverde de beste resultaten op, wat bevestigt dat anomalieën het best gedetecteerd kunnen worden door marginale, structurele en multivariate factoren simultaan te overwegen.
- De methode is robuust over verschillende LLM-backbones (DeepSeek, GPT, Gemini), hoewel Gemini-3.0 het beste presteerde vanwege superieure reasoning in lange contexten en codegeneratie.
- De prestaties stabiliseerden bij 100 gedestilleerde monsters, wat wijst op afnemende meeropbrengsten voorbij dit punt.
Efficiëntie: De methode is computationeel efficiënt tijdens test-tijd. In tegenstelling tot training-gebaseerde methoden (bijv. AnoGAN, AnoLLM) die aanzienlijke GPU-tijd vereisen, reduceert de inferentie van LLM-Detector tot het uitvoeren van een lichtgewicht, vooraf gesynthetiseerd Python-script.

Betekenis en Claims

Het artikel claimt dat LLM-Detector een praktische oplossing biedt voor real-world tabulaire anomaliedetectie door:

De noodzaak voor LLM fine-tuning te elimineren, waardoor computationele kosten worden verlaagd en het vermijden van grootschalige model-retraining, terwijl nog steeds een normale trainingsset wordt gebruikt voor kennisextractie.
Gemengde datatypen te behandelen (categorisch en continu) via tekstuele context en semantische redenering, waardoor de semantische vervorming die vaak wordt veroorzaakt door het coderen van categorische variabelen in traditionele numerieke backbones, wordt vermeden.
Causale redenering mogelijk te maken zonder expliciete grondwaarheid-labels, door gebruik te maken van data-gedreven causale discovery om mechanisme-schendingen te detecteren.
Interpretabiliteit en determinisme te bieden, aangezien de output een uitvoerbaar programma is gebaseerd op expliciete statistische en causale regels in plaats van een "black box" neurale netwerkvoorspelling.

De auteurs concluderen dat hun ontwerp de kloof overbrugt tussen ruwe statistische data en uitvoerbare, causale-bewuste detectieregels, waarbij sterke en stabiele prestaties worden behaald door geprincipeerde in-context learning codegeneratie.