Technisch overzicht: Zakelijke bruikbaarheid van Large Language Models als agents voor Exploratieve Data Analyse

Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden geïntegreerd in analytische workflows, blijft hun geschiktheid als autonome agents voor Exploratieve Data Analyse (EDA) in zakelijke contexten onzeker. In organisatorische contexten vereist een inzetbare EDA-agent niet alleen nuttige gemiddelde prestaties, maar ook voldoende herhaalbaarheid om vertrouwen te ondersteven. Hoge volatiliteit in outputs verhoogt de verificatiekosten en maakt het moeilijk om fouten te voorzien. Huidige benchmarks richten zich vaak op codegeneratie of vraagbeantwoording met een gesloten vorm, waardoor er een gat ontstaat in het evalueren van de volledige procesgerichte EDA-workflow: het beschrijven van data, het identificeren van relevante kenmerken en het interpreteren daarvan om verklarende hypothesen te genereren. Deze studie onderzoekt of LLM's kunnen fungeren als betrouwbare EDA-agents onder realistische zakelijke omstandigheden, waarbij succes afhangt van zowel de kwaliteit van de inferentie als de herhaalbaarheid.

Methodologie

Benchmarktaak en Simulatie

De studie maakt gebruik van een gecontroleerde, zakelijk relevante benchmark die is gebouwd op een agent-gebaseerde supply chain simulatie. De taak bestaat uit het identificeren van leverancier-productcombinaties die verantwoordelijk zijn voor lage kwaliteit en downstream verlies in de verkoop. Cruciaal is dat de "ground truth" niet expliciet gelabeld is; de agent moet causale relaties afleiden door te redeneren vanuit indirecte operationele sporen (bijv. klantvraag, winkelbestellingen, groothandelallocaties) in plaats van een directe defect-indicator te lezen. Dit ontwerp weerspiegelt de realiteit van zakelijke diagnostiek waarbij oorzaken moeten worden gereconstrueerd uit gefragmenteerde bewijslast.

Experimenteel Ontwerp

• Modellen: Vijftien model-variant configuraties uit acht LLM-families werden geëvalueerd.
• Condities: Vier experimentele condities varieerden in datarepresentatie (ruwe versus redundante tabeldata), prompthelderheid (kort versus niet-ambigu) en signaalsterkte (helder/sterk versus helder/zwakker).
• Trajecten: Elk model-variant werd getest op vijf trajecten per conditie (totaal 20 per model), wat resulteerde in 300 gescoord trajecten.
• Scoring: Outputs (JSON-voorspellingen van leverancier-goed combinaties) werden vergeleken met de deterministische ground truth met behulp van de Jaccard-index.

Evaluatiekader

Het artikel introduceert een multidimensionaal evaluatiekader dat verder gaat dan eenvoudige gemiddelde scores:

1. Gemiddelde score (ms): Schat de gemiddelde analytische correctheid (Jaccard-score).
2. Variatiecoëfficiënt (CV): Kwantificeert de relatieve variatie in scores binnen dezelfde conditie, wat de onvoorspelbaarheid vastlegt.
3. Conditiesensitiviteit: Beoordeeld via Mann-Whitney U en Kruskal-Wallis testen om te bepalen of het gedrag van het model verschuift over de experimentele condities heen.
4. Zakelijke Bruikbaarheid: Een voorgestelde risico-gecorrigeerde metriek die kwaliteit en herhaalbaarheid synthetiseert tot één enkele operationele maatstaf (0 tot 1). Deze is gedefinieerd als:
   $$\text{Zakelijke bruikbaarheid} = ms \cdot e^{-2.25 \cdot CV^{0.88}}$$
   Deze formule past een door prospecttheorie geïnspireerde verliesfunctie toe op de CV, waarbij instabiliteit de verwachte analytische waarde niet-lineair verlaagt. De parameters (2.25 voor verliesaversie, 0.88 voor kromming) zijn aangepast van de cumulatieve prospecttheorie om uit te drukken dat afwijkingen van ideale herhaalbaarheid de waargenomen bruikbaarheid verminderen.

Belangrijkste Resultaten

Prestatieoverzicht

• Algemeen Gemiddelde: Het algemene gemiddelde score (ms) over alle 300 trajecten was 0.3562.
• Top Presteerder: GPT-5.4 (xhigh reasoning effort) bereikte het sterkste profiel met een experiment-gemiddelde ms van 0.8748 en een experiment-gemiddelde Zakelijke bruikbaarheid van 0.6952. De lage CV (0.1202) resulteerde in een sterke stabiliteitskorting (0.7665).
• Rangschikkingsverschuivingen: Wanneer gerangschikt wordt op Zakelijke bruikbaarheid, verschilt de volgorde significant van de rangschikking op basis van enkel de gemiddelde score. Zo rangschikte Gemini 3.1 Pro (high) bijvoorbeeld tweede (Utility: 0.3533) ondanks een lagere gemiddelde score dan GPT-5.2 (xhigh), omdat de lagere variabiliteit meer bruikbaarheid behield. Omgekeerd zagen modellen met hoge gemiddelde scores maar een hoge CV (bijv. GPT-5.4 mini xhigh) hun bruikbaarheid drastisch verminderd.
• Algemene Instabiliteit: De meeste configuraties werden als onbetrouwbaar beschouwd voor autonoom gebruik. De gemiddelde Zakelijke bruikbaarheid over alle varianten was slechts 0.1511, ongeveer 42% van de gemiddelde gemiddelde score (0.3562), wat aangeeft dat instabiliteit de praktische inzetbaarheid ernstig ondermijnt.

Conditiesensitiviteit

• Variabiliteit binnen de conditie: De primaire hindernis voor implementatie werd geïdentificeerd als onvoorspelbaarheid binnen de conditie (hoge CV) in plaats van sensitiviteit voor veranderingen in de omgeving. Veel modellen produceerden inconsistente redeneerpaden, zelfs onder identieke condities.
• Sensitiviteit tussen condities: Alleen een subset van de modellen vertoonde significante sensitiviteit voor experimentele veranderingen (bijv. zwakkere signaalsterkte in Experiment 4). Echter, dit was secundair aan het probleem van interne instabiliteit.

Belangrijkste Bijdragen

1. Geoperationaliseerde EDA Benchmark: Introduceerde een gecontroleerde benchmark die EDA behandelt als een causaal reconstructieprobleem over bedrijfsprocessen, waarmee het verder gaat dan codegeneratie of statische vraagbeantwoording.
2. Risico-gecorrigeerd Evaluatiekader: Stelde een kader voor dat de gemiddelde taakkwaliteit combineert met variabiliteit, waarbij de Zakelijke bruikbaarheid metriek wordt geïntroduceerd om kwaliteit en herhaalbaarheid in één enkele operationele maatstaf samen te vatten.
3. Empirisch Bewijs van Fragiliteit: Leverde bewijs dat huidige LLM's operationeel fragiel blijven als autonome EDA-agents. De studie toont aan dat gemiddelde prestaties de praktische inzetbaarheid vaak overschatten wanneer de instabiliteit hoog is.

Betekenis en Claims

Het artikel betoogt dat de evaluatie van EDA-agents de gemiddelde kwaliteit, herhaalbaarheid en conditiesensitiviteit als complementaire dimensies van operationele betrouwbaarheid moet behandelen.

• Vertrouwen als Functie van Metrieken: De auteurs stellen dat vertrouwen in AI EDA-agents geen vaag attitude moet zijn, maar een functie van gedemonstreerde analytische kwaliteit, herhaalbaarheid en robuustheid.
• Implicaties voor Implementatie: Organisaties moeten voorzichtig zijn met het interpreteren van geïsoleerde sterke runs of benchmarkgemiddelden als bewijs voor inzetbaarheid. Een model kan gemiddeld competent lijken terwijl het in herhaald gebruik onbetrouwbaar blijft, wat een kritieke zwakte is voor exploratieve analyse waar consistente extractie van betekenisvolle structuren vereist is.
• Methodologische Verschuiving: De studie pleit voor een verschuiving in de evaluatiemethodologie van de vraag "Kan een model een correct antwoord produceren?" naar "Kan het dat vaak genoeg en consistent genoeg doen om vertrouwen te rechtvaardigen?"

De bevindingen suggereren dat hoewel hoogwaardig en relatief stabiel EDA-achtig gedrag mogelijk is (zoals gezien bij GPT-5.4 xhigh), het bredere patroon voor huidige frontier-modellen er een is van operationele fragiliteit, wat een betrouwbare vervanging voor menselijke analisten in deze specifieke taaksetting verhindert.