Technische Samenvatting: StatABench

Probleemstelling

Statistische analyse is een complex domein dat zowel diepgaande conceptuele kennis als het vermogen vereist om die kennis te operationaliseren via specifieke softwaretools (bijv. R, Python, SPSS). Hoewel Large Language Models (LLMs) veelbelovend zijn gebleken in algemene redenering en codegeneratie, kampen bestaande benchmarks voor statistische capaciteiten met significante beperkingen. Eerdere werken richten zich vaak op smalle domeinen, missen integratie met real-world tools, vertrouwen op statische tekstgebaseerde formaten, of falen in het evalueren van de end-to-end workflow van statistische modellering. Bijgevolg is er een gat in de beoordeling van de vraag of LLMs betrouwbare statistische analyse kunnen uitvoeren, wat het verwerken van data, methodekeuze, tool-aanroeping en contextuele interpretatie van resultaten omvat.

Methodologie

Om deze beperkingen aan te pakken, introduceren de auteurs StatABench, een uitgebreide benchmark die ontworpen is om de statistische analysecapaciteiten van LLM's systematisch te evalueren. Het framework bestaat uit twee complementaire componenten:

1. Stat-Closed (404 Vragen)

Deze component evalueert fundamentele statistische kennis en tool-bekwaamheid over 18 statistische onderwerpen (variërend van beschrijvende statistiek tot hoogdimensionale data-analyse). Het bevat vier vraagformaten:

• Meerkeuze, invulvragen, besluitvorming en praktische toepassing.
• Tool-integratie: Modellen worden geëvalueerd met behulp van het LangChain MCP Framework, geïntegreerd met een aangepaste Statistical Analysis Toolkit (SAToolKit). SAToolKit biedt 35 aanroepbare statistische functies die alle 18 onderwerpen dekken.
• Decontaminatie: Een rigoureuze "Modify-and-Verify"-pipeline werd toegepast om datalekken te voorkomen. Vragen die aanvankelijk correct werden beantwoord door sterke modellen (Qwen2.5-72B, Llama-3.1-70B) werden handmatig aangepast (het herschrijven van de probleemstellingen, het toevoegen van afleiders, het door elkaar husselen van opties) totdat de modellen faalden, waardoor werd gewaarborgd dat de benchmark werkelijk redeneren test in plaats van memorisatie.
• Evaluatie: Antwoorden worden geëvalueerd via directe matching voor gesloten vragen en een LLM-as-Judge protocol voor semantisch equivalente of interpretatieve antwoorden.

2. Stat-Open (30 Taken)

Deze component richt zich op complexe, open eind statistische modelleringsproblemen die zijn aangepast van professionele competities (MCM/ICM, CUMCM, MAS).

• Workflow: In tegenstelling tot Stat-Closed vereisen deze taken dat agenten een end-to-end analyse uitvoeren: probleembegrip, data cleaning, exploratieve analyse, modelbouw, code-executie en gestructureerde rapportage.
• Evaluatie: Oplossingen worden beoordeeld met behulp van een gevalideerd LLM-as-Judge protocol (gebruikmakend van Gemini 3 Pro als judge, gekozen vanwege de hoge mate van overeenstemming met menselijke beoordelaars). Het evaluatierubriek dekt vier dimensies:
  1. Structurele Samenhang: Rigor en volledigheid van de modelleringscomponenten.
  2. Methodologische Kwaliteit: Authenticiteit van de data-applicatie en diepgang van de redenering.
  3. Praktische Bruikbaarheid en Wetenschappelijke Geldigheid: Robuustheid en real-world toepasbaarheid.
  4. Resultaatinterpretatie en Bias-analyse: Het vermogen om biases te identificeren en te mitigeren.

Experimentele Opzet

De auteurs evalueerden een diverse set aan LLM's (inclusief GPT-5.1, Claude 4.5, DeepSeek-V3 en diverse Qwen- en Llama-modellen) met behulp van zowel de baseline LangChain MCP setup als vier geavanceerde agent-frameworks (Qwen Agent, CrewAI, AutoGen, Smolagents).

Belangrijkste Bijdragen

• StatABench Framework: De eerste benchmark die uniek statistische domeinfocus combineert met agentic toolgebruik, open-ended modellering en dynamische LLM-as-Judge evaluatie.
• SAToolKit: Een verenigde interface van 35 statistische functies die een gecontroleerde, reproduceerbare evaluatie van tool-selectie en parameterconstructie mogelijk maakt.
• Dual-Track Evaluatie: Een uitgebreide beoordeling die zowel closed-form probleemoplossing (Stat-Closed) als realistische, open-ended analytische workflows (Stat-Open) dekt.
• Rigoureuze Data Curatie: Een multi-source dataverzamelingstrategie met strikte decontaminatieprotocollen om de integriteit van de benchmark te waarborgen.

Resultaten

Experimenten onthullen een aanzienlijke kloof tussen de huidige LLM-capaciteiten en de vereisten voor betrouwbare statistische analyse:

• Stat-Closed Prestaties: Zelfs het sterkste model, GPT-5.1, behaalde slechts 68,6% nauwkeurigheid. Het beste open-source model, Qwen2.5-72B, bereikte 60,6%.
• Tool-Integratie Belasting: Alle modellen vertoonden een prestatiedaling bij de overgang van fundamentele statistische vragen naar praktische toepassingstaken die toolgebruik vereisen. Zo daalde de nauwkeurigheid van GPT-5.1 aanzienlijk in de praktische setting vergeleken met fundamentele taken.
• Foutanalyse: De primaire bron van falen werd geïdentificeerd als statistische fouten (bijv. ongepaste tool-selectie, incorrecte resultaatinterpretatie) in plaats van engineering-fouten (bijv. schendingen van het formaat). In een vergelijkende analyse van de gevallen van falen was 74% van de fouten van DeepSeek-V3 van statistische aard.
• Impact van Agent Frameworks: Hoewel sterkere agent-frameworks (zoals CrewAI) de absolute prestaties verbeterden (bijv. door DeepSeek-V3 naar 85,35% te brengen op praktische taken), elimineerden zij de cross-model stratificatie niet. De onderliggende statistische capaciteitskloof bleef bestaan.
• Stat-Open Prestaties: Op open-ended modellerings-taken bereikte het beste agent-framework een gemiddelde score van 61,86 op 100, wat aangeeft dat end-to-end statistische modellering nog lang niet verzadigd is.

Betekenis

Het artikel betoogt dat huidige LLM's nog geen betrouwbare experts zijn in statistische analyse. De resultaten benadrukken hardnekkige uitdagingen in tool-gegronde redenering, methodologische besluitvorming en end-to-end statistische modellering. De auteurs stellen dat toekomstige vooruitgang meer vereist dan alleen sterkere basismodellen of orchestratie; systemen moeten statistische redenering effectief verbinden met uitvoerbare workflows en verdedigbare interpretatie. StatABench dient als een rigoureus testbed voor het diagnosticeren van deze zwakheden, het onderscheiden van foutbronnen en het volgen van toekomstige vooruitgang in het veld van statistische analyse met LLM's.