Technische Samenvatting: Evaluatie van Diep Data-onderzoek bij LLM's

Probleemstelling

Huidige evaluaties van Agente Grootte Taalmodellen (Agente LLM's) richten zich voornamelijk op uitvoeringsintelligentie—het vermogen vooraf gedefinieerde taken te voltooien of specifieke gebruikersvragen te beantwoorden. Deze benadering verwardt uitvoering met onderzoekende intelligentie, het vermogen om autonoom te beslissen wat de moeite waard is om te onderzoeken, hypothesen te formuleren en te bepalen wanneer een onderzoek moet worden beëindigd. In de praktijk van datawetenschap beginnen analisten met ruwe gestructureerde data zonder vooraf gedefinieerde vragen en verfijnen ze iteratief hypothesen naarmate patronen naar voren komen. Bestaande benchmarks voor datawetenschap (LLM4DS) vertrouwen vaak op vooraf gedefinieerde vragen, subjectieve beoordelingen van rapportkwaliteit of "LLM-as-a-Judge"-mechanismen die feitelijke claims niet objectief kunnen verifiëren tegen de brondata. Bovendien beperken huidige benchmarks de interacties van agenten doorgaans tot korte horizonnen (dozenden stappen), waardoor ze de complexiteit van autonome exploratie op lange termijn niet kunnen vastleggen.

Methodologie

Formalisering van Diep Data-onderzoek (DDR)

De auteurs formaliseren Diep Data-onderzoek (DDR) als een open-ended taak $I = \text{DDR}(\text{LLM}, D, T)$, waarbij een agent een gestructureerde database $D$ en een gereedschapsset $T$ (SQL en Python) krijgt, maar geen vooraf gedefinieerde vragen, doelen of interactielimieten.

• Input: Een minimale startprompt die een taakentiteit specificeert (bijvoorbeeld "Start met het analyseren van de gebruiker met userid=2048") en basisdatabase-metadata.
• Proces: De agent engageert zich in een ReAct-stijl interactielus $(r, t, o)$ over meerdere rondes, waarbij $r$ redenering is, $t$ gereedschapsinroeping en $o$ de observatie. De agent bepaalt autonoom wanneer de exploratie moet worden gestopt.
• Output: Twee soorten inzichten:
  1. Berichtgewijze Inzichten ($I_m$): Incrementele interpretaties van elke interactieronde.
  2. Trajectgewijze Inzichten ($I_t$): Een uitgebreid rapport dat de volledige exploratiegeschiedenis synthetiseert.

Opbouw van DDR-Bench

Om DDR te evalueren, introduceren de auteurs DDR-Bench, een grootschalige benchmark die bestaat uit drie verschillende real-world scenario's:

1. MIMIC-IV: Een gedepersonaliseerde database met Elektronische Gezondheidsdossiers (EHR). Agenten moeten patiëntzorgtrajecten reconstrueren en klinische inzichten extraheren uit gestructureerde tabellen en ongestructureerde klinische notities.
2. GLOBEM: Een dataset voor sport- en oefenpsychologie die draagbare sensorsignalen combineert met surveydata. Agenten moeten temporele patronen identificeren en gedragsdata koppelen aan psychologische toestanden.
3. 10-K: Financiële rapporten van Amerikaanse beursgenoteerde bedrijven, waarin gestructureerde XBRL-financiële staten zijn geïntegreerd met ongestructureerde tekstuele openbaarmakingen. Agenten moeten economische omstandigheden en financiële trends synthetiseren.

Evaluatiekader:

• Checklist-gebaseerde Verificatie: In plaats van subjectieve scoring gebruikt de benchmark factchecklists die zijn afgeleid van de ongestructureerde componenten van de databases (bijvoorbeeld klinische notities, surveyantwoorden, financiële openbaarmakingen).
• Objectieve Scoring: Voor elke taakentiteit wordt een checklist van verifieerbare feiten gegenereerd. Een LLM-as-a-Checker (GPT-5-mini) evalueert of de gegenereerde inzichten van de agent voldoende bewijs leveren om elk feitem te ondersteunen.
• Novelty-analyse: Om het beperking op te lossen dat checklists niet alle geldige inzichten kunnen dekken, voeren de auteurs paarwijze vergelijkingen uit van "nieuwe" inzichten (die niet zijn gebruikt voor checklistverificatie) om modellen te rangschikken op de bruikbaarheid van hun ongeverifieerde ontdekkingen.

Experimenteel Ontwerp

• Minimalistische Agent-schroef: De benchmark gebruikt een lichtgewicht ReAct-agent zonder extern geheugen, planningsmodules of complexe schroef om intrinsieke modelcapaciteiten te isoleren.
• Schaalanalyse: De studie onderzoekt prestaties over interactierondes, tokenverbruik en inferentiekosten.
• Ablatiestudies: De auteurs analyseren de impact van trainingsfactoren (parameterschaal, contextlengte, trainingsgeneraties) en agentmodules (geheugen, redeneerbudget) op de prestaties.

Belangrijkste Resultaten

Algemene Prestaties

• Beperkte Onderzoekende Agentie: Zelfs frontiermodellen worstelen met DDR. Alleen Claude 4.5 Sonnet bereikt een gemiddelde checklistnauwkeurigheid boven de 40% (47,73% overall). Andere topmodellen (GPT-5.2, DeepSeek-V3.2, GLM-4.6) scoren aanzienlijk lager.
• Discrepantie in Inzichttypes: De prestaties variëren tussen berichtgewijze ($I_m$) en trajectgewijze ($I_t$) inzichten, wat suggereert dat het integreren van globale context een ander uitdaging is dan incrementele analyse.
• Novelty-correlatie: Er is een sterke correlatie (Spearman $\rho > 0,72$) tussen checklistnauwkeurigheid en de bruikbaarheid van nieuwe inzichten, wat bevestigt dat checklist-gebaseerde evaluatie het dominante signaal van modelcapaciteit vastlegt.

Schaling en Dynamiek

• Interactieschaling: Prestaties volgen een sigmoid-curve. Hoogpresterende modellen (bijvoorbeeld Claude, GLM) vertonen vaak een vertraagde snelle verbetering, met een "plan-then-act"-dynamiek door impliciete planning in plaats van expliciete prompts.
• Token- en Kostenschaling: Prestatiewinsten worden onevenredig gedreven door late-stage, hoogwaardige tokens (diepe, gerichte queries) in plaats van vroege brede exploratie.
• Exploratiepatronen: Succesvolle modellen vertonen een gebalanceerd exploratieregime, waarbij ze een hoge database-coverage behouden met lage entropie (geconcentreerde toegang). Zwakkere modellen exploreren ofwel te smal of verdelen hun aandacht te diffuus.
• Zelfbeëindiging: Sterkere modellen tonen een hoger vertrouwen in zelfbeëindiging, terwijl zwakkere modellen fluctuerend vertrouwen vertonen, vaak voortijdig beëindigen of in een loop terechtkomen.

Analyse van Training en Modules

• Schalen is Niet Genoeg: Het vergroten van de parametersgrootte (bijvoorbeeld binnen de Qwen-familie) levert marginale winsten op (<3% verbetering voor een 10x parameterverhoging) zonder specifieke agent-training.
• Trainingsstrategie is Belangrijk: Modellen met "agentic-first" trainingsstrategieën (Qwen3 en Qwen3-Next) presteren aanzienlijk beter dan hun voorgangers, zelfs met minder geactiveerde parameters. Dit suggereert dat systematische agent-training (pre-training en versterkend leren) belangrijker is dan schaal of contextlengte.
• Agentmodules: Het toevoegen van extern geheugen of complexe planningsmodules verslechtert vaak de prestaties in vergelijking met de minimale ReAct-baseline, wat aangeeft dat huidige modellen meer profiteren van intrinsieke capaciteiten dan van externe schroef.

Falingsmodi en Hallucinaties

• Primaire Falen: 58% van de fouten komt voort uit onvoldoende exploratie (gebrek aan breedte of diepte), vaak door voortijdige zelfbeëindiging.
• Hallucinaties: Hallucinatierates zijn laag (<5% voor de meeste modellen) en tonen geen significante correlatie met nauwkeurigheid. Dit suggereert dat datacontaminatie geen primaire drijver is van prestatie-inflatie in deze setting.

Betekenis en Claims

Het paper claimt een rigoureus kader te hebben opgezet voor het evalueren van onderzoekende intelligentie, en dit te onderscheiden van uitvoeringsintelligentie. De belangrijkste bijdragen zijn:

1. Formalisering van DDR: Het definiëren van een open-ended setting waarin agenten gestructureerde data autonoom moeten verkennen zonder vooraf gedefinieerde doelen.
2. DDR-Bench: Het leveren van de eerste grootschalige, checklist-gebaseerde benchmark die een verifieerbare, objectieve evaluatie van data-exploratie op lange termijn mogelijk maakt.
3. Empirische Inzichten: Het onthullen dat huidige frontiermodellen, hoewel ze opkomende agentie vertonen, ver verwijderd zijn van het beheersen van diep data-onderzoek. De overgang naar effectieve onderzoekende intelligentie hangt minder af van externe schroef of eenvoudige parameterschaling, en meer van intrinsieke strategieën die zijn ontwikkeld door middel van agent-gerichte training.

De auteurs concluderen dat het vakgebied voorbij moet gaan aan query-response-afstemming naar trainingsparadigma's die end-to-end autonomie cultiveren, waardoor agenten proactief doelen kunnen definiëren en bruikbare inzichten kunnen halen uit grootschalige data.