Agentic coding without the cloud: evaluating open-weight large language models on longitudinal data preparation tasks

Technische Samenvatting: Agentic Coding zonder de Cloud

Probleemstelling
Kwantitatieve gezondheids- en sociale wetenschappen kampen met een hardnekkige bottleneck in de datapreparatie, een arbeidsintensief proces dat bestaat uit variabele hercodering, indexconstructie en multi-wave harmonisatie. Hoewel Large Language Models (LLMs) en agentic frameworks potentieel bieden voor automatisering, wordt de adoptie ervan in onderzoek met gevoelige persoonsgegevens beperkt door governance-vereisten. Trusted Research Environments (TREs) en data-toegangsovereenkomsten verbieden doorgaans het verzenden van gegevens op individueel niveau naar externe cloud-gebaseerde LLMs. Hoewel lokaal inzetbare open-weight modellen een privacy-beschermend alternatief bieden, richten bestaande benchmarks (bijv. HumanEval, SWE-bench) zich op algemene software engineering of Python, waardoor ze niet in staat zijn om de domeinspecifieke redenering te vatten die vereist is voor de preparatie van longitudinale surveydata in R, waarbij taken bestaan uit het interpreteren van imperfecte metadata en het reconciliëren van heterogene coderingssystemen.

Methodologie
De auteurs hebben een open-source framework ontwikkeld, RRBench, om de effectiviteit van open-weight LLMs op realistische datapreparatietaken binnen een lokale, air-gapped omgeving te evalueren.

• Ground-Truth Dataset: De benchmark maakt gebruik van de Next Steps Core dataset, een opgeschoonde, onderzoeks-gereed versie van een Britse longitudinale cohortstudie (leeftijden 14–32). De ground truth bestaat uit 20 afzonderlijke taken afgeleid van ervaren cohort-onderzoekers, bestaande uit de creatie van 102 variabelen binnen demografische, educatieve, gezondheids- en sociaaleconomische domeinen.
• Agentic Workflow: Het systeem maakt gebruik van SmolAgents, een lichtgewicht framework dat geen native tool-calling capaciteiten vereist, waardoor het gebruik van kleinere modellen op consumentenhardware mogelijk is. De agent ontvangt inputbestanden, metadata (in JSON-formaat met variabelenamen, labels en waarde-labels), en een taakprompt. De agent genereert, voert uit en debugt iteratief R-scripts binnen een gesloten lokale omgeving.
• Model Selectie: Acht open-weight modellen werden geëvalueerd, variërend van 8B tot 35B parameters, inclusief zowel dense als Mixture-of-Experts (MoE) architecturen (bijv. Gemma 4, Qwen3.5/3.6, Ministral). Modellen werden geselecteerd op basis van hun vermogen om contextvensters van ten minste 100.000 tokens aan te kunnen en hun recente release (binnen 12 maanden van mei 2026).
• Evaluatiemetrieken: Prestaties werden beoordeeld door de door LLM gegenereerde datasets te vergelijken met de door mensen gecureerde ground truth met behulp van:
  • Compleetheid (Completeness): Het aandeel van de verwachte variabelen die aanwezig zijn in de output.
  • Correctheid (Correctness): Het aandeel van de gerecupereerde variabelen die voldoen aan strikte overeenkomstdrempels (≥95% cel-niveau overeenkomst voor categorische data; genormaliseerde RMSE ≤10⁻⁴ voor continue data).
  • Gebalanceerde Prestatie (Balanced Performance): Het product van compleetheid en correctheid.
  • Downstream Impact: Regressieanalyses werden uitgevoerd om te meten hoe datafouten voortplanten in substantiële bevindingen (bijv. regressiecoëfficiënten voor BMI en inkomen).

Belangrijkste Resultaten

• Modelprestaties: State-of-the-art modellen in het bereik van 31–35B parameters (specifiek Gemma 4 31B en Qwen3.6-35B-A3B) behaalden de hoogste prestaties. Gemma 4 31B voltooide 75% van de taken volledig in één enkele pass, met een gebalanceerde variabele prestatie van 85,9% en een gemiddelde taakvoltooiingsgraad van 87,9%.
• Compleetheid vs. Correctheid: Terwijl de meeste modellen een hoge compleetheid bereikten (over het algemeen >95%), was correctheid de primaire differentiator. Kleinere modellen (bijv. Ministral-3-14B) produceerden vaak plausibel ogende maar incorrecte preprocessingsstappen, zoals het foutief labelen van ontbrekende waarden of het toepassen van incorrecte hercoderingslogica.
• Taakcomplexiteit: Prestaties waren sterk negatief gecorreleerd met taakcomplexiteit. Taken met universele definities (bijv. geslacht, BMI) werden betrouwbaar voltooid, zelfs door kleinere modellen. Daarentegen bleken taken die interpretatie van survey-specifieke metadata en complexe afleidingslogica vereisten (bijv. woonstatus, huishoudelijk inkomen) moeilijk; woonstatus werd door geen enkel model in geen enkele run volledig voltooid.
• Downstream Gevolgen: Datasets gegenereerd door het best presterende model (Gemma 4 31B) leverden regressiecoëfficiënten op die identiek waren aan de ground truth. In tegenstelling hiertoe bevatten datasets van zwakkere modellen "stille fouten" (bijv. incorrecte NA-afhandeling) die de regressiecoëfficiënten materieel veranderden, zoals het omkeren van de richting van een coëfficiënt voor economische activiteit.
• Prompt Sensitiviteit: Prestaties daalden significant bij het gebruik van "lite" prompts met minder expliciete instructies, wat de afhankelijkheid van de modellen van gedetailleerde begeleiding voor complexe afleidingslogica benadrukt.

Significantie en Claims
Het artikel beweert de eerste benchmark te bieden die specif으로 is ontworpen voor het evalueren van lokaal inzetbare LLMs op de preparatie van longitudinale surveydata in R. De primaire bijdrage is het aantonen dat open-weight modellen die draaien op consumentenhardware een hoge getrouwheid kunnen bereiken in datapreparatietaken zonder gevoelige gegevens naar de cloud te verzenden, wat een levensvatbaar pad biedt voor AI-ondersteund onderzoek onder strikte governance-kaders.

De auteurs benadrukken dat hoewel de meest performante modellen momenteel beperkt zijn tot high-end consumentenhardware (bijv. een enkele 24GB GPU), het framework bewijst dat lokale implementatie haalbaar is. Zij stellen dat het optimaliseren van metadata om het begrip van de LLM te verbeteren, grotere prestatiewinsten kan opleveren dan verbeteringen aan de modelzijde alleen. Het artikel concludeert dat hoewel deze modellen veelbelovend zijn voor "first-pass" scriptgeneratie, menselijke controle (human-in-the-loop) essentieel blijft, vooral voor kleinere modellen die gevoelig zijn voor stille fouten. Het framework wordt als open-source vrijgegeven om gemeenschapsadaptatie en expansie naar andere datasets en programmeertalen te faciliteren.