Agentic coding without the cloud: evaluating open-weight large language models on longitudinal data preparation tasks

Resumen Técnico: Codificación Agéntica sin la Nube

Planteamiento del Problema
Las ciencias cuantitativas de la salud y lo social enfrentan un cuello de botella persistente en la preparación de datos, un proceso laborioso que implica la recodificación de variables, la construcción de índices y la armonización de múltiples olas. Aunque los modelos de lenguaje de gran tamaño (LLM) y los marcos agénticos ofrecen una automatización potencial, su adopción en investigaciones que involucran datos personales sensibles está limitada por requisitos de gobernanza. Los Entornos de Investigación Confiables (TRE, por sus siglas en inglés) y los acuerdos de acceso a datos suelen prohibir la transmisión de datos a nivel individual a LLM externos basados en la nube. Aunque los modelos de pesos abiertos desplegables localmente ofrecen una alternativa que preserva la privacidad, los benchmarks existentes (p. ej., HumanEval, SWE-bench) se centran en la ingeniería de software general o en Python, fallando en capturar el razonamiento específico del dominio requerido para la preparación de datos de encuestas longitudinales en R, donde las tareas implican la interpretación de metadatos imperfectos y la reconciliación de sistemas de codificación heterogéneos.

Metodología
Los autores desarrollaron un marco de código abierto, RRBench, para evaluar la eficacia de los LLM de pesos abiertos en tareas realistas de preparación de datos dentro de un entorno local y aislado (air-gapped).

• Conjunto de Datos de Verdad Fundamental (Ground-Truth): El benchmark utiliza el conjunto de datos Next Steps Core, una versión limpia y lista para la investigación de un estudio de cohorte británico longitudinal (edades 14–32). La verdad fundamental consiste en 20 tareas distintas derivadas de investigadores experimentados de la cohorte, que involucran la creación de 102 variables en los dominios demográfico, educativo, de salud y socioeconómico.
• Flujo de Trabajo Agéntico: El sistema emplea SmolAgents, un marco ligero que no requiere capacidades nativas de llamada a herramientas (tool-calling), lo que permite el uso de modelos más pequeños en hardware de consumo. El agente recibe archivos de datos de entrada, metadatos (en formato JSON que contiene nombres de variables, etiquetas y etiquetas de valores) y un prompt de tarea. Genera, ejecuta e itera la depuración de scripts de R dentro de un entorno local cerrado.
• Selección de Modelos: Se evaluaron ocho modelos de pesos abiertos, que van desde 8B hasta 35B de parámetros, incluyendo arquitecturas tanto densas como de Mezcla de Expertos (MoE) (p. ej., Gemma 4, Qwen3.5/3.6, Ministral). Los modelos se seleccionaron basándose en su capacidad para manejar ventanas de contexto de al menos 100,000 tokens y su lanzamiento reciente (dentro de los 12 meses previos a mayo de 2026).
• Métricas de Evaluación: El rendimiento se evaluó comparando los conjuntos de datos generados por el LLM contra la verdad fundamental curada por humanos utilizando:
  • Completitud (Completeness): La proporción de variables esperadas presentes en la salida.
  • Corrección (Correctness): La proporción de variables recuperadas que cumplen con umbrales de acuerdo estrictos (≥95% de acuerdo a nivel de celda para categóricas; RMSE normalizado ≤10⁻⁴ para continuas).
  • Rendimiento Balanceado (Balanced Performance): El producto de la completitud y la corrección.
  • Impacto en Etapas Posteriores (Downstream Impact): Se realizaron análisis de regresión para medir cómo los errores de datos se propagan hacia hallazgos sustantivos (p. ej., coeficientes de regresión para IMC e ingresos).

Resultos Clave

• Rendimiento de los Modelos: Los modelos de vanguardia en el rango de 31–35B de parámetros (específicamente Gemma 4 31B y Qwen3.6-35B-A3B) alcanzaron el mayor rendimiento. Gemma 4 31B completó el 75% de las tareas totalmente en una sola pasada, con un rendimiento de variables balanceado del 85.9% y una tasa de finalización de tareas promedio del 87.9%.
• Completitud vs. Corrección: Mientras que la mayoría de los modelos lograron una alta completitud (generalmente >95%), la corrección fue el principal diferenciador. Los modelos más pequeños (p. ej., Ministral-3-14B) produjeron frecuentemente pasos de preprocesamiento que parecían plausibles pero eran incorrectos, tales como el etiquetado erróneo de valores faltantes o la aplicación de una lógica de recodificación incorrecta.
• Complejidad de la Tarea: El rendimiento mostró una fuerte correlación negativa con la complejidad de la tarea. Las tareas que involucran definiciones universales (p. ej., sexo, IMC) fueron completadas de manera confiable incluso por modelos más pequeños. Por el contrario, las tareas que requieren la interpretación de metadatos específicos de la encuesta y lógica de derivación compleja (p. ej., tenencia de vivienda, ingresos del hogar) resultaron difíciles; la tenencia de vivienda no fue completada totalmente por ningún modelo en ninguna ejecución.
• Consecuencias en Etapas Posteriores: Los conjuntos de datos generados por el modelo con mejor rendimiento (Gemma 4 31B) arrojaron coeficientes de regresión idénticos a la verdad fundamental. En contraste, los conjuntos de datos de modelos más débiles contenían "errores silenciosos" (p. ej., manejo incorrecto de NA) que alteraron materialmente los coeficientes de regresión, como revertir la dirección de un coeficiente de actividad económica.
• Sensibilidad al Prompt: El rendimiento disminuyó significamente al utilizar prompts "lite" con menos instrucciones explícitas, resaltando la dependencia de los modelos hacia una guía detallada para la lógica de derivación compleja.

Significancia y Reivindicaciones
El artículo afirma proporcionar el primer benchmark diseñado específicamente para evaluar LLM desplegables localmente en la preparación de datos de encuestas longitudinales en R. Su contribución principal es demostrar que los modelos de pesos abiertos que se ejecutan en hardware de consumo pueden lograr una alta fidelidad en las tareas de preparación de datos sin transmitir datos sensibles a la nube, ofreciendo un camino viable para la investigación asistida por IA bajo marcos de gobernanza estrictos.

Los autores enfatizan que, si bien los modelos más performantes están actualmente restringidos a hardware de consumo de gama alta (p. ej., una sola GPU de 24GB), el marco demuestra que el despliegue local es factible. Argumentan que optimizar los metadatos para ayudar a la comprensión del LLM puede generar mayores ganancias de rendimiento que las mejoras del lado del modelo por sí solas. El artículo concluye que, aunque estos modelos muestran promesa para la generación de scripts de "primera pasada", la revisión humana en el bucle (human-in-the-loop) sigue siendo esencial, particularmente para los modelos más pequeños propensos a errores silenciosos. El marco se libera como código abierto para facilitar la adaptación y expansión de la comunidad a otros conjuntos de datos y lenguajes de programación.