Towards Automatically Inferring Constraints to Identify Implicit Assumptions in Data Analysis

Resumen Técnico: Hacia la Inferencia Automática de Restricciones para Identificar Supuestos Implícitos en el Análisis de Datos

Planteamiento del Problema
Los lenguajes de análisis de datos de alto nivel (p. ej., R, Python) y los entornos de cuadernos o notebooks (p. ej., Jupyter, Quarto) son ampliamente utilizados por expertos en el dominio que a menudo carecen de una formación formal en ingeniería de software. En consecuencia, los artefactos de análisis (scripts y cuadernos) sufren frecuentemente de graves problemas de reproducibilidad y reutilización. Los estudios indican que entre el 65% y el 77% de los artefactos analizados fallan al ejecutarse debido a dependencias faltantes, órdenes de ejecución incorrectos o pasos de configuración no documentados. Además, la reutilización de código se ve obstaculizada por el hecho de que una parte significativa de los fragmentos de código compartidos son clones que no contienen lógica única, fallando a menudo al aplicarse a diferentes conjuntos de datos o contextos.

Los autores plantean estas dificultades no meramente como errores técnicos, sino como supuestos implícitos realizados por los autores originales. Estos supuestos varían desde versiones específicas de paquetes e intérpretes hasta la forma esperada de los datos de entrada y pasos de configuración manual. Las herramientas existentes para la reproducibilidad abordan síntomas específicos (p. ej., reconstrucción del entorno o linting), pero no logran proporcionar un enfoque unificado y sistemático para identificar, documentar y validar estos supuestos implícitos, particularmente en lo que respecta a sus interacciones.

Metodología
El artículo propone una perspectiva unificada que trata los supuestos implícitos como restricciones de código que pueden identificarse y hacerse explícitas mediante análisis estático. La metodología central consiste en:

1. Marco de Inferencia de Restricciones: Los autores diferencian entre dos escenarios de análisis:

   • Análisis Preventivo: Realizado dentro del entorno de ejecución original donde los datos y las dependencias son conocidos. El objetivo es asegurar que el script sea autónomo y cumpla con los principios FAIR.
   • Análisis Retroactivo: Realizado cuando el entorno original es desconocido o los datos están parcialmente disponibles. El objetivo es inferir las restricciones para reconstruir entornos ejecutables o validar la reutilización en nuevos contextos (reproducción, replicación o reutilización).

2. Técnicas de Análisis Estático: El enfoque aprovecha la interpretación abstracta y el análisis de flujo de datos para inferir valores, tipos y dependencias sin ejecutar el código. Los autores utilizan flowR, un marco de análisis estático de programas para R, como una prueba de concepto de implementación.

3. Estrategia de Inferencia de Tres Pasos:

   • Inferencia de Versiones de Paquetes (A1–A3): El sistema identifica todas las dependencias (librerías cargadas directamente, vía :: o indirectamente) y rastrea firmas de funciones, uso de clases e inicialización de objetos globales. Al comparar esto con las API de los paquetes disponibles y los árboles de dependencias, el sistema infiere las restricciones mínimas de versión para los paquetes y el intérprete.
   • Identificación de Interdependencias de Scripts (A4, A7): Los autores proponen construir un grafo de dependencia de programas para cada script, siguiendo las llamadas source explícitas y rastreando variables globales. Esto permite al sistema vincular variables no definidas con definiciones en otros scripts, identificar dependencias de lectura/escritura de archivos y determinar órdenes de ejecución topológicos válidos.
   • Inferencia de Expectativas de Forma de Datos (A5, A6, A8–A10): Utilizando nuevos dominios abstractos, el sistema rastrea la forma de los data frames (nombres de columnas, tipos, conteos) a medida que son manipulados. Infiere las expectativas para funciones estadísticas (p. ej., una prueba t que requiere un factor con dos niveles) e inserta guardas dinámicas (verificaciones) en el artefacto para validar la conformidad de los datos en tiempo de ejecución.

Contribuciones Clave

• Perspectiva Unificada: El artículo introduce los "supuestos implícitos" como un marco integral para categorizar los desafíos de la reproducibilidad en la ciencia de datos, yendo más allá de las correcciones aisladas hacia una visión holística de las restricciones.
• Enfoque de Análisis Estático: Propone el uso de análisis estático (específicamente interpretación abstracta) para inferir automáticamente estos supuestos y transformarlos en restricciones de código explícitas.
• Implementación de Prueba de Concepto: Los autores proporcionan una implementación exploratoria basada en flowR. Evaluaron este enfoque en 8,160 proyectos reales de R (33,336 archivos) extraídos de repositorios como Zenodo y Harvard Dataverse.
• Hallazgos Empíricos: La evaluación reveló que el 14.6% de los proyectos analizados contienen interdependencias implícitas entre scripts, lo que destaca la prevalencia del problema que la metodología pretende resolver.

Resultados y Limitaciones
El artículo presenta una "prueba de concepto" en lugar de una herramienta de producción totalmente madura. La implementación inicial demuestra con éxito la viabilidad de inferir solicitudes de librerías, rastrear la forma de los data frames e identificar interdependencias de scripts. Sin embargo, los autores reconocen explícitamente las limitaciones:

• Teorema de Rice: La inferencia de supuestos implícitos está intrínsecamente limitada por el teorema de Rice, lo que significa que una solución universal es imposible; el enfoque depende de heurísticas derivadas del análisis de artefactos reproducibles e irreproducibles.
• Alcance: La implementación actual se centra en R, aunque los autores argumentan que los desafíos son independientes del lenguaje.
• Humano en el Bucle (Human-in-the-Loop): El sistema puede detectar supuestos que no puede resolver automáticamente, requiriendo intervención humana.

Significancia
Los autores afirman que su trabajo ofrece una perspectiva novedosa y unificada sobre la reproducibilidad en el análisis de datos. Al convertir los supuestos silenciosos en restricciones explícitas y legibles por máquina, el enfoque busca:

1. Automatizar la Transformación: Convertir scripts no ejecutables en artefactos ejecutables mediante la generación de las especificaciones de entorno necesarias.
2. Validación Dinámica: Servir como verificaciones en tiempo de ejecución para asegurar que las condiciones de los datos y el entorno se cumplan antes de la ejecución.
3. Documentación Mejorada: Actuar como documentación viva para apoyar la comprensión del código y su reutilización en diferentes proyectos y conjuntos de datos.

El artículo concluye que, si bien la detección de supuestos implícitos es un paso significativo, el trabajo futuro debe centrarse en refinar las heurísticas, ampliar la cobertura a todos los tipos de supuestos y evaluar la utilidad de estas restricciones mediante estudios de usuario y fuzzing de conjuntos de datos.