The State of Open Science in Software Engineering Research: A Case Study of ICSE Artifacts
Este estudio evalúa la ejecutabilidad y reproducibilidad de 100 paquetes de replicación de ICSE (2015-2024), revelando que solo el 40% son totalmente ejecutables y apenas el 35% de estos reproducen los resultados originales, lo que destaca una brecha crítica entre la disponibilidad de artefactos y su utilidad práctica en la investigación de ingeniería de software.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
¡Hola! Imagina que la investigación científica en ingeniería de software es como una receta de cocina de alta gama.
En los últimos años, los chefs (los investigadores) han empezado a compartir sus recetas (sus artículos científicos) y hasta han puesto los ingredientes en una caja (el "artefacto" o paquete de replicación) para que cualquiera pueda intentar cocinar el mismo plato. Esto es lo que llamamos "Ciencia Abierta". La idea es que, si todos pueden cocinar el mismo plato, podemos verificar que el sabor es real y que la receta funciona.
Pero, ¿qué pasa cuando intentas cocinar esas recetas en tu propia cocina?
Este estudio, realizado por tres investigadores de la Universidad de Saskatchewan, decidió poner a prueba 100 de estas "cajas de ingredientes" (provenientes de la conferencia más prestigiosa del mundo, ICSE) para ver si realmente funcionaban. Gastaron unas 650 horas (como si una persona trabajara 16 semanas sin parar) intentando ejecutar estos códigos.
Aquí tienes los hallazgos principales, explicados de forma sencilla:
1. El problema de la "Caja Rota" (Ejecutabilidad)
De las 100 cajas que intentaron abrir:
- Solo 40 funcionaron (40%).
- De esas 40 que funcionaron, solo 13 salieron perfectas sin tener que arreglar nada (32.5%).
- El resto requirió mucho trabajo: cambiar cables, buscar piezas faltantes o incluso reescribir partes de la receta.
La analogía: Es como comprar un mueble de IKEA que dice "fácil de montar". Al abrir la caja, te das cuenta de que faltan tornillos, las instrucciones están en un idioma que no entiendes o las piezas no encajan. Tienes que gastar horas buscando en Google, improvisando con cinta adhesiva o llamando a un amigo experto para que te ayude.
2. ¿Por qué fallan? (Los obstáculos)
Los investigadores encontraron tres tipos de problemas principales que impedían que la "receta" funcionara:
- El "Entorno Fantasma": Muchos investigadores no especifican qué herramientas necesitan. Es como si la receta dijera "hornea el pastel" pero no dijera si necesitas un horno de gas, eléctrico, a qué temperatura o si necesitas un molde especial. Si intentas hacerlo en tu cocina estándar, el pastel se quema o no sube.
- Instrucciones Borroneadas: A veces las instrucciones son confusas, faltan pasos clave o están desordenadas. Es como leer una receta que dice "mezcla todo" pero no dice qué ingredientes ni en qué orden.
- Piezas Obsoletas o Perdidas: A veces faltan archivos importantes (como los ingredientes) o las herramientas que usaron hace 5 años ya no existen o han cambiado. Es como intentar usar un disco de vinilo de 1990 en un reproductor de 2024 sin el adaptador correcto.
3. El gran engaño: "Funciona" no significa "Es igual" (Reproducibilidad)
Este es el punto más sorprendente. Incluso de las 40 cajas que lograron hacer funcionar el código:
- Solo el 35% produjo los mismos resultados que el artículo original.
- El resto produjo resultados diferentes, o simplemente no dio ningún resultado útil.
La analogía: Imagina que logras armar el mueble (ejecutar el código), pero al final, la silla tiene cuatro patas en lugar de tres, o el color es azul en lugar de rojo. ¡Funciona, pero no es lo que prometió el autor original! Esto pone en duda la credibilidad de la investigación.
4. ¿Qué proponen para arreglarlo? (Las 3 Reglas de Oro)
Para que la ciencia sea realmente útil y confiable, los autores proponen tres reglas simples para los investigadores:
- Escribe una receta completa (Documentación): No asumas que el lector sabe lo que tú sabes. Escribe claramente: qué computadora necesitas, qué programas instalar, paso a paso cómo ejecutarlo y cómo verificar que el resultado es correcto.
- Prueba en una cocina limpia (Entorno Aislado): Antes de enviar tu receta, pruébala en una cocina donde no tengas tus propios utensilios favoritos escondidos. Si funciona en una cocina vacía y limpia, funcionará en cualquier otra. Esto evita que dependas de cosas que solo tienes en tu casa.
- Entrega la caja y el plano (Código y Contenedores): Envía el código fuente (los ingredientes crudos) para que la gente pueda entenderlo y mejorarlo, pero también entrega un "contenedor" (como una caja lista para usar, tipo Docker) que tenga todo el entorno ya configurado para que cualquiera pueda ejecutarlo sin dolores de cabeza.
Conclusión
El estudio nos dice que compartir el código no es suficiente. Si compartes una receta que no se puede cocinar o que da un resultado diferente al prometido, no estás ayudando a la ciencia, solo estás creando confusión.
La verdadera "Ciencia Abierta" no es solo abrir la caja, sino asegurarse de que, al abrirla, cualquiera pueda cocinar el mismo plato delicioso y seguro que el chef original.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.