On the Abolition of the "ICSE Paper" and the Adoption of the "Registered Proposal" and the "Results Report"
Para abordar el ciclo vicioso de la novedad y la crisis de replicabilidad en la investigación de la ingeniería de software, este artículo propone abolir el formato tradicional de los artículos de la ICSE en favor de un sistema de dos niveles que comprende "Propuestas Registradas" revisadas por pares y posteriores "Reportes de Resultados", una reforma disruptiva respaldada por las respuestas de encuestas de la comunidad.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina el mundo de la investigación en ingeniería de software como un concurso de cocina de alto nivel, como MasterChef. En este momento, las reglas del concurso están rotas, y los autores de este artículo, Fabio y Winnie, proponen una nueva forma radical de dirigir el espectáculo para solucionar dos problemas principales: resultados falsos y comportamiento de grupos cerrados (cliques).
Aquí está el desglose de su propuesta en términos sencillos:
El Problema Actual: El Modelo de "Un Solo Chef"
Actualmente, si un investigador (llamémosle Chef A) quiere publicar un artículo, tiene que hacer todo por sí mismo:
- Idear una nueva receta (una nueva idea).
- Cocinar el plato (ejecutar el experimento).
- Probarlo y decir: "¡Está delicioso!" (validar los resultados).
Los Problemas:
- La "Trampa de la Novedad": Los jueces (revisores) están obsesionados con encontrar la receta más nueva. No les importa si el plato realmente sabe bien o si funciona en un restaurante real. Solo quieren algo "nuevo". Esto genera muchos platos "de juguete" que parecen elegantes pero se desmoronan cuando intentas comerlos.
- El Problema de los "Grupos Cerrados": Si el Chef A es un chef celebridad famoso y galardonado, los jueces rara vez cuestionan sus platos. Si un chef joven y desconocido intenta decir: "En realidad, la receta del Chef A está quemada", lo rechazan porque no es lo suficientemente famoso.
- La Crisis de la "Nevera Perdida": A veces, el Chef A afirma que su plato es increíble, pero cuando le pides los ingredientes para probarlo tú mismo, dice: "Oh, mi nevera se rompió y perdí la receta". Esto sucede a menudo, y hace que sea imposible confiar en los resultados.
La Solución Propuesta: El Sistema de "Dos Pasos"
Los autores quieren abolir el formato actual de "un solo artículo" y reemplazarlo con un sistema de dos niveles, similar a cómo se aprueba un proyecto de construcción en dos etapas: El Plano y La Construcción.
Paso 1: La "Propuesta Registrada" (El Plano)
- Qué es: Un investigador presenta un plan detallado antes de realizar el trabajo. Dice: "Aquí está mi nueva idea, y así es exactamente como la probaré".
- La Regla: Los jueces revisan el plan. Si el plan es sólido, lógico e interesante, lo aprueban.
- El Cambio: En esta etapa, nadie ha cocinado el plato todavía. Solo están de acuerdo en que la receta debería funcionar si se sigue correctamente. Esto evita que la gente cambie las reglas después de ver los resultados.
Paso 2: El "Informe de Resultados" (La Construcción)
- Qué es: Este es el gran cambio. Cualquiera puede tomar ese plano aprobado e intentar construirlo.
- Podría ser el autor original (Chef A).
- Podría ser un chef rival (Chef B) intentando demostrar que el Chef A está equivocado.
- Podría ser un equipo de estudiantes.
- La Regla: Ellos presentan un informe corto diciendo: "Seguimos el plano. Esto fue lo que pasó".
- Si funciona: ¡Genial! Tenemos un resultado verificado y confiable.
- Si falla: ¡También es genial! Ahora sabemos que la idea no funciona, y así ahorramos tiempo a todos.
- La Regla de "Cualquiera": A diferencia de los sistemas actuales donde solo el autor original puede publicar los resultados finales, aquí, cualquiera puede intentar replicar el trabajo. Si tres equipos diferentes construyen lo mismo y funciona, sabemos que es real. Si todos fallan, sabemos que la idea era defectuosa.
Por qué esto soluciona los problemas
- Elimina la "Nevera Perdida": Si el autor original pierde sus datos, no importa. Debido a que otros equipos también construyeron la cosa basándose en el mismo plano, los resultados siguen existiendo. Es como tener a varias personas construyendo el mismo puente; si uno colapsa, los otros demuestran si el diseño funciona (o no).
- Rompe los "Grupos Cerrados": Un profesor famoso no puede simplemente decir: "Confíen en mí, mi idea funciona". Si un investigador joven intenta construir lo mismo y falla, el artículo se publica de todos modos. El sistema valora la verdad por encima de la fama.
- Separa lo "Nuevo" de lo "Bueno":
- La etapa de Propuesta recompensa la Novedad (¿Es la idea interesante?).
- La etapa de Resultados recompensa el Rigor (¿Realmente funciona?).
- Actualmente, intentamos juzgar ambos al mismo tiempo, lo que genera confusión. Esto los separa.
La Conclusión
Los autores sugieren que dejemos de tratar los artículos de investigación como un producto único y terminado y empecemos a tratarlos como un proyecto de construcción pública.
- Primero, aprobamos los planos (La Propuesta).
- Luego, dejamos que todos intenten construirlo (El Informe de Resultados).
Si el edificio se mantiene en pie, lo usamos. Si se cae, aprendemos por qué. Esto asegura que las herramientas y métodos de software que usamos en el mundo real sean realmente confiables, no solo "nuevos y brillantes".
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.