Imagina la ciencia como un gigantesco juego global de "Teléfono Descompuesto", pero en lugar de pasar un susurro a lo largo de una línea, los científicos se pasan ideas y experimentos complejos por todo el mundo. En el campo de la ingeniería de software, los investigadores construyen herramientas, prueban teorías y escriben código para resolver problemas. Pero aquí está el truco: el hecho de que un equipo diga: "¡Oye, este código funciona perfectamente!" no significa que le funcionará a todos los demás. Ahí es donde entra la replicación. La replicación es como pedirle a un grupo diferente de amigos que juegue al mismo juego con las mismas reglas para ver si obtienen la misma puntuación. Es la comprobación definitiva de la verdad. Si el primer equipo gana, y el segundo equipo también gana, podemos estar bastante seguros de que el juego no está amañado. Pero si el segundo equipo pierde, o obtiene una puntuación extrañamente diferente, tenemos que preguntarnos: ¿Jugaron mal? ¿Tuvo suerte el primer equipo? ¿O es el juego demasiado difícil de jugar de la misma manera dos veces?

La gran pregunta que ha estado inquietando a los científicos es: ¿Cómo decidimos si el segundo equipo realmente "ganó" o "perdió"? En el pasado, era como un árbitro gritando "¡Gol!" o "¡No Gol!" basándose en una corazonada, o tal vez simplemente mirando el marcador y diciendo: "Bueno, están lo suficientemente cerca, supongo". Pero sin un libro de reglas claro, un árbitro podría declarar un juego como un éxito mientras que otro lo llama un fracaso, incluso si las puntuaciones son idénticas. Esto hace que sea imposible construir una pila de conocimiento fiable, porque no sabemos qué juegos valen realmente la pena jugar de nuevo.

El Misterio del Gran Marcador

En este artículo, Giuseppe Destefanis, Martin Shepperd y Leila Yousefi decidieron actuar como detectives para resolver el misterio de cómo los ingenieros de software están juzgando estos juegos de replicación. No inventaron un nuevo juego; simplemente analizaron las tarjetas de puntuación de los últimos años (específicamente estudios publicados entre 2021 y 2025) para ver cómo estaban haciendo su trabajo los árbitros.

Encontraron un total de 10 estudios recientes que intentaron replicar experimentos previos de software. Cuando empezaron a leer las tarjetas de puntuación, se dieron cuenta de que los árbitros estaban utilizando una mezcla caótica de reglas. Era como si algunos árbitros usaran una regla, otros un Magic 8-Ball, y otros simplemente estuvieran adivinando basándose en la apariencia de los jugadores.

El Caos en el Marcador
Los autores descubrieron que la forma en que se juzgaron estos estudios era errática.

• El Problema del "Sentimiento Intuitivo": En varios casos, los investigadores simplemente utilizaron el "juicio de expertos". Esto es como un árbitro que dice: "Vi el juego y me pareció que fue una victoria", sin mostrar ningún número ni explicar el porqué. En 3 de los 10 estudios, la razón del veredicto final ni siquiera se declaró claramente. ¡Era una caja misteriosa!
• La Trampa de la "Mezcla": Tres estudios decidieron saltarse la pregunta de "¿Funcionó esta replicación específica?" y, en su lugar, simplemente volcaron todos los datos del juego original y los nuevos juegos en una gran olla para obtener un promedio. Los autores llaman a esto "agrupación" (pooling). Aunque mezclar datos puede ser útil más adelante, el artículo argumenta que no se puede saltar el paso de comprobar si el nuevo juego realmente coincidió con el anterior. Es como decir: "No sabemos si este nuevo jugador es bueno, ¡pero si mezclamos sus estadísticas con las del equipo antiguo, el promedio parece estar bien!".
• Las Herramientas Faltantes: El artículo señala que los árbitros no estaban utilizando las mejores herramientas disponibles. No utilizaban "intervalos de predicción" (que son como dibujar una zona de seguridad en el marcador para ver si la nueva puntuación encaja dentro del rango esperado) ni "métodos bayesianos" (una forma sofisticada de actualizar tus creencias a medida que llega nueva evidencia). En su lugar, a menudo dependían de comprobaciones simples de "sí/no" que podrían pasar por alto los matices de la situación.

Los Veredictos Estaban por Todas Partes
Cuando los autores observaron los resultados finales de estos 10 estudios, las respuestas fueron confusas:

• 5 estudios dijeron que la replicación fue "parcial" o "mixta".
• 2 dijeron que fue un "éxito".
• 1 dijo que "falló".
• 1 dijo que fue "inconcluso".
• 1 estudio ni siquiera dio un veredicto final, ¡a pesar de haber realizado 11 experimentos nuevos!

El mayor problema que encontraron los autores fue que, sin reglas claras escritas antes de que comenzara el juego, es imposible saber si un "éxito" es real o solo un golpe de suerte. Por ejemplo, un estudio afirmó que una replicación fue exitosa solo porque un experto sintió que lo fue, sin decir qué números habrían hecho que fuera un fracaso. Otro estudio comparó dos números pero no dijo qué tan cerca debían estar para contar como una coincidencia.

El Nuevo Libro de Reglas

Debido a este desorden, los autores proponen un nuevo conjunto de cuatro principios para arreglar las tarjetas de puntuación. No están diciendo que hayan resuelto todo el problema, sino que ofrecen un punto de partida para hacer las cosas más justas.

1. Escribe las Reglas Primero: Antes de siquiera mirar los resultados, debes escribir exactamente qué cuenta como una victoria y qué cuenta como una derrota. No puedes decidir las reglas después de que el juego terminó solo porque te gusta el resultado.
2. Comprueba el "Ajuste", No Solo la "Victoria": En lugar de preguntar "¿Obtuvieron una puntuación alta?", pregunta "¿Encaja la nueva puntuación dentro de la zona de seguridad de la puntuación antigua?". Se trata de ver si los resultados son compatibles, no solo si son estadísticamente significativos.
3. No Te Saltes la Comprobación: No puedes simplemente mezclar todos los datos (agruparlos) para evitar el trabajo duro de comprobar si el nuevo experimento realmente funcionó. Tienes que comprobar el juego individual primero.
4. Está Bien Decir "No lo Sé": Si los datos son demasiado difusos o los números son demasiado amplios, es mejor decir que el resultado es "inconcluso" que forzar un veredicto de "éxito" o "fracaso". Admitir la incertidumbre es más honesto que pretender que sabes algo que no sabes.

Para mostrar cómo funciona esto, los autores tomaron uno de los estudios confusos (donde un experto simplemente dijo "¡Funcionó!") y lo reevaluaron usando sus nuevas reglas. Bajo el nuevo sistema, debido a que el estudio original no escribió las reglas ni los números, el veredicto cambiaría de "Éxito" a "Inconcluso". Esto no significa que el experimento falló; simplemente significa que aún no tenemos suficiente información para decir que funcionó.

La Conclusión

El artículo concluye que, en este momento, la replicación en la ingeniería de software es un poco como un juego donde los árbitros inventan las reglas sobre la marcha. Al adoptar estos nuevos principios —escribir las reglas por adelantado, comprobar la compatibilidad y ser honestos sobre la incertidumbre— podemos empezar a construir una pila de conocimiento en la que todos podamos confiar. Los autores admiten que solo analizaron 10 estudios, por lo que esto es solo el comienzo de la conversación, no la respuesta final. Pero si queremos saber qué herramientas y teorías de software son verdaderamente fiables, debemos dejar de adivinar y empezar a jugar con un libro de reglas claro y compartido.