Citation language changes little after findings fail to replicate: a longitudinal analysis
Un análisis longitudinal de más de 15.000 oraciones citadas revela que los artículos posteriores rara vez ajustan su lenguaje para reflejar replicaciones fallidas o mencionan evidencia conflictiva, ofreciendo a los lectores poca indicación de si los hallazgos originales han sido replicados con éxito.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo
La ciencia se imagina a menudo como una máquina autocorregible, donde la nueva evidencia actualiza automáticamente nuestra comprensión del mundo. Cuando un estudio se repite y no logra producir el mismo resultado, la expectativa es que la comunidad científica lo note, haga una pausa y ajuste la forma en que habla de ese hallazgo original. Este proceso depende del lenguaje que los investigadores utilizan al citar trabajos previos. Si se ha demostrado que una afirmación es inestable, las oraciones que describen ese hallazgo en nuevos artículos deberían, idealmente, volverse más cautelosas o, al menos, mencionar que el resultado original no pudo ser confirmado. Así es como se supone que el conocimiento debe evolucionar: no borrando el pasado, sino refinando la descripción de lo que sabemos y de lo que no sabemos.
Un equipo de investigadores se propuso probar si esta autocorrección realmente ocurre de la manera en que esperamos. Se centraron en una pregunta específica: cuando un intento importante y planificado de repetir un estudio famoso falla, ¿cambian los autores de artículos posteriores las palabras que utilizan para describir ese hallazgo original? Para encontrar la respuesta, analizaron una gran colección de afirmaciones científicas de la psicología, la economía y las ciencias sociales. Identificaron 110 estudios originales que habían formado parte de tres grandes proyectos de replicación. Para cada uno de estos estudios, recopilaron miles de oraciones de artículos posteriores que citaban el trabajo original. Luego, utilizaron modelos computacionales avanzados para leer estas oraciones y calificarlas en una escala de certeza, midiendo qué tan definitivamente los autores enunciaban la afirmación original. Compararon el lenguaje utilizado para los hallazgos que no lograron replicarse frente al lenguaje utilizado para los hallazgos que se repitieron con éxito.
Los resultados revelaron una falta de cambio sorprendente. Los investigadores encontraron que la redacción utilizada para describir los hallazgos fallidos permanecía casi idéntica a la redacción utilizada para los exitosos. Incluso años después de que un intento de replicación demostrara que un resultado original no podía reproducirse, los artículos posteriores continuaban enunciando esos hallazgos con el mismo nivel de confianza. Los modelos computacionales no detectaron ningún cambio significativo hacia un lenguaje más cauteloso. De hecho, la diferencia en la certeza entre los dos grupos fue tan pequeña que era estadísticamente indistinguible de cero. El estudio también buscó menciones explícitas del fallo. Encontraron que, en la gran mayoría de los casos, los autores no mencionaron el fallo de replicación en absoluto. Solo una pequeña fracción de las oraciones, aproximadamente tres de cada cien o cinco de cada cien, reconocía que el hallazgo original había sido cuestionado o contradicho.
Este patrón se mantuvo a lo largo del tiempo. Los investigadores rastrearon el lenguaje utilizado en los ocho a once años posteriores a la publicación de los resultados de la replicación. No encontraron una deriva gradual hacia la cautela. Las oraciones que describían las afirmaciones fallidas no se volvieron más suaves o calificadas a medida que pasaba el tiempo. Los autores del estudio sugieren que esto podría deberse a que los investigadores suelen reutilizar frases establecidas sin volver a leer la evidencia original o comprobar si existen nuevos datos contradictorios. La descripción original de un hallazgo puede convertirse en una parte fija del registro científico, transmitiéndose de artículo en artículo como una referencia estándar, independientemente de si la evidencia subyacente ha sido sacudida.
El estudio no afirma que los científicos estén ignorando la evidencia de forma deliberada, sino más bien que el sistema de cómo se comunican los hallazgos posee una especie de inercia. Incluso cuando un hallazgo demuestra ser poco fiable, la forma en que se describe en la nueva investigación suele permanecer inalterada. Esto tiene implicaciones para la forma en que leemos la ciencia y para cómo podríamos construir herramientas que nos ayuden a entenderla. Si el lenguaje de la ciencia no refleja automáticamente cuando un hallazgo ha fallado, entonces los lectores, los editores e incluso los sistemas de inteligencia artificial podrían ser engañados haciéndoles creer que una afirmación es más sólida de lo que realmente es. Los investigadores concluyen que, para que la ciencia se autocorrija verdaderamente, es posible que necesitemos mejores formas de vincular los estudios originales directamente con sus resultados de replicación, asegurando que la historia de un hallazgo incluya sus fracasos, no solo su éxito inicial.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.