Obvious Objectivity of Quantification and the Replication Crisis: the exemple of Human Resource Management Research

En el mundo de la gestión empresarial, existe la fuerte creencia de que los números dicen la verdad. Cuando una empresa quiere comprender a sus empleados, a menudo recurre a encuestas donde las personas califican sus sentimientos en una escala del uno al cinco, o de "totalmente en desacuerdo" a "totalmente de acuerdo". Estas calificaciones se introducen luego en programas informáticos que procesan los números para encontrar patrones, probar ideas y declarar qué es lo que ocurre en el trabajo de las personas. Este enfoque, conocido como investigación cuantitativa, se ha convertido en el estándar para estudiar los recursos humanos. Promete un nivel de objetividad y precisión que se siente científico, de forma muy parecida a medir la temperatura o el peso de un objeto. Sin embargo, un número creciente de científicos está preocupado por la posibilidad de que esta confianza en los números sea errónea. Argumentan que las herramientas utilizadas para medir los pensamientos y comportamientos humanos se tratan a menudo como si estuvieran midiendo cosas físicas, a pesar de que los sentimientos y las actitudes no se comportan como la temperatura o el peso. Esta tensión ha provocado una crisis de confianza, donde estudios que parecen sólidos en el papel no producen los mismos resultados cuando otros intentan repetirlos.

Dos investigadores de la Université du Québec à Rimouski decidieron investigar si esta crisis está ocurriendo dentro del campo de la gestión de recursos humanos. Se plantearon una pregunta simple pero profunda: ¿son los métodos que utilizan los investigadores para estudiar a los empleados realmente tan rigurosos como parecen, o simplemente están siguiendo un conjunto de hábitos que crean una ilusión de certeza? Para averiguarlo, no realizaron un nuevo experimento ni recopilaron datos frescos de una sola empresa. En su lugar, realizaron una revisión masiva de la investigación existente. Reunieron 398 artículos publicados en las diez principales revistas internacionales dedicadas a la gestión de recursos humanos. De este gran montón, filtraron 82 estudios que utilizaban números y estadísticas para responder preguntas sobre cómo se gestiona a las personas, cómo lideran y cómo se comportan en las organizaciones. Su objetivo era ver cómo estos estudios manejaban tres prácticas específicas y comunes: cómo trataban las calificaciones de las encuestas, cómo probaban sus ideas y a quién pedían las respuestas.

Los investigadores descubrieron que el campo está profundamente arraigado en un sistema que prioriza la apariencia de rigor sobre la solidez metodológica real. Primero, analizaron cómo los investigadores manejan las calificaciones de las encuestas. En estos estudios, a menudo se pide a las personas que elijan de una lista de opciones como "totalmente en desacuerdo", "en desacuerdo", "neutral", "de acuerdo" y "totalmente de acuerdo". Estas se denominan escalas ordinales porque muestran un orden, pero la distancia entre "en desacuerdo" y "neutral" no es necesariamente la misma que la distancia entre "neutral" y "de acuerdo". A pesar de esto, la gran mayoría de los estudios trataron estas calificaciones como si fueran mediciones precisas, como pulgadas o kilogramos. Calcularon promedios y utilizaron fórmulas estadísticas complejas que asumen un espaciado igual entre las opciones. Los investigadores encontraron que el 66 por ciento de los estudios cuantitativos hicieron esto, convirtiendo efectivamente las opiniones subjetivas en números falsos que parecen precisos pero carecen de un fundamento matemático real.

A continuación, el equipo examinó cómo estos estudios probaban sus ideas. La mayor parte de la investigación se basó en un procedimiento estándar llamado prueba de significación de la hipótesis nula. En términos sencos, este es un método en el que los investigadores intentan demostrar que un resultado no es solo una casualidad aleatoria. Si las matemáticas muestran que el resultado es improbable que ocurra por azar, declaran que es un éxito. Los investigadores descubrieron que el 93 por ciento de los estudios utilizó este método como su forma principal de decidir qué era verdad. Señalaron que esto se ha convertido en un hábito rutinario más que en una elección reflexiva. Los estudios rara vez cuestionaban si este método era apropiado para la pregunta específica que se planteaba. En cambio, la presencia de un resultado estadístico específico se convirtió en una señal de que el trabajo era científico, independientemente de si los datos subyacentes respaldaban una conclusión tan sólida.

El tercer problema que los investigadores descubrieron concernía a quién se estaba estudiando realmente. Para hacer una afirmación válida sobre un grupo entero de personas, un investigador idealmente necesita elegir a los participantes de forma aleatoria, como sacar nombres de un sombrero, de modo que todos tengan la misma posibilidad de ser incluidos. Esto asegura que los resultados puedan aplicarse a la población general. Sin embargo, la revisión mostró que el 98 por ciento de los estudios utilizó muestras no aleatorias. Esto significa que los investigadores simplemente preguntaron a quien estuviera disponible, como empleados de una empresa específica que aceptó participar, o personas que se ofrecieron voluntariamente para completar una encuesta en línea. Debido a que estos grupos no son aleatorios, a menudo comparten rasgos específicos que sesgan los resultados. Por ejemplo, las personas que se ofrecen voluntarias para responder una encuesta sobre satisfacción laboral podrían ser más felices o estar más comprometidas que el trabajador promedio. Los investigadores descubrieron que casi ninguno de los estudios admitió que esto fuera un problema importante. En su lugar, presentaron sus hallazgos como si se aplicaran a todos los trabajadores, ignorando el hecho de que sus datos provenían de un grupo muy específico y no aleatorio.

Quizás el hallazgo más sorprendente no fue solo que estas prácticas fueran comunes, sino que rara vez se discutían como problemas. Cuando los investigadores escriben un artículo, suelen incluir una sección al final para enumerar las debilidades o limitaciones del estudio. Los autores de esta revisión revisaron estas secciones para ver si los investigadores admitían el uso de muestras no aleatorias, el tratamiento de las calificaciones como números precisos o la dependencia excesiva de pruebas estadísticas estándar. Descubrieron que casi nadie lo hizo. Solo un artículo de los 82 mencionó el uso excesivo de pruebas estadísticas como una limitación. Los otros dos problemas principales fueron casi completamente ignorados. Este silencio sugiere que estos métodos se han normalizado tanto que los investigadores ya no los ven como elecciones que necesiten justificación. Son simplemente la forma en que se hacen las cosas.

Los investigadores argumentan que esta situación crea un ciclo de retroalimentación. Debido a que todos usan estos métodos, parecen legítimos. Debido a que parecen legítimos, las revistas los publican y los estudiantes aprenden a usarlos. Esto crea una forma de "robustez hegemónica", donde el campo se siente fuerte y científico porque sigue un conjunto de reglas compartidas, incluso si esas reglas se construyen sobre cimientos inestables. El resultado es un cuerpo de conocimiento que parece preciso pero que puede no ser fiable. Cuando otros científicos intentan repetir estos estudios con diferentes grupos de personas o métodos ligeramente distintos, los resultados a menudo no coinciden. Este es el corazón de la crisis de replicación: la incapacidad de reproducir hallazgos que alguna vez fueron considerados sólidos.

El artículo concluye que la solución no es dejar de usar números o abandonar el estudio de los recursos humanos. En su lugar, los investigadores abogan por un enfoque más honesto y reflexivo. Sugieren que los científicos deben ser transparentes sobre los límites de sus herramientas. Si una calificación de encuesta no es una medición precisa, deben decirlo. Si una muestra no es aleatoria, deben explicar cómo eso limita lo que pueden afirmar. Instan al campo a alejarse de tratar las fórmulas estadísticas como hechizos mágicos que garantizan la verdad y a avanzar hacia una comprensión más profunda de lo que los datos representan realmente. Al reconocer las imperfecciones de sus métodos, los investigadores podrían construir una base más honesta y duradera para comprender cómo trabajan las personas, en lugar de depender de un sistema que produce la apariencia de certeza mientras oculta sus propios defectos.