Obvious Objectivity of Quantification and the Replication Crisis: the exemple of Human Resource Management Research

No mundo da gestão de negócios, existe uma crença forte de que os números dizem a verdade. Quando uma empresa quer compreender seus funcionários, frequentemente recorre a pesquisas onde as pessoas avaliam seus sentimentos em uma escala de um a cinco, ou de "discordo totalmente" a "concordo totalmente". Essas classificações são então inseridas em programas de computador que processam os números para encontrar padrões, testar ideias e declarar o que é verdade sobre como as pessoas trabalham. Essa abordagem, conhecida como pesquisa quantitativa, tornou-se o padrão para estudar recursos humanos. Ela promete um nível de objetividade e precisão que parece científico, muito parecido com medir a temperatura ou o peso de um objeto. No entanto, um número crescente de cientistas está preocupado que essa confiança nos números possa estar equivocada. Eles argumentam que as ferramentas usadas para medir pensamentos e comportamentos humanos são frequentemente tratadas como se estivessem medindo coisas físicas, embora sentimentos e atitudes não se comportem como a temperatura ou o peso. Essa tensão levou a uma crise de confiança, onde estudos que parecem sólidos no papel falham em produzir os mesmos resultados quando outros tentam repeti-los.

Dois pesquisadores da Université du Québec à Rimouski decidiram investigar se essa crise está acontecendo dentro do campo da gestão de recursos humanos. Eles fizeram uma pergunta simples, mas profunda: os métodos que os pesquisadores usam para estudar funcionários são realmente tão rigorosos quanto parecem, ou eles estão apenas seguindo um conjunto de hábitos que criam uma ilusão de certeza? Para descobrir, eles não realizaram um novo experimento ou coletaram dados inéditos de uma única empresa. Em vez disso, realizaram uma revisão massiva de pesquisas existentes. Eles reuniram 398 artigos publicados nas dez principais revistas internacionais dedicadas à gestão de recursos humanos. Desse grande monte, filtraram 82 estudos que usavam números e estatísticas para responder perguntas sobre como as pessoas são gerenciadas, como elas lideram e como se comportam nas organizações. O objetivo deles era ver como esses estudos lidavam com três práticas específicas e comuns: como tratavam as classificações de pesquisas, como testavam suas ideias e quem perguntavam pelas respostas.

Os pesquisadores descobriram que o campo está profundamente enraizado em um sistema que prioriza a aparência de rigor sobre a real solidez metodológica. Primeiro, eles observaram como os pesquisadores lidam com as classificações de pesquisas. Nesses estudos, as pessoas são frequentemente solicitadas a escolher entre uma lista de opções como "discordo totalmente", "discordo", "neutro", "concordo" e "concordo totalmente". Estas são chamadas de escalas ordinais porque mostram uma ordem, mas a distância entre "discordo" e "neutro" não é necessariamente a mesma que a distância entre "neutro" e "concordo". Apesar disso, a vasta maioria dos estudos tratou essas classificações como se fossem medições precisas, como polegadas ou quilogramas. Eles calcularam médias e usaram fórmulas estatísticas complexas que assumem um espaçamento igual entre as escolhas. Os pesquisadores descobriram que 66 por cento dos estudos quantitativos fizeram isso, transformando efetivamente opiniões subjetivas em números falsos que parecem precisos, mas carecem de uma base matemática real.

Em seguida, a equipe examinou como esses estudos testavam suas ideias. A maior parte da pesquisa baseava-se em um procedimento padrão chamado teste de significância da hipótese nula. Em termos simples, este é um método onde os pesquisadores tentam provar que um resultado não é apenas um acaso aleatório. Se a matemática mostrar que o resultado é improvável de acontecer por acaso, eles declaram o sucesso. Os pesquisadores descobriram que 93 por cento dos estudos usaram este método como sua principal forma de decidir o que era verdade. Eles observaram que isso se tornou um hábito rotineiro em vez de uma escolha ponderada. Os estudos raramente questionavam se este método era apropriado para a questão específica sendo feita. Em vez disso, a presença de um resultado estatístico específico tornava-se um sinal de que o trabalho era científico, independentemente de os dados subjacentes apoiarem uma conclusão tão forte.

A terceira questão que os pesquisadores descobriram dizia respeito a quem estava sendo estudado. Para fazer uma afirmação válida sobre um grupo inteiro de pessoas, um pesquisador idealmente precisa escolher participantes aleatoriamente, como tirar nomes de um chapéu, para que todos tenham uma chance igual de serem incluídos. Isso garante que os resultados possam ser aplicados à população mais ampla. No entanto, a revisão mostrou que 98 por cento dos estudos utilizaram amostras não aleatórias. Isso significa que os pesquisadores simplesmente perguntaram a quem estava disponível, como funcionários de uma empresa específica que concordou em participar, ou pessoas que se voluntariaram para preencher uma pesquisa online. Como esses grupos não são aleatórios, eles frequentemente compartilham traços específicos que distorcem os resultados. Por exemplo, pessoas que se voluntariam para responder a uma pesquisa sobre satisfação no trabalho podem ser mais felizes ou mais engajadas do que o trabalhador médio. Os pesquisadores descobriram que quase nenhum dos estudos admitiu que isso era um problema importante. Em vez disso, apresentaram suas descobertas como se se aplicassem a todos os trabalhadores, ignorando o fato de que seus dados vinham de um grupo muito específico e não aleatório.

Talvez a descoberta mais impressionante não tenha sido apenas que essas práticas eram comuns, mas que elas raramente eram discutidas como problemas. Quando os pesquisadores escrevem um artigo, eles geralmente incluem uma seção ao final para listar as fraquezas ou limitações do estudo. Os autores desta revisão verificaram essas seções para ver se os pesquisadores admitiam o uso de amostras não aleatórias, o tratamento de classificações como números precisos ou a dependência excessiva de testes estatísticos padrão. Eles descobriram que quase ninguém o fez. Apenas um artigo, de um total de 82, mencionou o uso excessivo de testes estatísticos como uma limitação. Os outros dois grandes problemas foram quase completamente ignorados. Esse silêncio sugere que esses métodos tornaram-se tão normalizados que os pesquisadores não os veem mais como escolhas que precisam de justificativa. Eles são simplesmente a maneira como as coisas são feitas.

Os pesquisadores argumentam que esta situação cria um ciclo de auto-reforço. Porque todos usam esses métodos, eles parecem legítimos. Porque parecem legítimos, as revistas os publicam e os alunos são ensinados a usá-los. Isso cria uma forma de "robustez hegemônica", onde o campo parece forte e científico porque segue um conjunto de regras compartilhadas, mesmo que essas regras sejam construídas sobre bases frágeis. O resultado é um corpo de conhecimento que parece preciso, mas pode não ser confiável. Quando outros cientistas tentam repetir esses estudos com diferentes grupos de pessoas ou métodos ligeiramente diferentes, os resultados muitas vezes não coincidem. Este é o cerne da crise de replicabilidade: a incapacidade de reproduzir descobertas que outrora eram consideradas sólidas.

O artigo conclui que a solução não é parar de usar números ou abandonar o estudo de recursos humanos. Em vez disso, os pesquisadores pedem uma abordagem mais honesta e reflexiva. Eles sugerem que os cientistas precisam ser transparentes sobre os limites de suas ferramentas. Se uma classificação de pesquisa não é uma medição precisa, eles devem dizer isso. Se uma amostra não é aleatória, eles devem explicar como isso limita o que podem afirmar. Eles instam o campo a se afastar de tratar fórmulas estatísticas como feitiços mágicos que garantem a verdade e a caminhar em direção a uma compreensão mais profunda do que os dados realmente representam. Ao reconhecer as imperfeições de seus métodos, os pesquisadores poderiam construir uma base mais honesta e duradoura para entender como as pessoas trabalham, em vez de depender de um sistema que produz a aparência de certeza enquanto esconde suas próprias falhas.