Obvious Objectivity of Quantification and the Replication Crisis: the exemple of Human Resource Management Research

Nel mondo del management aziendale, esiste una forte convinzione che i numeri dicano la verità. Quando un'azienda vuole comprendere i propri dipendenti, spesso si rivolge a sondaggi in cui le persone valutano i propri sentimenti su una scala da uno a cinque, o da "fortemente in disaccordo" a "fortemente d'accordo". Queste valutazioni vengono poi inserite in programmi informatici che elaborano i numeri per trovare schemi, testare idee e dichiarare ciò che è vero riguardo al modo in cui le persone lavorano. Questo approccio, noto come ricerca quantitativa, è diventato lo standard per studiare le risorse umane. Esso promette un livello di oggettività e precisione che sembra scientifico, molto simile alla misurazione della temperatura o del peso di un oggetto. Tuttavia, un numero crescente di scienziati è preoccupato che questa fiducia nei numeri possa essere infondata. Essi sostengono che gli strumenti utilizzati per misurare i pensieri e i comportamenti umani siano spesso trattati come se stessero misurando cose fisiche, anche se i sentimenti e gli atteggiamenti non si comportano come la temperatura o il peso. Questa tensione ha portato a una crisi di fiducia, in cui studi che sembrano solidi sulla carta non producono gli stessi risultati quando altri cercano di ripeterli.

Due ricercatori dell'Université du Québec à Rimouski hanno deciso di indagare se questa crisi stia accadendo all'interno del campo della gestione delle risorse umane. Si sono posti una domanda semplice ma profonda: i metodi che i ricercatori utilizzano per studiare i dipendenti sono davvero rigorosi come sembrano, o stanno solo seguendo un insieme di abitudini che creano un'illusione di certezza? Per scoprirlo, non hanno condotto un nuovo esperimento o raccolto nuovi dati da una singola azienda. Al contrario, hanno eseguito una revisione massiccia della ricerca esistente. Hanno raccolto 398 articoli pubblicati nei dieci principali riviste internazionali dedicate alla gestione delle risorse umane. Da questo grande mucchio, hanno filtrato 82 studi che utilizzavano numeri e statistica per rispondere a domande su come le persone vengono gestite, come guidano e come si comportano nelle organizzazioni. Il loro obiettivo era vedere come questi studi gestissero tre pratiche specifiche e comuni: come trattavano le valutazioni dei sondaggi, come testavano le loro idee e chi interrogavano per ottenere risposte.

I ricercatori hanno scoperto che il campo è profondamente radicato in un sistema che dà priorità all'apparenza di rigore rispetto all'effettiva solidità metodologica. In primo luogo, hanno esaminato come i ricercatori gestiscono le valutazioni dei sondaggi. In questi studi, alle persone viene spesso chiesto di scegliere tra un elenco di opzioni come "fortemente in disaccordo", "in disaccordo", "neutrale", "d'accordo" e "fortemente d'accordo". Queste sono chiamate scale ordinali perché mostrano un ordine, ma la distanza tra "in disaccordo" e "neutrale" non è necessariamente la stessa della distanza tra "neutrale" e "d'accordo". Nonostante ciò, la stragrande maggioranza degli studi ha trattato queste valutazioni come se fossero misurazioni precise, come pollici o chilogrammi. Hanno calcolato medie e utilizzato formule statistiche complesse che presuppongono una spaziatura uguale tra le scelte. I ricercatori hanno scoperto che il 66 percento degli studi quantitativi ha fatto questo, trasformando di fatto opinioni soggettive in numeri falsi che sembrano precisi ma mancano di una reale base matematica.

Successivamente, il team ha esaminato come questi studi testassero le loro idee. La maggior parte della ricerca si basava su una procedura standard chiamata test di significatività dell'ipotesi nulla. In termini semplici, questo è un metodo in cui i ricercatori cercano di dimostrare che un risultato non sia solo un caso fortuito. Se la matematica mostra che il risultato è improbabile che accada per caso, dichiarano il successo. I ricercatori hanno scoperto che il 93 percento degli studi ha utilizzato questo metodo come modo primario per decidere cosa fosse vero. Hanno notato che questo è diventato un'abitudine routinaria piuttosto che una scelta ponderata. Gli studi raramente mettevano in discussione se questo metodo fosse appropriato per la specifica domanda posta. Invece, la presenza di un risultato statistico specifico diventava un segnale che il lavoro era scientifico, indipendentemente dal fatto che i dati sottostanti supportassero una conclusione così forte.

Il terzo problema scoperto dai ricercatori riguardava chi venisse effettivamente studiato. Per fare una dichiarazione valida su un intero gruppo di persone, un ricercatore dovrebbe idealmente scegliere i partecipanti in modo casuale, come estrarre nomi da un cappello, in modo che tutti abbiano la stessa possibilità di essere inclusi. Ciò garantisce che i risultati possano essere applicati alla popolazione più ampia. Tuttavia, la revisione ha mostrato che il 98 percento degli studi ha utilizzato campioni non casuali. Ciò significa che i ricercatori hanno semplicemente chiesto a chi era disponibile, come i dipendenti di una specifica azienda che accettava di partecipare, o persone che si sono offerte volontarie per compilare un sondaggio online. Poiché questi gruppi non sono casuali, spesso condividono tratti specifici che distorcono i risultati. Ad esempio, le persone che si offrono volontarie per rispondere a un sondaggio sulla soddisfazione lavorativa potrebbero essere più felici o più impegnate rispetto alla media dei lavoratori. I ricercatori hanno scoperto che quasi nessuno di questi studi ammetteva che questo fosse un problema importante. Invece, presentavano i loro risultati come se si applicassero a tutti i lavoratori, ignorando il fatto che i loro dati provenissero da un gruppo molto specifico e non casuale.

Forse il risultato più sorprendente non era solo che queste pratiche fossero comuni, ma che venissero raramente discusse come problemi. Quando i ricercatori scrivono un articolo, includono solitamente una sezione finale per elencare le debolezze o i limiti dello studio. Gli autori di questa revisione hanno controllato queste sezioni per vedere se i ricercatori ammettessero l'uso di campioni non casuali, il trattamento delle valutazioni come numeri precisi o il ricorso pesante a test statistici standard. Hanno scoperto che quasi nessuno lo faceva. Solo un articolo su 82 menzionava l'uso eccessivo di test statistici come un limite. Gli altri due problemi principali erano quasi completamente ignorati. Questo silenzio suggerisce che questi metodi siano diventati così normalizzati che i ricercatori non li vedono più come scelte che necessitano di giustificazione. Sono semplicemente il modo in cui le cose vengono fatte.

I ricercatori sostengono che questa situazione crei un ciclo che si autoalimenta. Poiché tutti usano questi metodi, essi appaiono legittimi. Poiché appaiono legittimi, le riviste li pubblicano e agli studenti viene insegnato a usarli. Questo crea una forma di "robustezza egemonica", in cui il campo sembra forte e scientifico perché segue un insieme di regole condivise, anche se tali regole sono costruite su basi fragili. Il risultato è un corpo di conoscenze che appare preciso ma che potrebbe non essere affidabile. Quando altri scienziati provano a ripetere questi studi con gruppi di persone diversi o metodi leggermente differenti, i risultati spesso non corrispondono. Questo è il cuore della crisi della replicabilità: l'incapacità di riprodurre risultati che un tempo erano considerati solidi.

L'articolo conclude che la soluzione non è smettere di usare i numeri o abbandonare lo studio delle risorse umane. Invece, i ricercatori chiedono un approccio più onesto e riflessivo. Suggeriscono che gli scienziati debbano essere trasparenti riguardo ai limiti dei loro strumenti. Se una valutazione di un sondaggio non è una misurazione precisa, dovrebbero dirlo. Se un campione non è casuale, dovrebbero spiegare come questo limiti ciò che possono affermare. Esortano il campo a passare dal trattare le formule statistiche come incantesimi magici che garantiscono la verità verso una comprensione più profonda di ciò che i dati rappresentano realmente. Riconoscendo le imperfezioni dei loro metodi, i ricercatori potrebbero costruire una base più onesta e duratura per comprendere come le persone lavorano, invece di affidarsi a un sistema che produce l'apparenza di certezza mentre nasconde i propri difetti.