The Academic Journal Guide: A View from Category Theory.

Sintesi Tecnica: La Guida alle Riviste Accademiche: Una Prospettiva dalla Teoria della Categorizzazione

Problema
L'Academic Journal Guide (AJG), pubblicata dalla Chartered Association of Business Schools (CABS), funge da principale indicatore proxy per la qualità della ricerca nelle discipline del business e del management. Sebbene la metodologia dell'AJG dichiari di bilanciare i dati proprietari sull'impatto delle citazioni con il giudizio qualitativo degli esperti per assegnare le riviste in una gerarchia discreta di cinque categorie (da 1 a 4*), la robustezza teorica di tale categorizzazione rimane non valutata. Nello specifico, manca una comprensione riguardo alla questione se la categorizzazione CABS sia giustificabile attraverso la lente della teoria della categorizzazione. Le domande chiave sono: in che misura i dati d'impatto rispetto al parere degli esperti guidano le classifiche? I criteri definiti (ad esempio, il rigore della revisione, la disponibilità di metriche) distinguono effettivamente le categorie? Esiste una sovrapposizione significativa tra le categorie che mina l'utilità della gerarchia discreta?

Metodologia
Lo studio impiega un approccio a metodi misti fondato sulla teoria della categorizzazione, testando quattro ipotesi specifiche contro i dati empirici dell'edizione AJG 2022. L'analisi si concentra su quattro aree tematiche: Marketing, Management, International Business (IB) e Strategy, comprendendo un totale di 324 riviste.

1. Costruzione dei Dati: Lo studio utilizza tre metriche di impatto proprietarie fornite dall'AJG (CiteScore, SNIP e SJR) coprendo il periodo 2017–2021. Queste sono state sommate per creare una misura di impatto composita a causa dell'alta inter-correlazione (r > 0,85).
2. Test Statistici:
   • H1 (Varianza dell'Impatto): Sono stati utilizzati i test ANOVA a campione unico e Kruskal-Wallis per valutare se i dati d'impatto differiscano significativamente tra e tra categorie AJG adiacenti.
   • H1b (Dominanza dell'Impatto): È stata impiegata la regressione logistica ordinale per determinare in che misura i dati d'impatto predicano l'appartenenza alla categoria.
   • H2 (Rigore della Revisione): È stata condotta un'audit qualitativa dei siti web delle riviste e ricerche su internet per verificare le affermazioni riguardanti i processi di revisione "double-blind" e il numero di revisori, testando specificamente la definizione secondo cui le riviste di Livello 1 sono "relativamente leggere" nella revisione.
   • H3 (Disponibilità delle Metriche): La disponibilità di fattori di impatto delle citazioni tra le categorie è stata analizzata per testare l'ipotesi che le riviste con valutazione inferiore manchino tali dati.
   • H4 (Bias Geografico): La regressione logistica ordinale ha identificato le riviste che apparivano come outlier (ovvero, i cui dati d'impatto suggerivano una categoria diversa dalla loro valutazione AJG assegnata). L'origine nazionale di queste riviste è stata confrontata per testare un eventuale bias verso il Regno Unito.

Risultati Chiave

• Dominanza dei Dati d'Impatto (H1a & H1b): I dati d'impatto spiegano una parte sostanziale della varianza della categorizzazione (circa due terzi o tre quarti, con valori di pseudo R² compresi tra 0,66 e 0,73). Tuttavia, lo studio rileva una sovrapposizione significativa tra categorie adiacenti (specificamente 2–3 e 3–4), dove i p-value per i confronti a coppie non sono risultati significativi. Ciò suggerisce che, sebbene i dati d'impatto siano un driver primario, essi non si allineano perfettamente con i confini discreti stabiliti dall'AJG.
• Rigore della Revisione (H2): L'ipotesi che gli standard di revisione varino significativamente per categoria non è stata supportata. L'analisi dei siti web delle riviste ha rivelato che anche le riviste di Livello 1 utilizzano prevalentemente la revisione paritaria double-blind con molteplici revisori, contraddicendo la definizione dell'AJG secondo cui le pubblicazioni di Livello 1 sono "relativamente leggere" nella revisione.
• Disponibilità delle Metriche (H3): L'ipotesi che le riviste di Livello 1 manchino di metriche di citazione è stata ampiamente non supportata. Sebbene alcune riviste di Livello 1 non possedessero metriche specifiche, la maggioranza disponeva di dati per tutti e tre i principali indici utilizzati dall'AJG.
• Bias Geografico (H4): Contrariamente all'ipotesi che le riviste con sede nel Regno Unito siano favorite, l'analisi dei potenziali riclassificamenti ha suggerito che le riviste basate nel Regno Unito erano in realtà più propense a essere promosse (passate a una categoria superiore in base ai dati d'impatto) rispetto alle riviste non britanniche. Tuttavia, lo studio nota che l'attuale sistema non consente ricorsi basati sulle discrepanze metriche senza un cambiamento nelle caratteristiche della rivista.
• Potenziale di Riclassificazione: I modelli di regressione hanno indicato che circa un terzo delle riviste nel campione potrebbe essere riclassificato (sia promosso che declassato) basandosi esclusivamente sui propri dati d'impatto per ridurre la sovrapposizione tra i gruppi.

Contributi Chiave
Il contributo primario del saggio è l'applicazione della teoria della categorizzazione alla valutazione dei sistemi di classificazione delle riviste. Trattando l'AJG come una costruzione sociale intesa a imporre coerenza sul panorama della ricerca, l'autore identifica lacune teoriche critiche:

1. Ambiguità dei Confini: Lo studio dimostra che i confini tra le categorie AJG non sono ben definiti nella pratica, come evidenziato dalla sostanziale sovrapposzione dei dati d'impatto tra gruppi adiacenti.
2. Opacità del Giudizio: Sebbene l'AJG enfatizzi il ruolo del giudizio esperto per differenziarsi dalle classifiche basate puramente sulle metriche, i dati suggeriscono che le metriche d'impatto guidino la maggior parte della varianza. La mancanza di dati pubblici riguardanti la componente del "giudizio qualitativo" impedisce agli utenti di comprendere perché specifiche riviste devino dalle aspettative basate sulle metriche.
3. Disallineamento delle Definizioni: I risultati empirici mostrano un distacco tra le definizioni scritte dell'AJG (ad esempio, riguardo al rigore della revisione e alla disponibilità delle metriche) e le caratteristiche reali delle riviste all'interno di tali categorie.

Significatività e Rivendicazioni
Il saggio sostiene che l'attuale approccio dell'AJG, pur essendo influente, non soddisfa gli standard della teoria della categorizzazione per quanto riguarda la chiarezza dei confini e la trasparenza dei criteri. L'autore afferma che:

• La dipendenza da dati d'impatto proprietari, combinata con un giudizio esperto opaco, crea un sistema in cui una parte significativa delle riviste (circa un terzo) potrebbe essere categorizzata erroneamente rispetto ai propri dati d'impatto.
• Il sistema attualmente manca di un meccanismo che permetta alle riviste di presentare ricorso per la propria valutazione basandosi sulle discrepanze metriche, poiché la riclassificazione è limitata a riviste che abbiano subito cambiamenti sostanziali nella loro "natura" o nelle metriche dall'ultima revisione.
• Per allinearsi ai principi di trasparenza (come quelli della dichiarazione DORA) e alla teoria della categorizzazione, la CABS deve rendere pubblici i dati del giudizio qualitativo o rivedere le definizioni delle categorie per allinearle meglio alla realtà empirica delle riviste che esse contengono.

Lo studio conclude che, a meno che i criteri di categorizzazione non vengano resi trasparenti e le definizioni non vengano allineate ai dati, l'AJG continuerà a funzionare come una "misura surrogata" che può involontariamente incoraggiare la "corsa al ranking" piuttosto che riflettere il reale valore della ricerca. Il saggio non propone un nuovo sistema di classificazione, ma invoca una revisione teoricamente informata dell'attuale, osservando che la prossima iterazione dell'AJG è prevista per il 2027.