The Academic Journal Guide: A View from Category Theory.

Résumé technique : Le Guide des revues académiques : Un regard issu de la théorie des catégories

Énoncé du problème
Le Guide des revues académiques (AJG - Academic Journal Guide), publié par la Chartered Association of Business Schools (CABS), sert de principal indicateur de la qualité de la recherche dans les disciplines de la gestion et du commerce. Bien que la méthodologie de l'AJG prétende équilibrer des données d'impact de citation propriétaires avec un jugement d'expert qualitatif pour répartir les revues dans une hiérarchie discrète de cinq catégories (de 1 à 4*), la robustesse théorique de cette catégorisation n'a pas été évaluée. Plus précisément, il existe une méconnaissance quant à savoir si la catégorisation de la CABS est justifiable à travers le prisme de la théorie des catégories. Les questions clés sont les suivantes : Dans quelle mesure les données d'impact par rapport l'opinion d'experts pilotent-elles les classements ? Les critères définis (par exemple, la rigueur de la révision, la disponibilité des mesures) distinguent-ils réellement les catégories ? Existe-t-il un chevauchement significatif entre les catégories qui compromettrait l'utilité de la hiérarchie discrète ?

Méthodologie
L'étude emploie une approche par méthodes mixtes fondée sur la théorie des catégories, testant quatre hypothèses spécifiques par rapport aux données empiriques de l'édition 2002 de l'AJG. L'analyse se concentre sur quatre domaines thématiques : le Marketing, le Management, le Commerce international (IB) et la Stratégie, comprenant un total de 324 revues.

1. Construction des données : L'étude utilise trois mesures d'impact propriétaires fournies par l'AJG (CiteScore, SNIP et SJR) couvrant la période 2017–2021. Celles-ci ont été additionnées pour créer une mesure d'impact composite en raison de leur forte intercorrélation (r > 0,85).
2. Tests statistiques :
   • H1 (Variance de l'impact) : Des tests ANOVA à un facteur et de Kruskal-Wallis ont été utilisés pour évaluer si les données d'impact diffèrent de manière significative entre et au sein des catégories adjacentes de l'AJG.
   • H1b (Dominance de l'impact) : Une régression logistique ordinale a été employée pour déterminer dans quelle mesure les données d'impact prédisent l'appartenance à une catégorie.
   • H2 (Rigueur de la révision) : Un audit qualitatif des sites web des revues et des recherches sur Internet a été mené pour vérifier les affirmations concernant les processus de révision en « double aveugle » et le nombre de réviseurs, testant spécifiquement la définition selon laquelle les revues de niveau 1 sont « relativement peu » révisées.
   • H3 (Disponibilité des mesures) : La disponibilité des facteurs d'impact de citation à travers les catégories a été analysée pour tester l'hypothèse selon laquelle les revues moins bien classées manquent de ces données.
   • H4 (Biais géographique) : Une régression logistique ordinale a identifié les revues qui apparaissaient comme des anomalies (c'est-à-dire que leurs données d'impact suggéraient une catégorie différente de leur classement AJG assigné). Les origines nationales de ces revues ont été comparées pour tester un biais basé sur le Royaume-Uni.

Résultats clés

• Dominance des données d'impact (H1a & H1b) : Les données d'impact expliquent une partie substantielle de la variance de la catégorisation (environ deux tiers à trois quarts, avec des valeurs de pseudo R² allant de 0,66 à 0,73). Cependant, l'étude constate un chevauchement significatif entre les catégories adjacentes (spécifiquement 2–3 et 3–4), où les p-valeurs pour les comparaisons par paires ne sont pas significatives. Cela suggère que, bien que les données d'impact soient un moteur principal, elles ne s'alignent pas parfaitement avec les limites discrètes fixées par l'AJG.
• Rigueur de la révision (H2) : L'hypothèse selon laquelle les normes de révision varient considérablement selon la catégorie n'a pas été confirmée. L'analyse des sites web des revues a révélé que même les revues de niveau 1 utilisent principalement la révision par les pairs en double aveugle avec plusieurs réviseurs, contredisant la définition de l'AJG selon laquelle les articles de niveau 1 sont « relativement peu » révisés.
• Disponibilité des mesures (H3) : L'hypothèse selon laquelle les revues de niveau 1 manquent de mesures de citation a été largement infirmée. Bien que certaines revues de niveau 1 manquaient de mesures spécifiques, la majorité possédait des données pour les trois principaux indices utilisés par l'AJG.
• Biais géographique (H4) : Contrairement à l'hypothèse selon laquelle les revues basées au Royaume-Uni sont favorisées, l'analyse des re-catégorisations potentielles a suggéré que les revues basées au Royaume-Uni étaient en fait plus susceptibles d'être promues (passant à une catégorie supérieure sur la base de leur impact) que les revues non britanniques. Toutefois, l'étude note que le système actuel ne permet pas d'appels basés sur des écarts de mesures sans un changement dans les caractéristiques de la revue.
• Potentiel de re-catégorisation : Les modèles de régression ont indiqué qu'environ un tiers des revues de l'échantillon pourraient être re-catégorisées (soit promues, soit déclassées) sur la seule base de leurs données d'impact afin de réduire le chevauchement entre les groupes.

Principales contributions
La principale contribution de l'article est l'application de la théorie des catégories à l'évaluation des systèmes de classement des revues. En traitant l'AJG comme une construction sociale destinée à imposer une cohérence sur le paysage de la recherche, l'auteur identifie des lacunes théoriques critiques :

1. Ambiguïté des frontières : L'étude démontre que les frontières entre les catégories de l'AJG ne sont pas bien définies en pratique, comme en témoigne le chevauchement substantiel des mesures d'impact entre les groupes adjacents.
2. Opacité du jugement : Bien que l'AJG mette l'accent sur le rôle du jugement d'expert pour se différencier des classements basés uniquement sur les mesures, les données suggèrent que les mesures d'impact pilotent la majorité de la variance. Le manque de données publiques concernant la composante « jugement qualitatif » empêche les utilisateurs de comprendre pourquoi certaines revues dévient des attentes basées sur les mesures.
3. Désalignement des définitions : Les résultats empiriques montrent un décalage entre les définitions écrites de l'AJG (par exemple, concernant la rigueur de la révision et la disponibilité des mesures) et les caractéristiques réelles des revues au sein de ces catégories.

Signification et revendications
L'article soutient que l'approche actuelle de l'AJG, bien qu'inflente, ne répond pas aux normes de la théorie des catégories concernant la clarté des frontières et la transparence des critères. L'auteur affirme que :

• Le recours aux données d'impact propriétaires, combiné à un jugement d'expert opaque, crée un système où une partie importante des revues (environ un tiers) pourrait être mal catégorisée par rapport à son impact.
• Le système manque actuellement de mécanisme permettant aux revues de faire appel de leur classement sur la base de divergences de mesures, car la re-catégorisation est restreinte aux revues ayant subi des changements substantiels de « nature » ou de mesures depuis la dernière révision.
• Pour s'aligner sur les principes de transparence (tels que ceux de la déclaration DORA) et de la théorie des catégories, la CABS doit soit rendre publiques les données de jugement qualitatif, soit réviser les définitions des catégories pour mieux les aligner sur la réalité empirique des revues qu'elles contiennent.

L'étude conclut que tant que les critères de catégorisation ne seront pas rendus transparents et que les définitions ne seront pas alignées sur les données, l'AJG continuera de fonctionner comme une « mesure de substitution » qui peut par inadvertance encourager la « course au rang » plutôt que de refléter la véritable qualité de la recherche. L'article ne propose pas un nouveau système de classement mais appelle à une révision théoriquement informée de l'existant, notant que la prochaine itération de l'AJG est prévue pour 2027.