The Academic Journal Guide: A View from Category Theory.

Technische Samenvatting: De Academic Journal Guide: Een Perspectief vanuit de Categorietheorie

Probleemstelling
De Academic Journal Guide (AJG), gepubliceerd door de Chartered Association of Business Schools (CABS), dient als een primaire proxy voor de kwaliteit van onderzoek binnen de disciplines business en management. Hoewel de AJG-methodologie beweert een balans te vinden tussen propriëtaire citatie-impactdata en kwalitatief expertoordeel om tijdschriften in te delen in een discrete hiërarchie van vijf categorieën (1 tot 4*), blijft de theoretische robuustheid van deze categorisering ongetoetst. Specifiek is er een gebrek aan begrip over de vraag of de CABS-categorisering te rechtvaardigen is vanuit het perspectief van de categorietheorie. Kernvragen zijn: In welke mate drijven impactdata versus expertopinie de rangschikkingen aan? Differentiëren de gedefinieerde criteria (bijv. de strengheid van de review, de beschikbaarheid van metrieken) daadwerkelijk de categorieën? Is er significante overlap tussen categorieën die het nut van de discrete hiërarchie ondermijnt?

Methodologie
De studie hanteert een methode met gemengde methoden (mixed-methods), geworteld in de categorietheorie, waarbij vier specifieke hypothesen worden getoetst aan empirische data uit de AJG 2022-editie. De analyse richt zich op vier vakgebieden: Marketing, Management, International Business (IB) en Strategy, bestaande uit in totaal 324 tijdschriften.

1. Dataconstructie: De studie maakt gebruik van drie propriëtaire impactmetrieken verstrekt door de AJG (CiteScore, SNIP en SJR) over de periode 2017–2021. Deze werden bij elkaar opgeteld om een samengestelde impactmaat te creëren vanwege de hoge onderlinge correlatie (r > 0,85).
2. Statistische Toetsing:
   • H1 (Impactvariantie): One-way ANOVA en Kruskal-Wallis-testen werden gebruikt om te beoordelen of impactdata significant verschillen over en tussen aangrenzende AJG-categorieën.
   • H1b (Dominantie van Impact): Ordinale logistische regressie werd ingezet om te bepalen in welke mate impactdata de lidmaatschap van een categorie voorspelt.
   • H2 (Review-strengheid): Een kwalitatieve audit van websitegegevens van tijdschriften en internetzoekopdrachten werd uitgevoerd om beweringen over "double-blind" reviewprocessen en het aantal reviewers te verifiëren, specifiek om de definitie te testen dat Level 1-tijdschriften "relatief licht" worden beoordeeld.
   • H3 (Beschikbaarheid van Metrieken): De beschikbaarheid van citatie-impactfactoren over verschillende categorieën werd geanalyseerd om de hypothese te testen dat lagere gerateerde tijdschriften dergelijke data missen.
   • H4 (Geografische Bias): Ordinale logistische regressie identificeerde tijdschriften die als uitschieters verschenen (d.w.z. hun impactdata suggereerden een andere AJG-rating dan de toegewezen categorie). De nationale herkomst van deze tijdschriften werd vergeleken om te testen op een Britse (UK) bias.

Belangrijkste Resultaten

• Dominantie van Impactdata (H1a & H1b): Impactdata verklaren een aanzienlijk deel van de variantie in categorisering (ongeveer twee derde tot drie vierde, met pseudo R²-waarden variërend van 0,66 tot 0,73). Echter, de studie vindt significante overlap tussen aangrenzende categorieën (specifiek 2–3 en 3–4), waarbij de p-waarden voor paarvergelijkingen niet-significant waren. Dit suggereert dat hoewel impactdata een primaire drijfveer zijn, ze niet perfect aansluiten bij de discrete grenzen die door de AJG zijn gesteld.
• Review-strengheid (H2): De hypothese dat reviewstandaarden significant variëren per categorie werd niet ondersteund. Analyse van de websites van tijdschriften toonde aan dat zelfs Level 1-tijdschriften overwegend gebruikmaken van double-blind peer review met meerdere reviewers, wat de AJG-definitie dat Level 1-papers "relatief licht" worden beoordeeld, tegenspreekt.
• Beschikbaarheid van Metrieken (H3): De hypothese dat Level 1-tijdschriften een gebrek hebben aan citatiemetrieken werd grotendeels niet ondersteund. Hoewel sommige Level 1-tijdschriften specifieke metrieken misten, beschikten de meerderheid over data voor alle drie de door de AJG gebruikte hoofdindices.
• Geografische Bias (H4): In tegenstelling tot de hypothese dat Britse (UK) tijdschriften worden bevoordeeld, suggereerde de analyse van potentiële hercategoriseringen dat UK-gebaseerde tijdschriften juist vaker werden gepromoveerd (naar een hogere categorie verplaatst op basis van impactdata) dan niet-UK-gebaseerde tijdschriften. De studie merkt echter op dat het huidige systeem geen beroep mogelijk maakt op basis van discrepanties in metrieken zonder een verandering in de kenmerken van het tijdschrift.
• Hercategorisatiepotentieel: De regressiemodellen gaven aan dat ongeveer een derde van de tijdschriften in de steekproef opnieuw gecategoriseerd zou kunnen worden (ofwel gepromoveerd of gedemoteerd) op basis van hun impactdata alleen, om de overlap tussen groepen te verminderen.

Belangrijkste Bijdragen
De primaire bijdrage van het artikel is de toepassing van de categorietheorie op de evaluatie van tijdschriftrangschikkingssystemen. Door de AJG te behandelen als een sociale constructie die bedoeld is om coherentie op te leggen aan het onderzoekslandschap, identificeert de auteur kritieke theoretische hiaten:

1. Grensambigueit: De studie toont aan dat de grenzen tussen AJG-categorieën in de praktijk niet goed gedefinieerd zijn, zoals blijkt uit de substantiële overlap in impactmetrieken tussen aangrenzende groepen.
2. Ondoorzichtigheid van Oordeel: Hoewel de AJG benadrukt dat de rol van expertoordeel essentieel is om zich te onderscheiden van zuivere metriek-gebaseerde ranglijsten, suggereren de data dat impactmetrieken het merendeel van de variantie drijven. Het gebrek aan publiek beschikbare data over het component "kwalitatief oordeel" voorkomt dat gebruikers begrijpen waarom specifieke tijdschriften afwijken van de verwachtingen op basis van metrieken.
3. Mismatch in Definities: De empirische bevindingen tonen een discrepantie tussen de geschreven definities van de AJG (bijv. met betrekking tot de strengheid van de review en de beschikbaarheid van metrieken) en de werkelijke kenmerken van de tijdschriften binnen die categorieën.

Betekenis en Claims
Het artikel betoogt dat de huidige AJG-aanpak, hoewel invloedrijk, niet voldoet aan de standaarden van de categorietheorie wat betreft duidelijke grenzen en transparante criteria. De auteur stelt dat:

• De afhankelijkheid van propriëtaire impactdata, gecombineerd met ondoorzichtig expertoordeel, een systeem creëert waarin een aanzienlijk deel van de tijdschriften (ca. één derde) foutief gecategoriseerd kan zijn ten opzichte van hun impactdata.
• Het systeem momenteel geen mechanisme biedt voor tijdschriften om beroep aan te tekenen tegen hun rating op basis van discrepanties in metrieken, aangezien hercategorisatie beperkt is tot tijdschriften met substantiële veranderingen in "aard" of metrieken sinds de laatste review.
• Om in lijn te komen met de principes van transparantie (zoals in de DORA-verklaring) en de categorietheorie, moet de CABS ofwel de kwalitatieve oordeelsgegevens publiek maken, ofwel de categorie-definities herzien om beter aan te sluiten bij de empirische realiteit van de tijdschriften die zij bevatten.

De studie concludeert dat zolang de criteria voor categorisering niet transparant worden gemaakt en de definities niet worden afgestemd op de data, de AJG zal blijven functioneren als een "surrogaatmaatstaf" die onbedoeld "rank chasing" (het najagen van rangnummers) kan stimuleren in plaats van werkelijke onderzoeksinstelling te reflecteren. Het artikel stelt geen nieuw rangschikkingssysteem voor, maar roept op tot een theoretisch onderbouwde revisie van het bestaande systeem, waarbij wordt opgemerkt dat de volgende iteratie van de AJG gepland staat voor 2027.