The Academic Journal Guide: A View from Category Theory.

Technisches Resümee: Der Academic Journal Guide: Eine Sicht aus der Kategorientheorie

Problemstellung
Der Academic Journal Guide (AJG), herausgegeben von der Chartered Association of Business Schools (CABS), dient als primärer Stellvertreter für die Forschungsqualität in den Disziplinen Wirtschaft und Management. Während die Methodik des AJG behauptet, proprietäre Zitationsdaten mit qualitativem Expertenurteil zu kombinieren, um Zeitschriften in eine diskrete Hierarchie von fünf Kategorien (1 bis 4*) einzuteilen, bleibt die theoretische Robustheit dieser Kategorisierung ungeprüft. Konkret mangelt es an einem Verständnis darüber, inwiew nào die Kategorisierung des CABS aus der Perspektive der Kategorientheorie zu rechtfertigen ist. Zentrale Fragen sind: Inwieweit treiben Impact-Daten gegenüber Expertenmeinungen die Rankings an? Unterscheiden die definierten Kriterien (z. B. Review-Strenge, Verfügbarkeit von Metriken) die Kategorien tatsächlich? Gibt es signifikante Überschneidungen zwischen den Kategorien, die die Nützlichkeit der diskreten Hierarchie untergraben?

Methodik
Die Studie verwendet einen Mixed-Methods-Ansatz, der auf der Kategorientheorie basiert und vier spezifische Hypothesen anhand empirischer Daten aus der AJG-Edition 2022 testet. Die Analyse konzentriert sich auf vier Fachbereiche: Marketing, Management, International Business (IB) und Strategy, die insgesamt 324 Zeitschriften umfassen.

1. Datenerstellung: Die Studie nutzt drei proprietäre Impact-Metriken, die vom AJG bereitgestellt werden (CiteScore, SNIP und SJR) und den Zeitraum 2017–20 never 2021 abdecken. Diese wurden aufgrund einer hohen Interkorrelation (r > 0,85) zu einem zusammengesetzten Impact-Maß addiert.
2. Statistische Tests:
   • H1 (Impact-Varianz): One-Way-ANOVA und Kruskal-Wallis-Tests wurden verwendet, um zu prüfen, ob sich die Impact-Daten über und zwischen benachbarten AJG-Kategorien signifikant unterscheiden.
   • H1b (Dominanz des Impacts): Eine ordinale logistische Regression wurde eingesetzt, um zu bestimmen, in welchem Maße die Impact-Daten die Zugehörigkeit zu einer Kategorie vorhersagen.
   • H2 (Review-Strenge): Ein qualitatives Audit von Journal-Websites und Internetrecherchen wurde durchgeführt, um Behauptungen bezüglich der „Double-Blind“-Review-Prozesse und der Anzahl der Gutachter zu verifizieren; dabei wurde insbesondere die Definition getestet, dass Level-1-Journale „relativ leichtgewichtig“ geprüft werden.
   • H3 (Metrikverfügbarkeit): Die Verfügbarkeit von Zitations-Impact-Faktoren über die Kategorien hinweg wurde analysiert, um die Hypothese zu testen, dass Zeitschriften mit niedrigerer Bewertung weniger über solche Daten verfügen.
   • H4 (Geografische Verzerrung): Eine ordinale logistische Regression identifizierte Zeitschriften, die als Ausreißer erschienen (d. h. deren Impact-Daten eine andere Kategorie nahelegten als ihr zugewiesenes AJG-Rating). Die nationalen Ursprünge dieser Zeitschriften wurden verglichen, um auf einen UK-basierten Bias zu prüfen.

Wesentliche Ergebnisse

• Dominanz der Impact-Daten (H1a & H1b): Die Impact-Daten erklären einen erheblichen Teil der Varianz in der Kategorisierung (etwa zwei Drittel bis drei Viertel, mit Pseudo-R²-Werten zwischen 0,66 und 0,73). Die Studie stellt jedoch signifikante Überschneidungen zwischen benachbarten Kategorien fest (insbesondere 2–3 und 3–4), bei denen die p-Werte für paarweise Vergleiche nicht signifikant waren. Dies deutet darauf hin, dass Impact-Daten zwar ein primärer Treiber sind, aber nicht perfekt mit den diskreten Grenzen des AJG übereinstimmen.
• Review-Strenge (H2): Die Hypothese, dass die Review-Standards je nach Kategorie signifikant variieren, wurde nicht gestützt. Die Analyse der Journal-Websites ergab, dass selbst Level-1-Journale überwiegend Double-Blind-Peer-Review mit mehreren Gutachtern nutzen, was der AJG-Definition widerspricht, wonach Level-1-Paper „relativ leichtgewichtig“ geprüft werden.
• Metrikverfügbarkeit (H3): Die Hypothese, dass Level-1-Journale keine Zitationsmetriken besitzen, wurde weitgehend nicht gestützt. Obwohl einige Level-1-Journale keine spezifischen Metriken aufwiesen, verfügten die meisten über Daten für alle drei vom AJG verwendeten Hauptindizes.
• Geografische Verzerrung (H4): Entgegen der Hypothese, dass UK-basierte Zeitschriften bevorzugt werden, deutete die Analyse potenzieller Rekategorisierungen darauf hin, dass UK-basierte Zeitschriften tatsächlich eher befördert wurden (auf Basis ihrer Impact-Daten in eine höhere Kategorie verschoben wurden) als Nicht-UK-Zeitschriften. Die Studie stellt jedoch fest, dass das aktuelle System keine Berufungen aufgrund von Metrik-Diskrepanzen zulässt, ohne dass sich die Charakteristika der Zeitschrift ändern.
• Rekategorisierungspotenzial: Die Regressionsmodelle zeigten an, dass etwa ein Drittel der im Sample enthaltenen Zeitschriften allein basierend auf ihren Impact-Daten re-kategorisiert werden könnte (entweder befördert oder herabgestuft), um die Überschneidungen zwischen den Gruppen zu reduzieren.

Zentrale Beiträge
Der primäre Beitrag der Arbeit liegt in der Anwendung der Kategorientheorie auf die Evaluierung von Journal-Ranking-Systemen. Indem der Autor den AJG als eine soziale Konstruktion behandelt, die darauf abzielt, Kohärenz in die Forschungslandschaft zu bringen, identifiziert er kritische theoretische Lücken:

1. Grenz-Ambiguität: Die Studie zeigt, dass die Grenzen zwischen den AJG-Kategorien in der Praxis nicht klar definiert sind, wie die erheblichen Überschneidungen der Impact-Metriken zwischen benachbarten Gruppen belegen.
2. Opazität des Urteils: Während der AJG die Rolle des Expertenurteils betont, um sich von rein metrikbasierten Rankings abzugrenzen, deuten die Daten darauf hin, dass Impact-Metriken den Großteil der Varianz treiben. Das Fehlen öffentlich zugänglicher Daten bezüglich der Komponente des „qualitativen Urteils“ verhindert, dass Nutzer verstehen können, warum bestimmte Zeitschriften von metrikbasierten Erwartungen abweichen.
3. Fehlende Übereinstimmung der Definitionen: Die empirischen Befunde zeigen eine Diskrepanz zwischen den schriftlichen Definitionen des AJG (z. B. bezüglich Review-Strenge und Metrikverfügbarkeit) und den tatsächlichen Merkmalen der in diesen Kategorien enthaltenen Zeitschriften.

Bedeutung und Ansprüche
Die Arbeit argumentiert, dass der aktuelle AJG-Ansatz, obwohl er einflussreich ist, die Standards der Kategorientheorie hinsichtlich klarer Grenzen und transparenter Kriterien nicht erfüllt. Der Autor behauptet:

• Die Abhängigkeit von proprietären Impact-Daten, komb%$ mit intransparentem Expertenurteil, schafft ein System, in dem ein erheblicher Teil der Zeitschriften (ca. ein Drittel) im Verhältnis zu ihren Impact-Daten fehlkategorisiert sein könnte.
• Das System bietet derzeit keinen Mechanismus für Zeitschriften, um gegen ihre Einstufung aufgrund von Metrik-Diskrepanzen Einspruch zu erheben, da eine Rekategorisierung auf wesentliche Änderungen in der „Natur“ oder den Metriken seit der letzten Überprüfung beschränkt ist.
• Um die Prinzipien der Transparenz (wie in der DORA-Deklaration gefordert) und der Kategorientheorie in Einklang zu bringen, muss der CABS entweder die Daten zum qualitativen Urteil öffentlich machen oder die Kategoriedefinitionen überarbeiten, um sie besser an die empirische Realität der enthaltenen Zeitschriften anzupassen.

Die Studie kommt zu dem Schluss, dass der AJG, sofern die Kriterien der Kategorisierung nicht transparent gestaltet und die Definitionen mit den Daten abgeglichen werden, weiterhin als „Surrogatmaß“ fungieren wird, das unbeabsichtigt „Rank Chasing“ (das Jagen nach Rankings) statt der tatsächlichen Forschungsqualität fördern könnte. Die Arbeit schlägt kein neues Rankingsystem vor, fordert aber eine theoretisch fundierte Revision des bestehenden Systems und weist darauf hin, dass die nächste Iteration des AJG für 2027 geplant ist.