The Academic Journal Guide: A View from Category Theory.

Resumen Técnico: La Guía de Revistas Académicas: Una Perspectiva desde la Teoría de la Categorización

Planteamiento del Problema
La Guía de Revistas Académicas (AJG, por sus siglas en inglés), publicada por la Chartered Association of Business Schools (CABS), sirve como un principal indicador de la calidad de la investigación en las disciplinas de negocios y gestión. Si bien la metodología de la AJG afirma equilibrar los datos de impacto de citación patentados con el juicio experto cualitativo para asignar revistas en una jerarquía discreta de cinco categorías (del 1 al 4*), la robustez teórica de esta categorización permanece sin evaluar. Específicamente, existe una falta de comprensión sobre si la categorización de la CABS es justificable a través de la lente de la teoría de la categorización. Las preguntas clave son: ¿Hasta qué punto los datos de impacto frente a la opinión experta impulsan las clasificaciones? ¿Realmente los criterios definidos (por ejemplo, el rigor de la revisión, la disponibilidad de métricas) distinguen las categorías? ¿Existe un solapamiento significativo entre las categorías que socave la utilidad de la jerarquía discreta?

Metodología
El estudio emplea un enfoque de métodos mixtos fundamentado en la teoría de la categorización, probando cuatro hipótesis específicas contra los datos empíricos de la edición 2022 de la AJG. El análisis se centra en cuatro áreas temáticas: Marketing, Gestión, Negocios Internacionales (IB) y Estrategia, que comprenden un total de 324 revistas.

1. Construcción de Datos: El estudio utiliza tres métricas de impacto patentadas proporcionadas por la AJG (CiteScore, SNIP y SJR) que cubren el periodo 2017–2021. Estas se sumaron para crear una medida de impacto compuesta debido a la alta intercorrelación (r > 0.85).
2. Pruebas Estadísticas:
   • H1 (Varianza de Impacto): Se utilizaron las pruebas ANOVA de un factor y Kruskal-Wallis para evaluar si los datos de impacto difieren significativamente entre y a través de categorías adyacentes de la AJG.
   • H1b (Dominancia del Impacto): Se empleó una Regresión Logística Ordinal para determinar la medida en que los datos de impacto predicen la pertenencia a una categoría.
   • H2 (Rigor de la Revisión): Se realizó una auditoría cualitativa de los sitios web de las revistas y búsquedas en internet para verificar las afirmaciones relativas a los procesos de revisión de "doble ciego" y el número de revisores, probando específicamente la definición de que las revistas de Nivel 1 son "relativamente ligeras" en su revisión.
   • H3 (Disponibilidad de Métricas): Se analizó la disponibilidad de factores de impacto de citación a través de las categorías para probar la hipótesis de que las revistas de menor calificación carecen de tales datos.
   • H4 (Sesgo Geográfico): La Regresión Logística Ordinal identificó las revistas que aparecieron como valores atípicos (es decir, cuyo impacto sugería una categoría distinta a su calificación asignada por la AJG). Los orígenes nacionales de estas revistas se compararon para probar un sesgo basado en el Reino Unido.

Resultos Clave

• Dominancia de los Datos de Impacto (H1a y H1b): Los datos de impacto explican una parte sustancial de la varianza en la categorización (aproximadamente dos tercios a tres cuartas partes, con valores de pseudo R² que oscilan entre 0.66 y 0.73). Sin embargo, el estudio encuentra un solapamiento significativo entre categorías adyacentes (específicamente 2–3 y 3–4), donde los valores p para las comparaciones por pares no fueron significativos. Esto sugiere que, si bien los datos de impacto son un motor primario, no se alinean perfectamente con los límites discretos establecidos por la AJG.
• Rigor de la Revisión (H2): La hipótesis de que los estándares de revisión varían significativamente según la categoría no fue respaldada. El análisis de los sitios web de las revistas reveló que incluso las revistas de Nivel 1 utilizan predominantemente la revisión por pares de doble ciego con múltiples revisores, contradiciendo la definición de la AJG de que las publicaciones de Nivel 1 son "relativamente ligeras" en su revisión.
• Disponibilidad de Métricas (H3): La hipótesis de que las revistas de Nivel 1 carecen de métricas de citación fue ampliamente desapoyada. Aunque algunas revistas de Nivel 1 carecían de métricas específicas, la mayoría poseía datos para los tres índices principales utilizados por la AJG.
• Sesgo Geográfico (H4): Contrario a la hipótesis de que se favorece a las revistas del Reino Unido, el análisis de las posibles recategorizaciones sugirió que las revistas con sede en el Reino Unido fueron, de hecho, más propensas a ser promocionadas (movidas a una categoría superior basada en su impacto de datos) que las revistas no pertenecientes al Reino Unido. Sin embargo, el estudio señala que el sistema actual no permite apelaciones basadas en discrepancias métricas sin un cambio en las características de la revista.
• Potencial de Recategorización: Los modelos de regresión indicaron que aproximadamente un tercio de las revistas en la muestra podrían ser recategorizadas (ya sea promovidas o degradadas) basándose únicamente en sus datos de impacto para reducir el solapamiento entre grupos.

Contribuciones Clave
La contribución principal del artículo es la aplicación de la teoría de la categorización a la evaluación de los sistemas de clasificación de revistas. Al tratar la AJG como una construcción social destinada a imponer coherencia en el panorama de la investigación, el autor identifica brechas teóricas críticas:

1. Ambigüedad de Fronteras: El estudio demuestra que los límites entre las categorías de la AJG no están bien definidos en la práctica, como lo evidencia el sustancial solapamiento en las métricas de impacto entre grupos adyacentes.
2. Opacidad del Juicio: Aunque la AJG enfatiza el papel del juicio experto para diferenciarse de las clasificaciones basadas puramente en métricas, los datos sugieren que las métricas de impacto impulsan la mayor parte de la varianza. La falta de datos públicos sobre el componente de "juicio cualitativo" impide a los usuarios comprender por qué ciertas revistas se desvían de las expectativas basadas en métricas.
3. Desalineación de Definiciones: Los hallazgos empíricos muestran una desconexión entre las definiciones escritas de la AJG (por ejemplo, respecto al rigor de la revisión y la disponibilidad de métricas) y las características reales de las revistas dentro de esas categorías.

Significancia y Reivindicaciones
El artículo argumenta que el enfoque actual de la AJG, aunque influyente, no cumple con los estándares de la teoría de la categorización respecto a la claridad de los límites y la transparencia de los criterios. El autor sostiene que:

• La dependencia de datos de impacto patentados, combinada con un juicio experto opaco, crea un sistema donde una parte significativa de las revistas (aprox. un tercio) puede estar mal categorizada en relación con sus datos de impacto.
• El sistema carece actualmente de un mecanismo para que las revistas apelen sus calificaciones basadas en discrepancias métricas, ya que la recategorización está restringida a revistas con cambios sustanciales en su "naturaleza" o métricas desde la última revisión.
• Para alinearse con los principios de transparencia (como los de la declaración DORA) y la teoría de la categorización, la CABS debe hacer públicos los datos del juicio cualitativo o revisar las definiciones de las categorías para que se alineen mejor con la realidad empírica de las revistas que contienen.

El estudio concluye que, a menos que los criterios de categorización se hagan transparentes y las definiciones se alineen con los datos, la AJG continuará funcionando como una "medida sustituta" que puede fomentar inadvertidamente la "persecución de rankings" en lugar de reflejar la verdadera calidad de la investigación. El artículo no propone un nuevo sistema de clasificación, sino que hace un llamado a una revisión teóricamente informada del sistema existente, señalando que la próxima iteración de la AJG está prevista para 2027.