The Academic Journal Guide: A View from Category Theory.

Resumo Técnico: O Guia de Periódicos Acadêmicos: Uma Visão da Teoria da Categorização

Problema de Pesquisa
O Academic Journal Guide (AJG), publicado pela Chartered Association of Business Schools (CABS), serve como um principal indicador substituto (proxy) para a qualidade da pesquisa nas disciplinas de negócios e gestão. Embora a metodologia do AJG afirme equilibrar dados proprietários de impacto de citações com o julgamento qualitativo de especialistas para alocar periódicos em uma hierarquia discreta de cinco categorias (1 a 4*), a robustez teórica dessa categorização permanece não avaliada. Especificamente, há uma falta de compreensão sobre se a categorização da CABS é justificável sob a ótica da teoria da categorização. As questões fundamentais são: Em que medida os dados de impacto versus a opinião de especialistas impulsionam os rankings? Os critérios definidos (ex: rigor da revisão, disponibilidade de métricas) realmente distinguem as categorias? Existe uma sobreposição significativa entre as categorias que comprometa a utilidade da hierarquia discreta?

Metodologia
O estudo emprega uma abordagem de métodos mistos fundamentada na teoria da categorização, testando quatro hipóteses específicas contra dados empíricos da edição 2022 do AJG. A análise foca em quatro áreas temáticas: Marketing, Gestão, Negócios Internacionais (IB) e Estratégia, compreendendo um total de 324 periódicos.

1. Construção de Dados: O estudo utiliza três métricas de impacto proprietárias fornecidas pelo AJG (CiteScore, SNIP e SJR) cobrindo o período 2017–2021. Estas foram somadas para criar uma medida de impacto composta devido à alta intercorrelação (r > 0,85).
2. Testes Estatísticos:
   • H1 (Variância de Impacto): Testes de ANOVA de uma via e Kruskal-Wallis foram utilizados para avaliar se os dados de impacto diferem significativamente entre e entre categorias adjacentes do AJG.
   • H1b (Dominância de Impacto): Uma Regressão Logística Ordinal foi empregada para determinar a extensão em que os dados de impacto predizem a pertença à categoria.
   • H2 (Rigor de Revisão): Uma auditoria qualitativa dos sites dos periódicos e buscas na internet foi realizada para verificar as alegações relativas aos processos de revisão "duplo-cegos" e ao número de revisores, testando especificamente a definição de que os periódicos de Nível 1 são "relativamente leves" em termos de revisão.
   • H3 (Disponibilidade de Métricas): A disponibilidade de fatores de impacto de citações entre as categorias foi analisada para testar a hipótesza de que os periódicos de classificação inferior carecem de tais dados.
   • H4 (Viés Geográfico): A Regressão Logística Ordinal identificou periódicos que apareceram como outliers (ou seja, seus dados de impacto sugeriam uma categoria diferente de sua classificação AJG atribuída). As origens nacionais desses periódicos foram comparadas para testar um viés baseado no Reino Unido.

Resultos Principais

• Dominância de Dados de Impacto (H1a & H1b): Os dados de impacto explicam uma parcela substancial da variância na categorização (aproximadamente dois terços a três quartos, com valores de pseudo R² variando entre 0,66 e 0,73). No entanto, o estudo encontra uma sobreposição significativa entre categorias adjacentes (especificamente 2–3 e 3–4), onde os valores de p para comparações pareadas não foram significativos. Isso sugere que, embora o dado de impacto seja um motor primário, ele não se alinha perfeitamente com as fronteiras discretas estabelecidas pelo AJG.
• Rigor de Revisão (H2): A hipótese de que os padrões de revisão variam significativamente por categoria não foi sustentada. A análise dos sites dos periódicos revelou que mesmo os periódicos de Nível 1 utilizam predominantemente a revisão por pares duplo-cega com múltiplos revisores, contradizendo a definição do AJG de que os artigos de Nível 1 são "relativamente leves" em termos de revisão.
• Disponibilidade de Métricas (H3): A hipótese de que os periódicos de Nível 1 carecem de métricas de citação foi amplamente não sustentada. Embora alguns periódicos de Nível 1 carecessem de métricas específicas, a maioria possuía dados para todos os três principais índices usados pelo AJG.
• Viés Geográfico (H4): Contrariamente à hipótese de que periódicos baseados no Reino Unido são favorecidos, a análise dos potenciais recategorizações sugeriu que os periódicos baseados no Reino Unido foram, na verdade, mais propensos a serem promovidos (movidos para uma categoria superior com base em seus dados de impacto) do que os periódicos não pertencentes ao Reino Unido. No entanto, o estudo observa que o sistema atual não permite apelações baseadas em discrepâncias de métricas sem uma mudança nas características do periódico.
• Potencial de Recategorização: Os modelos de regressão indicaram que aproximadamente um terço dos periódicos da amostra poderia ser recategorizado (seja promovido ou rebaixado) baseando-se apenas em seus dados de impacto para reduzir a sobreposição entre os grupos.

Principais Contribuições
A principal contribuição do artigo é a aplicação da teoria da categorização à avaliação de sistemas de classificação de periódicos. Ao tratar o AJG como uma construção social destinada a impor coerência ao cenário de pesquisa, o autor identifica lacunas teóricas críticas:

1. Ambiguidade de Fronteira: O estudo demonstra que as fronteiras entre as categorias do AJG não são bem definidas na prática, como evidenciado pela substancial sobreposição de métricas de impacto entre grupos adjacentes.
2. Opacidade do Julgamento: Embora o AJG enfatize o papel do julgamento de especialistas para diferenciá-lo de classificações puramente baseadas em métricas, os dados sugerem que as métricas de impacto impulsionam a maior parte da variância. A falta de dados publicamente disponíveis sobre o componente de "julgamento qualitativo" impede que os usuários compreendam por que periódicos específicos se desviam das expectativas baseadas em métricas.
3. Desalinhamento de Definições: Os achados empíricos mostram um descompasso entre as definições escritas do AJG (ex: quanto ao rigor da revisão e disponibilidade de métricas) e as características reais dos periódicos dentro dessas categorias.

Significância e Alegações
O artigo argumenta que a abordagem atual do AJG, embora influente, falha em atender aos padrões da teoria da categorização no que diz respeito a fronteiras claras e critérios transparentes. O autor afirma que:

• A dependência de dados de impacto proprietários, combinada com o julgamento de especialistas opaco, cria um sistema onde uma parte significativa dos periódicos (aprox. um terço) pode estar categorizada incorretamente em relação aos seus dados de impacto.
• O sistema atualmente carece de um mecanismo para que os periódicos recorram de suas classificações baseadas em discrepâncias de métricas, uma vez que a recategorização é restrita a periódicos com mudanças substanciais na "natureza" ou métricas desde a última revisão.
• Para alinhar-se aos princípios de transparência (como os da declaração DORA) e à teoria da categorização, a CABS deve tornar públicos os dados de julgamento qualitativo ou revisar as definições das categorias para melhor alinhá-las com a realidade empírica dos periódicos que contêm.

O estudo conclui que, a menos que os critérios para categorização sejam tornados transparentes e as definições alinhadas com os dados, o AJG continuará a funcionar como uma "medida substituta" que pode inadvertidamente incentivar a "busca por ranking" (rank chasing) em vez de refletir a verdadeira qualidade da pesquisa. O artigo não propõe um novo sistema de classificação, mas clama por uma revisão teoricamente informada do sistema existente, observando que a próxima iteração do AJG está prevista para 2027.