Who Gets Access? Global Region and Academic Status Bias in AI-Generated Academic Gatekeeping Scenarios

Resumo Técnico: Viés de Região Global e Status Acadêmico em Gatekeeping Acadêmico Gerado por IA

Definição do Problema
O progresso científico depende do acesso equitativo aos resultados de pesquisa, incluindo artigos com paywall, conjuntos de dados e materiais profissionais. Enquanto o movimento da ciência aberta defende um acesso mais amplo, barreiras substanciais permanecem, particularmente para pesquisadores do Sul Global e aqueles com menor senioridade acadêmica. Pesquisas anteriores demonstraram que canais informais de acesso, como solicitações de e-mail aos autores, estão sujeitos a vieses de gatekeeping baseados em identidade racial e afiliação institucional. À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais integrados aos sistemas de trabalho intelectual para redigir, processar e responder a e-mails, surge uma questão crítica: os LLMs reproduzem, transformam ou mitigam esses padrões existentes de gatekeeping acadêmico ao atuarem como proxies para decisores humanos? Este estudo investiga se os LLMs codificam preferências sistemáticas em relação à região global (Norte Global vs. Sul Global) e à senioridade acadêmica (graduação a professor titular) quando confrontados com a escassez artificial na alocação de recursos.

Metodologia
Os autores introduzem um framework de simulação controlado onde os LLMs adotam a persona de um professor encarregado de conceder acesso a recursos acadêmicos escassos. O estudo utiliza cinco LLMs distintos: OpenAI GPT-4o, Google Gemini 2.5 Pro, Google Gemma-3n-2B, Meta Llama 3.1-8B e Anthropic Claude Sonnet 3.7. Para garantir saídas determinísticas, o parâmetro de temperatura foi definido como 0.

O design experimental consiste em dois estudos primários:

1. Estudo de Viés de Região Global: O LLM é apresentado a dois requerentes (um de um país do Norte Global, um de um país do Sul Global) e deve selecionar apenas um para receber um recurso. Os status acadêmicos dos requerentes são sistematicamente variados (graduando, doutorando, pós-doutorando, professor titular), e o tipo de recurso é manipulado (artigo com paywall, conjunto de dados não público, CV). O estudo controla a ordenação das opções para descartar artefatos posicionais.
2. Estudo de Viés de Status Acadêmico: O LLM é apresentado a quatro requerentes de variados status acadêmicos (todos da mesma região global) e deve selecionar um. A região global e o tipo de recurso são manipulados como variáveis independentes.

A análise estatística emprega modelos de regressão logística para estimar a probabilidade de seleção de um país do Sul Global ou de um status acadêmico específico, tratando a arquitetura do LLM, o cenário de acesso e a região/status como variáveis explicativas. O estudo também inclui uma verificação de precisão de classificação para verificar se os modelos identificam corretamente os países de acordo com as definições de Norte/Sul Global da NORRAG (Network for International Policies and Cooperation in Education and Training).

Principais Contribuições

• Framework de Simulação: O artigo estabelece um framework de simulação controlado para avaliar o comportamento de gatekeeping de LLMs sob condições de escassez artificial, isolando especificamente os efeitos da região global e da senioridade acadêmica.
• Evidência Empírica de Vieses Divergentes: O estudo fornece evidências empíricas de que os LLMs exibem vieses contrastantes baseados em sua arquitetura e alinhamento. Modelos de fronteira (GPT, Gemini, Claude) demonstram um viés "pró-equidade", favorecendo sistematicamente requerentes do Sul Global e doutorandos. Em contrapartida, modelos menores de pesos abertos (especificamente o Gemma) exibem uma reversão dessa preferência, favorecendo o Norte Global e postos acadêmicos seniores (professores titulares).
• Identificação de Julgamentos de Valor Ocultos: A pesquisa demonstra que o alinhamento de segurança focado em equidade pode introduzir julgamentos de valor ocultos, onde os modelos priorizam a percepção de necessidade financeira (ex: nações de baixa renda) em detrimento de classificações geográficas formais, frequentemente discriminando nações do Sul Global de alta renda (ex: Emirados Árabes Unidos, Catar) em favor de nações de baixa renda (ex: Gana, Ruanda).

Resultados

• Viés de Região Global: Modelos de fronteira (GPT, Gemini, Claude) selecionaram consistentemente requerentes do Sul Global em altas taxas (83–98%), independentemente do status acadêmico. Por outro lado, o Gemma mostrou uma forte preferência pelo Norte Global, selecionando esses países em taxas próximas a 100% para muitas nações, enquanto selecionou países do Sul Global em taxas próximas a 0% para a maioria. A regressão logística confirmou que a arquitetura do modelo é o determinante mais forte desses resultados.
• Viés de Status Acadêmico: Modelos de fronteira favoreceram fortemente doutorandos, vendo-os como estando em um estágio crítico e vulnerável de suas carreiras. O Gemma, contudo, favoreceu acadêmicos seniores (pós-doutorandos e professores titulares), priorizando credenciais estabelecidas e responsabilidade institucional.
• O Papel da Riqueza Econômica: A análise revelou que o viés "pró-equidade" nos modelos de fronteira não é estritamente baseado na classificação da NORRAG, mas é fortemente confundido pela riqueza econômica. Os modelos frequentemente rejeitaram pesquisadores de nações do Sul Global ricas (ex: Arábia Saudita, Catar) enquanto aceitaram aqueles de nações de baixa renda, sugerindo que os modelos estão inferindo necessidade financeira em vez de aderir a uma definição geopolítica estrita.
• Sensibilidade ao Prompt: O Llama exibiu alta sensibilidade à ordenação das opções nos prompts, levando à sua exclusão da análise estatística final do Estudo 1. A preferência do Gemma pelo Norte Global permaneceu consistente através das ordenações de opções.

Significância e Alegações
O artigo argumenta que os LLMs não são condutos neutros da intenção humana; seu emprego em funções de gatekeeping acadêmico pode moldar o acesso ao conhecimento científico com base em pressupostos normativos incorporados. Os autores afirmam que os LLMs de fronteira, através do alinhamento de segurança focado em equidade, deslocaram a lógica de gatekeeping da "credibilidade baseada em prestígio" (favorecendo instituições estabelecidas e senioridade, como visto no comportamento humano) para a "empatia baseada em necessidades" (favorecendo os estruturalmente desfavorecidos). Consequentemente, modelos sem tal alinhamento (como o Gemma) retornam aos vieses encontrados em seus dados de pré-treinamento, reforçando as hierarquias existentes.

O estudo conclui que essas descobertas ressaltam a necessidade de auditar sistemas de IA para justiça e alinhamento de valores. Os autores alertam que o uso de pipelines autônomos e não verificados de LLM para tarefas de gatekeeping corre o risco de institucionalizar desigualdades sistêmicas. Eles defendem a inclusão de conjuntos de dados de avaliação robustos durante o pré-treinamento e o ajuste fino (fine-tuning) de modelos de pesos abertos e enfatizam a necessidade de supervisão humana (human-in-the-loop) para evitar a automação de decisões de acesso discriminatórias. O artigo nota modestamente que seus achados são específicos para prompts em inglês e podem não se generalizar para outros idiomas ou contextos culturais sem investigação adicional.