Patterns of genAI bias in guiding prospective undergraduate students: a study of UK neuroscience programmes

Este estudo revela que ferramentas de inteligência artificial generativa apresentam vieses sistemáticos ao orientar estudantes prospectivos para programas de neurociência no Reino Unido, favorecendo candidatos com notas mais altas e origens privadas com recomendações para instituições de elite e linguagem codificada por gênero, o que corre o risco de reforçar desigualdades educacionais e socioeconômicas existentes.

O essencial

Imagine que você está prestes a escolher a faculdade dos seus sonhos, mas, em vez de pesquisar em livros ou conversar com conselheiros, você pergunta a um "oráculo digital" superinteligente (uma Inteligência Artificial, ou IA). Você diz: "Quero estudar Neurociência no Reino Unido". A IA responde com uma lista de 5 universidades e explica por que elas são boas. Parece perfeito, certo?

Bem, um estudo recente descobriu que esse "oráculo" não é tão neutro quanto parece. Na verdade, ele age como um espelho distorcido que reflete os preconceitos do mundo real, e pior: ele pode estar reforçando desigualdades sem que ninguém perceba.

Aqui está o resumo desse estudo, explicado de forma simples:

1. O Experimento: Testando o Espelho

O pesquisador, Harry Potter (não, não é o bruxo, mas um cientista da Universidade de Manchester), criou 216 cenários diferentes de estudantes imaginários. Ele variou coisas como:

• Quem é: Homens, mulheres, jovens de 16-18 anos ou adultos mais velhos.
• Onde estudou: Escola pública ou escola particular.
• Notas: Notas baixas, médias ou excelentes.
• O que valorizam: Pesquisa científica de ponta, qualidade do ensino ou a felicidade dos alunos.

Ele enviou todas essas perguntas para três IAs famosas (ChatGPT, Copilot e Gemini) e analisou mais de 3.200 respostas.

2. A Descoberta Principal: A IA é um "Mestre de Cerimônias" Viesado

O estudo descobriu que a IA não trata todos os alunos da mesma forma. Ela muda a "roupa" que veste para cada um, dependendo das informações que você deu a ela.

• Se você tem notas altas e quer pesquisa: A IA usa uma linguagem mais "masculina" e agressiva (palavras como liderança, competitivo, excelência, corte). Ela te recomenda as universidades mais famosas e difíceis (as "elites"), mesmo que você não tenha pedido especificamente por isso. É como se a IA dissesse: "Você é um leão, aqui está o castelo dos leões."
• Se você tem notas mais baixas ou prioriza o bem-estar dos alunos: A IA muda o tom. Usa uma linguagem mais "feminina" e acolhedora (palavras como suporte, colaboração, comunidade, sentir-se bem). Ela te recomenda universidades com foco em satisfação do aluno e acesso mais amplo. É como se dissesse: "Você é parte da família, aqui está o lar acolhedor."

O problema: A IA não está apenas reagindo às suas notas; ela está estereotipando. Ela associa "sucesso acadêmico e pesquisa" a características masculinas e "suporte e comunidade" a características femininas, mesmo que o aluno seja uma mulher brilhante querendo fazer pesquisa ou um homem que valorize o bem-estar.

3. O Efeito "Bola de Neve" nas Desigualdades

Aqui é que a coisa fica séria. A IA não só muda a linguagem, ela muda para onde ela manda o aluno:

• Estudantes de escolas particulares e com notas altas: Receberam recomendações para as universidades mais exclusivas e caras (como Oxford e Cambridge), com requisitos de entrada altíssimos.
• Estudantes de escolas públicas e com notas mais baixas: Foram direcionados para universidades com requisitos mais baixos e foco em "acesso amplo".

A analogia da Pista de Corrida:
Imagine que a IA é um treinador de corrida. Se um corredor tem um terno caro e sapatos de couro (simbolizando notas altas e escola particular), o treinador aponta para a pista VIP e diz: "Corra aqui, você é um campeão!". Se outro corredor tem tênis gastos (notas mais baixas), o treinador aponta para a pista de terra e diz: "Corra aqui, é mais fácil para você".
O problema é que o treinador (a IA) decidiu quem vai para onde baseado em estereótipos, e não necessariamente no potencial real do corredor. Isso faz com que as desigualdades sociais se perpetuem: quem já tem vantagem, ganha mais; quem já está em desvantagem, recebe menos oportunidades.

4. A Linguagem como um "Código Secreto"

O estudo mostrou que a linguagem usada pela IA é um código.

• Código "Masculino" (Competitivo, Rígido): Está ligado a universidades com pesquisa de ponta, mas com menos satisfação dos alunos.
• Código "Feminino" (Acolhedor, Suave): Está ligado a universidades com alta satisfação dos alunos, mas com menos prestígio em pesquisa.

Isso cria um ciclo vicioso: a IA diz a você que você é "competitivo" e te manda para um lugar difícil, ou diz que você é "acolhedor" e te manda para um lugar "seguro", limitando suas escolhas reais.

5. Conclusão: Precisamos de um "Filtro de Realidade"

O estudo conclui que, embora a IA seja uma ferramenta incrível para organizar informações, ela não é neutra. Ela aprendeu com os dados do mundo real, que são cheios de preconceitos de gênero, classe e raça.

O que isso significa para nós?

• Para estudantes: Não confie cegamente na primeira resposta da IA. Use-a como um ponto de partida, mas pesquise por conta própria.
• Para as universidades e governos: Precisamos criar regras para que essas IAs sejam mais justas e transparentes. Elas não podem ser apenas "caixas pretas" que decidem o futuro dos jovens baseadas em estereótipos.

Em resumo, a IA é como um GPS que, às vezes, decide desviar você de uma estrada rápida porque acha que você "não aguenta" ou porque acha que você "merece" uma estrada de terra, tudo baseado em como você se apresentou no início da viagem. O estudo nos alerta para não deixar o GPS dirigir nossa vida sem supervisionarmos o mapa.

Resumo técnico

Título do Estudo

Padrões de viés em IA Generativa (genAI) ao orientar estudantes universitários prospectivos: um estudo de programas de neurociência no Reino Unido.

1. Problema e Contexto

O uso de ferramentas de Inteligência Artificial Generativa (genAI), como ChatGPT, Copilot e Gemini, por estudantes do ensino superior (ES) aumentou drasticamente para auxiliar na seleção de universidades e cursos. Apesar dessa adoção generalizada, há uma lacuna crítica no conhecimento sobre como esses sistemas podem introduzir ou amplificar vieses nos processos de decisão de admissão de graduação.
O estudo aborda a preocupação de que vieses nos dados de treinamento e nas respostas dos modelos de linguagem (LLMs) possam reforçar desigualdades educacionais, socioeconômicas e de gênero, direcionando estudantes para instituições com base em estereótipos em vez de mérito ou adequação real.

2. Metodologia

Os pesquisadores conduziram uma análise quantitativa sistemática utilizando o curso de Neurociência como representante de programas de graduação no Reino Unido.

• Design Experimental:

  • Foram criados 216 prompts em um design fatorial completo, variando as características do solicitante:
    • Gênero: Feminino / Masculino.
    • Tipo de Estudante: Estudante de A-level (16-18 anos) / Estudante maduro.
    • Tipo de Escola: Pública (State) / Privada.
    • Notas Previstas/Alcançadas: Baixas (BBC), Médias (AAB) e Altas (A*AA).
    • Matérias: "Pesadas em ciência" (Bio/Quim/Mat), "Intermediárias" e "Leves em ciência".
    • Prioridades: Qualidade da pesquisa, qualidade do ensino ou opinião dos estudantes.
  • Cada prompt foi submetido a três chatbots principais: ChatGPT-4o, Microsoft Copilot Chat e Google Gemini Flash 2.5.
  • Total de Dados: 648 prompts submetidos, gerando 648 respostas com 5 recomendações cada, totalizando 3.240 recomendações individuais de instituições/programas.

• Análise de Dados:

  • Análise Textual: Medição de composição (número de palavras/caracteres), legibilidade (índices FKGL e SMOG) e codificação de gênero (ferramenta Gender Decoder para identificar linguagem masculina vs. feminina).
  • Análise de N-gramas: Identificação de padrões de frequência de palavras agrupadas em conceitos como "excelência", "pesquisa", "acesso amplo", etc.
  • Marcadores de Prestígio Institucional: As instituições recomendadas foram cruzadas com dados oficiais do Reino Unido:
    • REF21: Quadro de Excelência em Pesquisa (força da pesquisa).
    • TEF23: Quadro de Excelência no Ensino (reputação do ensino).
    • NSS24: Pesquisa Nacional de Estudantes (satisfação do aluno).
    • Requisitos de Entrada: Pontuação UCAS mínima aceita.

3. Principais Contribuições e Resultados

A. Impacto das Características do Solicitante na Linguagem

• Notas e Prioridades: As notas do aluno e suas prioridades (pesquisa vs. ensino) foram os fatores mais fortes que influenciaram a saída da IA.
• Codificação de Gênero: Solicitantes com notas mais altas e que priorizavam a pesquisa receberam significativamente mais linguagem codificada como masculina (ex: "líder", "ativo", "competitivo"), independentemente do gênero real do solicitante.
• Linguagem de Acesso: Solicitantes com notas mais baixas receberam mais linguagem focada em "acesso amplo" (widening access) e "suporte".

B. Viés nas Recomendações Institucionais

• Instituições de Elite: Alunos com notas altas, de escolas privadas e com foco em pesquisa tiveram maior probabilidade de receber recomendações de instituições do Russell Group (elites) e Oxbridge.
• Requisitos de Entrada: A IA tendeu a recomendar instituições com requisitos de entrada mais altos para alunos de alto desempenho, mas também inflou os requisitos recomendados para alunos com notas altas, sugerindo programas que excediam suas qualificações atuais.
• Viés Geográfico e Socioeconômico: Alunos de escolas privadas e com notas altas foram direcionados desproporcionalmente para instituições no sul da Inglaterra e com maior prestígio de pesquisa.

C. Correlação entre Linguagem e Prestígio Acadêmico

Uma descoberta crítica foi a associação direta entre a codificação de gênero da resposta e as características da instituição recomendada:

• Respostas Masculinizadas: Associadas a instituições com maior força de pesquisa (REF21), requisitos de entrada mais altos e menor satisfação do aluno (NSS24).
• Respostas Feminizadas: Associadas a instituições com maior satisfação do aluno e requisitos de entrada mais baixos.

D. Fontes de Informação

• O ChatGPT foi o único modelo a citar frequentemente fontes de conteúdo gerado por usuários (UGC) como Reddit e Wikipedia, especialmente em prompts de solicitantes femininos e de escolas privadas.
• Copilot e Gemini citaram quase exclusivamente sites oficiais e rankings acadêmicos.

4. Significância e Implicações

• Reforço de Desigualdades: O estudo demonstra que a genAI não é neutra; ela tende a replicar e amplificar estereótipos sociais existentes. Ao associar linguagem "masculina" e de "alta performance" a instituições de elite e de pesquisa, e linguagem "feminina" e de "suporte" a instituições focadas no aluno, a IA pode perpetuar barreiras para a mobilidade social e a diversidade no ensino superior.
• Risco para a Tomada de Decisão: Estudantes que confiam cegamente nessas ferramentas podem ser direcionados para caminhos que não refletem suas reais capacidades ou interesses, mas sim os vieses latentes nos dados de treinamento dos modelos.
• Necessidade de Regulação: Os autores concluem que há uma necessidade urgente de transparência, regulação e supervisão no uso de genAI no setor de educação. As instituições de ensino superior e os formuladores de políticas devem considerar como esses algoritmos influenciam o fluxo de estudantes e a equidade no acesso ao conhecimento.

Em resumo, o estudo fornece evidências empíricas de que os sistemas de IA generativa atuais possuem vieses sistemáticos que podem distorcer a orientação educacional, favorecendo desproporcionalmente perfis de alto desempenho e origem socioeconômica privilegiada, enquanto codificam essas recomendações através de lentes de gênero estereotipadas.