Sociodemographic Biases in Educational Counselling by Large Language Models

1. Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais integrados em contextos educacionais para tarefas que vão desde o ensino personalizado até o suporte a decisões administrativas, há uma necessidade crítica de compreender se esses modelos herdam ou mitigam vieses sociodemográficos encontrados na tomada de decisão humana. Embora a psicologia educacional tenha documentado há muito tempo que as expectativas e recomendações dos professores são influenciadas pela raça, gênero, status socioeconômico (SES) e origem imigrante dos alunos (mesmo quando o desempenho acadêmico é equivalente), permanece incerto como os LLMs se comportam em cenários semelhantes de aconselhamento de alto risco. Especificamente, o estudo aborda a falta de compreensão sistemática sobre:

• A extensão das recomendações diferenciais que os LLMs fazem entre grupos demográficos.
• Como a precisão das descrições dos alunos (densidade de informação) modera a magnitude desses vieses.
• Se os padrões de viés dos LLMs se alinham ou divergem dos vieses humanos documentados.

2. Metodologia

O estudo empregou um desenho experimental em grande escala utilizando uma abordagem baseada em vignetas para isolar variáveis demográficas.

• Desenho Experimental:
  • Modelos Testados: Seis LLMs de ponta: GPT-5.2, GPT-5-nano (OpenAI), DeepSeek Chat v3.2, DeepSeek Reasoner v3.2 (DeepSeek), Grok 4.1 Fast (xAI) e Gemini Flash 3.5 (Google).
  • Variáveis:
    1. Condições Demográficas (15 níveis): Um controle neutro ("um aluno"), 8 combinações de raça e gênero (por exemplo, homem/mulher afro-americano, homem/mulher asiático, etc.), 4 níveis de SES (baixa renda, classe trabalhadora, classe média, abastada) e 2 origens imigrantes (primeira geração, família imigrante).
    2. Densidade de Informação (9 níveis): Variando de "Mínima" (apenas demografia) a "Apenas Contexto", "Vaga" (descritores subjetivos), "Métricas Neutras/Positivas/Negativas" (GPA, frequência) e "Contraditória" (métricas vs. descritores).
    3. Contextos de Decisão (10 cenários): Incluindo aconselhamento universitário, colocação em cursos, identificação de superdotação, encaminhamentos disciplinares e conferências com pais.
  • Escala: O estudo gerou 243.000 respostas de modelos (6 modelos × 15 demografias × 9 níveis de densidade × 10 contextos × 10 variações de vigneta × 3 perguntas por contexto).
  • Prompting: Os modelos foram instruídos a atuar como orientadores escolares experientes e forçados a escolher uma única opção (A–D) em uma escala de 1–4 para perguntas específicas (por exemplo, "Recomendação universitária", "Severidade disciplinar").
  • Análise: O viés foi quantificado como $\Delta = \bar{x}_{demográfico} - \bar{x}_{controle}$. A significância estatística foi avaliada usando testes t com correção FDR de Benjamini–Hochberg ($q < 0.05$). A consistência interna foi validada usando o $\alpha$ de Cronbach.

3. Principais Contribuições

1. Criação de Conjunto de Dados: Um conjunto de dados publicamente disponível de 243.000 respostas de LLMs a cenários de aconselhamento do ensino fundamental e médio, variando sistematicamente demografias e densidade de informação.
2. Quantificação de Viés: Demonstração de que os LLMs exibem vieses sociodemográficos sistemáticos que tanto se alinham quanto divergem dos vieses humanos.
3. Precisão da Informação como Moderador: Estabelecimento de que a qualidade da informação é um fator crítico; descrições vagas amplificam o viés, enquanto métricas concretas o reduzem significativamente.
4. Heterogeneidade do Modelo: Documentação de uma variância substancial nos perfis de viés entre diferentes modelos, sugerindo que o viés é resultado de escolhas específicas de treinamento e não uma propriedade inevitável dos LLMs.

4. Principais Resultados

A. Extensão e Padrões de Viés (PQ1)

• Prevalência: Todos os seis modelos exibiram vieses mensuráveis. Aproximadamente 14,7% das combinações demografia-contexto mostraram efeitos estatisticamente significativos.
• Viés Socioeconômico (Padrão Dominante): Alunos de baixa renda e da classe trabalhadora receberam recomendações significativamente mais baixas para caminhos universitários e de graduação em comparação com alunos abastados (por exemplo, uma lacuna de quase 1 ponto inteiro na escala no planejamento de graduação sob informações mínimas).
• Viés Racial:
  • Alunos Asiáticos: Receberam consistentemente tratamento favorável (o estereótipo da "minoria modelo"), particularmente no aconselhamento universitário e no envolvimento dos pais.
  • Alunos Afro-americanos: Mostraram viés positivo no aconselhamento universitário (contrariando a subestimação humana típica), mas viés negativo em contextos extracurriculares/de superdotação.
  • Homens Hispanos: Mostraram viés negativo na identificação extracurricular e de superdotação.
• Status de Imigração: Alunos de primeira geração e imigrantes geralmente receberam tratamento ligeiramente positivo, embora alunos imigrantes tenham enfrentado viés negativo na identificação de superdotação sob informações mínimas.

B. Alinhamento com Vieses Humanos (PQ2)

• Alinhamento: Os LLMs replicaram vieses humanos relacionados a expectativas socioeconômicas e ao estereótipo asiático da "minoria modelo".
• Divergência:
  • Viés Positivo para Grupos Subatendidos: Ao contrário dos professores humanos, que frequentemente subestimam o potencial de alunos afro-americanos, os LLMs mostraram viés positivo para mulheres afro-americanas no aconselhamento universitário.
  • Compensação Negativa-Vaga: Em condições onde os alunos foram descritos com linguagem subjetiva negativa, mas sem métricas, os LLMs frequentemente avaliaram grupos demográficos mais alto do que o grupo de controle, sugerindo um heurística de "benefício da dúvida" não tipicamente vista em anotadores humanos.

C. O Papel da Precisão da Informação (PQ3)

• Redução da Magnitude: Esta é a descoberta mais impressionante do estudo. Descrições vagas produziram um viés absoluto médio de $|\Delta| = 0,19$, enquanto métricas concretas reduziram-no para $|\Delta| = 0,07$ — uma redução de quase três vezes.
• Mecanismo: Quando dados objetivos (GPA, frequência) estão ausentes, os LLMs parecem preencher lacunas informativas com associações demográficas.
• Reversão do Viés: Em perguntas de "Atribuição de Esforço", descrições vagas e negativas levaram a que alunos da classe trabalhadora/imigrantes fossem culpados pela falta de esforço. No entanto, quando métricas neutras foram fornecidas, o viés reverteu, e esses mesmos grupos receberam atribuições mais simpáticas (fatores externos).

D. Heterogeneidade do Modelo (PQ4)

• GPT-5.2: Emergiu como o modelo menos enviesado no geral, com baixos valores de viés absoluto e escores z negativos (menos viés que a média) na maioria das condições.
• DeepSeek Reasoner: Mostrou o viés racial positivo mais forte (favorecendo todos os grupos raciais), mas reverteu isso para grupos socioeconômicos (desfavorecendo alunos abastados). Notavelmente, falhou em reduzir o viés mesmo quando métricas concretas foram fornecidas.
• Grok 4.1 Fast: Exibiu a estratificação socioeconômica mais pronunciada, penalizando severamente alunos de baixa renda enquanto favorecia os abastados.
• Gemini Flash: Mostrou viés uniformemente não negativo, oferecendo o tratamento positivo mais alto a alunos afro-americanos e respostas compensatórias fortes a descrições negativas.

5. Significado e Implicações

• Design de Sistema sobre Seleção de Modelo: O estudo argumenta que a arquitetura do sistema é tão importante quanto a seleção do modelo. Sistemas de IA educacional devem ser projetados para elicitar dados ricos e objetivos sobre o aluno (métricas) em vez de depender de descritores demográficos mínimos. Consultas de informação mínima, frequentemente percebidas como "neutras", na verdade maximizam o viés demográfico.
• O Viés Não é Inevitável: A heterogeneidade substancial entre os modelos indica que o viés é uma consequência de dados de treinamento e escolhas específicas (por exemplo, RLHF), e não um defeito inerente da arquitetura transformer. Isso apoia a necessidade de auditoria de justiça como um componente padrão na seleção de modelos para aplicações de alto risco.
• Complexidade da Justiça em IA: A divergência entre os vieses de LLM e humanos (por exemplo, o efeito de "compensação negativa-vaga") sugere que a IA não reflete simplesmente preconceitos sociais. Esses padrões podem representar uma supercorreção benéfica ou novas formas de injustiça, exigindo consideração cuidadosa na implementação.
• Direções Futuras: Os autores chamam por sistemas de entrada estruturada para reduzir o viés, investigação adicional sobre os mecanismos dos efeitos de compensação e estudos transculturais além do contexto dos EUA.

Conclusão: O artigo conclui que, embora os LLMs atualmente exibam vieses sociodemográficos significativos, estes podem ser substancialmente mitigados através do fornecimento de informações detalhadas e individualizadas sobre os alunos. Confiar em descrições vagas no aconselhamento educacional orientado por IA é uma estratégia de alto risco que amplifica disparidades.