Implicit Grading Bias in Large Language Models: How Writing Style Affects Automated Assessment Across Math, Programming, and Essay Tasks

Este estudo revela que, embora modelos de linguagem de grande escala (LLMs) demonstrem viés de correção significativo em tarefas de redação ao penalizar estilos de escrita informal ou não nativa apesar de instruções explícitas para ignorá-los, esse viés é mínimo ou inexistente em tarefas de matemática e programação.

O essencial

🎓 O "Professor Robô" e o Viés Invisível: Uma História sobre Justiça nas Notas

Imagine que você tem um super-robô professor (um Modelo de Linguagem ou LLM) que foi contratado para corrigir milhares de provas de alunos em segundos. Ele é rápido, não cansa e promete ser justo com todos.

Mas, e se esse robô tiver um "preconceito invisível"? E se ele der nota baixa não porque o aluno errou a matéria, mas apenas porque o aluno escreveu de um jeito diferente do que o robô está acostumado?

Foi exatamente isso que os pesquisadores Rudra, Janhavi e Sonalika descobriram no estudo que você leu. Eles testaram dois desses "super-robôs" (chamados LLaMA e Qwen) para ver se eles eram realmente justos.

🧪 O Experimento: A Prova de Fogo

Para testar isso, eles criaram um cenário de "laboratório":

1. A Matéria Certa: Eles escreveram 60 respostas perfeitas para perguntas de Matemática, Programação e Redação.
2. O "Truque" de Estilo: Eles pegaram essas respostas perfeitas e as "estragaram" de três jeitos, mas sem mudar o conteúdo correto:
   • Erros de Gramática: Como se o aluno tivesse pressa ou não tivesse revisado.
   • Linguagem Informal: Usando gírias e abreviações (tipo "u gotta" em vez de "you have to").
   • Fraseado "Não Nativo":: Como se o aluno estivesse traduzindo mentalmente de outro idioma.

Depois, eles mandaram essas versões "estragadas" para os robôs corrigirem, dizendo explicitamente: "Ei, robô! Ignore o estilo e a gramática. Avalie apenas se a ideia está certa!"

📉 O Que Aconteceu? (A Grande Divisão)

O resultado foi surpreendente e mostrou uma grande divisão entre os tipos de prova:

1. Matemática e Programação: O Robô é um "Mestre da Lógica" 🧮💻
Quando a prova era sobre números ou código, o robô foi justo.

• Analogia: Imagine que você pede para alguém verificar se uma conta de somar está certa. Se a pessoa escrever "2+2=4" ou "dois mais dois igual quatro", o resultado é o mesmo. O robô viu que a lógica estava certa e deu a nota máxima, ignorando se o texto estava cheio de gírias ou erros de português.
• Resultado: Pouquíssimo viés. O robô não se importou com o "sotaque" da escrita.

2. Redação e Ensaios: O Robô é um "Crítico de Estilo" ✍️🚫
Aqui foi onde a mágica (e o problema) aconteceu. Quando a prova exigia opinião, argumentos e criatividade, o robô puniram severamente os alunos que não escreviam de forma "polida".

• A Punção: Mesmo com a ordem de "ignorar o estilo", o robô tirou pontos.
  • Se o aluno usou gírias (linguagem informal), o robô tirou até 1,9 pontos de uma nota de 10.
  • Se o aluno usou frases de não nativo, o robô tirou até 1,35 pontos.
• Analogia: Imagine que dois alunos escrevem um ensaio perfeito sobre "A importância da água".
  • O Aluno A escreve como um livro de gramática: "A água é um recurso vital..."
  • O Aluno B escreve de forma mais natural e direta: "Cara, a água é super importante pra gente..."
  • O robô deu nota 10 para o Aluno A e nota 8 para o Aluno B. O robô achou que a ideia do Aluno B era pior, só porque a "roupa" da escrita era diferente.

🤔 Por que isso acontece?

Os pesquisadores explicam que os robôs foram treinados lendo milhões de livros, artigos científicos e notícias. Eles aprenderam que "texto formal = inteligência" e "texto informal = erro".

É como se o robô tivesse um filtro de óculos escuros que só deixa ver a beleza em textos que parecem escritos por acadêmicos. Mesmo quando você tira os óculos dele (dizendo "não julgue o estilo"), o cérebro do robô ainda está acostumado a associar gírias com falta de qualidade.

⚠️ O Perigo Real

Isso é perigoso para a educação porque:

• Não é justo: Alunos que vêm de culturas orais, que são neurodivergentes, ou que estão aprendendo inglês como segunda língua, podem ter ótimas ideias, mas o robô vai dar nota baixa só porque o jeito de escrever deles é diferente do padrão "livro de texto".
• O "Robô" não é mágico: O estudo mostrou que pedir educadamente para o robô ser justo (no prompt) não funciona. O viés está "queimado" no cérebro dele.

🚀 O Que Fazer? (A Lição Final)

O estudo termina com um conselho importante para escolas e universidades:

1. Não confie cegamente no robô para redações: Use robôs para corrigir matemática e código (onde eles são justos), mas mantenha professores humanos para corrigir textos e opiniões.
2. Teste antes de usar: Antes de contratar um sistema de correção automática, faça um teste de "estilo" para ver se ele pune alunos que escrevem de forma diferente.
3. Justiça é mais que código: Ensinar robôs a serem justos exige mais do que apenas dar instruções; exige mudar como eles aprendem.

Em resumo: O robô é ótimo em lógica, mas ainda é um pouco preconceituoso com o jeito que as pessoas se expressam. Na educação, onde a voz de cada aluno importa, não podemos deixar que um robô decida o futuro de alguém baseado apenas no "sotaque" da escrita.

Resumo técnico

Título: Viés Implícito de Classificação em Grandes Modelos de Linguagem: Como o Estilo de Escrita Afeta a Avaliação Automatizada em Tarefas de Matemática, Programação e Redação

1. Problema Investigado

A integração de Grandes Modelos de Linguagem (LLMs) na avaliação educacional promete resolver gargalos de correção e fornecer feedback escalável. No entanto, existe uma suposição crítica não testada: a de que esses modelos avaliam o trabalho dos alunos de forma justa, independentemente do seu background linguístico, convenções de escrita ou contexto cultural.

O problema central abordado é se os LLMs exibem viés implícito de classificação baseado no estilo de escrita (superficial), mesmo quando a correção do conteúdo permanece constante. Especificamente, o estudo investiga se variações como erros gramaticais, linguagem informal e frases não nativas são penalizadas injustamente, discriminando alunos que possuem o conhecimento, mas não o "registro acadêmico polido" presente nos dados de treinamento dos modelos.

2. Metodologia

Os autores construíram um experimento controlado para isolar o estilo da correção do conteúdo.

• Construção do Conjunto de Dados:

  • Foram criadas 180 respostas de alunos derivadas de 60 perguntas únicas.
  • Disciplinas: Matemática (20 questões), Programação (20 tarefas em Python) e Redação/Ensaios (20 prompts argumentativos).
  • Perturbações de Superfície: Cada resposta base (correta e bem estruturada) foi modificada em três dimensões, mantendo a correção lógica intacta:
    1. Erros Gramaticais: Ortografia, pontuação e concordância (ex: artigos faltantes).
    2. Linguagem Informal: Uso de gírias, contrações e tom coloquial (ex: "u gotta" em vez de "you have to").
    3. Frases Não Nativas: Padrões característicos de falantes de inglês como segunda língua (ex: uso incorreto de preposições ou artigos).
  • Pontuação de Referência (Ground Truth): Atribuída por humanos na escala de 1 a 10 (variando de 7 a 10), focando apenas na correção do conteúdo.

• Modelos Avaliados:

  • LLaMA 3.3 70B (Meta): Modelo de 70 bilhões de parâmetros, treinado predominantemente em corpora de inglês ocidental.
  • Qwen 2.5 72B (Alibaba): Modelo de 72 bilhões de parâmetros, treinado em corpus multilíngue significativo (incluindo chinês e asiático do sudeste).
  • Ambos são modelos de código aberto, instruídos e de escala comparável.

• Protocolo de Avaliação:

  • Os modelos receberam instruções explícitas para não penalizar gramática, estilo ou linguagem informal.
  • A tarefa foi classificar as respostas na escala de 1 a 10.
  • Análise Estatística: O viés foi medido como a diferença de pontuação ($\Delta$) entre a resposta base e a perturbada. Foram calculados testes t pareados, tamanhos de efeito (Cohen's $d$) e correlações com a pontuação humana.

3. Principais Contribuições

1. Framework de Perturbação Controlada: Um método robusto para isolar o viés de estilo da correção de conteúdo, permitindo a medição direta de preconceitos superficiais.
2. Comparação Transdisciplinar: A avaliação de dois LLMs de ponta em três domínios acadêmicos distintos, revelando uma dicotomia aguda entre avaliação objetiva e subjetiva.
3. Evidência contra a Engenharia de Prompt: Demonstra que instruções explícitas no prompt ("ignore o estilo") são insuficientes para mitigar o viés em aplicações educacionais de alto risco.

4. Resultados Chave

• Viés Dependente do Assunto (O "Gradiente de Subjetividade"):

  • Redação/Ensaios: Houve viés estatisticamente significativo ($p < 0.05$) em todas as condições para ambos os modelos. Os tamanhos de efeito foram de médio a muito grandes (Cohen's $d$ variando de 0.64 a 4.25).
  • Matemática e Programação: O viés foi mínimo ou inexistente. A maioria das condições não atingiu significância estatística, exceto uma condição específica no Qwen para Matemática com frases não nativas.
  • Conclusão: O viés aumenta drasticamente à medida que a tarefa de avaliação se torna mais subjetiva.

• Impacto da Linguagem Informal:

  • A linguagem informal recebeu as penalidades mais severas.
  • LLaMA: Dedução média de 1.90 pontos (escala de 10) para ensaios informais.
  • Qwen: Dedução média de 1.20 pontos.
  • Isso é comparável à diferença entre uma nota B+ e C+, impactando diretamente o GPA e oportunidades acadêmicas.

• Frases Não Nativas:

  • Também foram penalizadas, embora menos que a informalidade (LLaMA: -1.35; Qwen: -0.90). O modelo Qwen mostrou-se ligeiramente mais tolerante, possivelmente devido ao seu treinamento multilíngue.

• Falha das Instruções de Prompt:

  • Apesar das instruções explícitas para ignorar o estilo, os modelos mantiveram o viés. Isso sugere que a associação entre "estilo informal/não nativo" e "baixa qualidade" está codificada profundamente nos pesos do modelo, não sendo superável apenas por prompts.

• Convergência entre Modelos:

  • Ambos os modelos (Meta e Alibaba) exibiram a mesma hierarquia de viés: Ensaios > Matemática > Programação e Informal > Não Nativo > Gramática. Isso indica uma propriedade sistêmica dos grandes modelos de linguagem, e não apenas um artefato de um pipeline específico.

5. Significado e Implicações

• Equidade Educacional: A implementação de correção automatizada por LLMs pode reforçar desigualdades existentes. Alunos de primeira geração, de culturas com tradições orais, ou falantes não nativos podem receber notas sistemicamente mais baixas não por falta de conhecimento, mas por não se adequarem ao "registro acadêmico" do modelo.
• Risco em Tarefas Subjetivas: As tarefas onde a correção automatizada é mais necessária (redações, análises abertas) são exatamente aquelas onde o viés é mais severo.
• Recomendações Práticas:
  1. Auditoria Obrigatória: Instituições devem realizar testes de viés baseados em perturbações antes de implantar qualquer sistema de correção.
  2. Restrição de Uso: Limitar a correção automática a domínios objetivos (STEM) onde o viés é demonstravelmente mínimo.
  3. Supervisão Humana: Manter revisão humana para avaliações subjetivas, especialmente em populações linguisticamente diversas.
  4. Soluções Técnicas: Investir em fine-tuning consciente do estilo e abordagens de ensemble para corrigir viés, em vez de confiar apenas na engenharia de prompts.

Em suma, o estudo alerta que, sem intervenções fundamentais, a automação da avaliação educacional pode se tornar um mecanismo de discriminação algorítmica, penalizando a identidade comunicativa dos alunos em vez de avaliar seu intelecto.