💬 NLP

Who Do Language Models Think Is Competent? A Mechanistic Analysis of Occupational Bias

Este artigo revela que os modelos de linguagem frequentemente retêm vieses de representação interna em relação à competência do usuário baseados em demografia como gênero e raça, mesmo quando seus resultados observáveis parecem imparciais, demonstrando que avaliações comportamentais isoladas são insuficientes para detectar esses modos de falha subjacentes.

Autores originais: Keren Fuentes, Aaron Mueller

Publicado 2026-08-24

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Keren Fuentes, Aaron Mueller

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os seres humanos são capazes de manter suposições subconscientes sobre os outros, muitas vezes sem perceberem. Uma pessoa pode acreditar que um determinado grupo demográfico é menos adequado para um certo trabalho, mesmo que rejeite conscientemente tais ideias. Essas associações ocultas podem moldar silenciosamente decisões, desde quem é contratado até quanta ajuda alguém recebe. No mundo da inteligência artificial, os grandes modelos de linguagem aprenderam a imitar a fala humana estudando vastas quantidades de texto. Como eles aprendem com a escrita humana, frequentemente captam essas mesmas associações ocultas. Durante anos, pesquisadores tentaram medir se esses programas de computador são enviesados fazendo perguntas diretas ou observando suas respostas. Se um modelo se recusa a dizer algo preconceituoso, ele é frequentemente considerado seguro. No entanto, um novo estudo sugere que um modelo pode parecer perfeitamente educado na superfície enquanto ainda mantém essas ideias enviesadas profundamente dentro de seu próprio processamento.

Os pesquisadores por trás deste trabalho, Keren Fuentes e Aaron Mueller, queriam ver se os pensamentos internos de um modelo correspondiam ao seu comportamento externo. Eles focaram em um tipo específico de viés: a suposição de que certas pessoas são mais ou menos capazes com base em seu gênero, raça ou nível socioeconômico, em vez de suas habilidades reais. Para investigar isso, eles analisaram duas formas diferentes de julgar um modelo. A primeira é a visão "comportamental", que é o que o modelo realmente diz quando questionado. A segunda é a visão "representacional", que observa os padrões matemáticos que o modelo cria dentro de seu próprio cérebro enquanto está pensando. Pense no estado interno do modelo como uma camada oculta de pensamento que existe antes de ele formar uma frase. Os pesquisadores desenvolveram uma maneira de medir essa camada oculta para ver se o modelo estava tratando um usuário como um especialista ou um novato, independentemente do que o usuário realmente dissesse sobre sua experiência.

Para fazer isso, a equipe criou um conjunto de perguntas profissionais cobrindo vinte diferentes profissões, variando de enfermagem a desenvolvimento de software. Eles fizeram essas perguntas a três modelos de linguagem de grande escala diferentes, mas mudaram levemente o contexto em cada caso. Às vezes, diziam ao modelo que o usuário era um profissional naquela área; outras vezes, mencionavam o gênero, raça ou nível de renda do usuário sem mencionar sua profissão. Eles então mediram duas coisas: a complexidade da linguagem que o modelo usava em sua resposta e o "score" interno que ele atribuía à expertise do usuário. A complexidade da linguagem serviu como uma métrica comportamental, enquanto o score interno atuou como uma janela para o raciocínio oculto do modelo.

Os resultados revelaram um descompasso impressionante. Em muitos casos, os modelos produziram respostas que pareciam justas e imparciais. Ao serem solicitados a contratar um candidato ou responder a uma pergunta técnica, os modelos não deram respostas consistentemente diferentes com base na raça ou gênero do usuário. Se você olhasse apenas para o texto final, os modelos pareciam tratar todos igualmente. No entanto, quando os pesquisadores espiaram dentro do processamento interno do modelo, encontraram uma história diferente. Os modelos estavam atribuindo diferentes níveis de expertise a usuários com base em detalhes demográficos que não deveriam importar. Por exemplo, um modelo poderia internamente classificar um usuário branco como mais competente do que um usuário hispânico, mesmo quando ambos faziam exatamente a mesma pergunta e tinham o mesmo título profissional. Esse viés interno existia mesmo quando as palavras finais do modelo não mostravam qualquer preconceito.

Os pesquisadores provaram que esses scores internos não eram apenas ruído aleatório; eles de fato controlavam o comportamento do modelo. Ao usar uma técnica chamada "direcionamento" (steering), eles puderam induzir o modelo em seus pensamentos internos para fazer com que visse um usuário como mais ou menos especialista. Quando fizeram isso, as respostas do modelo mudaram. Se direcionassem o modelo para ver um usuário como um especialista, o modelo usava uma linguagem mais complexa e dava conselhos técnicos mais detalhados. Se o direcionassem para vê-lo como um novato, as respostas tornavam-se mais simples. Isso confirmou que a representação interna de expertise era uma força causal real que impulsionava a saída do modelo. O estudo mostrou que esses vieses internos eram sensíveis a pistas demográficas. Mesmo quando o modelo conhecia a profissão do usuário, diferenças sutis na forma como percebia a competência com base na raça ou gênero permaneciam detectáveis em seu estado interno, mesmo que não aparecessem sempre no texto final.

Essa descoberta sugere que os métodos atuais para testar o viés da inteligência artificial podem estar deixando passar muita coisa. Se verificarmos apenas o que um modelo diz, podemos pensar que ele é justo quando não é. Os modelos estudados aqui, que incluíam versões de Gemma e Llama, mostraram que poderiam codificar associações entre grupos demográficos e competência em suas camadas ocultas. Essas associações poderiam influenciar as decisões do modelo de maneiras que não são imediatamente visíveis. Por exemplo, em uma tarefa de contratação, os scores internos dos modelos para candidatos variavam por raça e gênero, embora as decisões finais de contratação parecessem estatisticamente semelhantes entre os grupos. Os pesquisadores descobriram que, embora os modelos pudessem ser direcionados para mudar suas taxas de contratação, os vieses internos subjacentes persistiam, sugerindo que os modelos ainda estavam processando informações demográficas de uma forma que influenciava seu julgamento.

As implicações deste trabalho são significativas para a forma como avaliamos e melhoramos a inteligência artificial. Indica que um modelo pode passar em um teste de segurança padrão enquanto ainda abriga vieses profundos que poderiam ser desencadeados por comandos ou condições específicas. Os pesquisadores argumentam que precisamos olhar além do nível superficial do que um modelo diz e examinar como ele pensa. Ao medir essas representações internas, poderemos detectar e corrigir viesos antes que eles se manifestem em comportamentos prejudiciais. Essa abordagem oferece uma nova maneira de garantir que essas ferramentas poderosas sejam verdadeiramente justas, não apenas em suas palavras, mas em sua própria natureza. O estudo conclui que, embora as métricas comportamentais sejam necessárias, elas não são suficientes por si só; uma compreensão robusta da justiça exige olhar para a maquinaria oculta do próprio modelo.

Resumo Técnico: Quem os Modelos de Linguagem Consideram Competente? Uma Análise Mecanística de Viés Ocupacional

1. Definição do Problema

Embora os grandes modelos de linguagem (LMs) frequentemente passem em avaliações comportamentais de viés, permanece incerto se eles genuinamente desaprenderam associações demográficas subjacentes ou se apenas aprenderam a suprimir sua expressão. Pesquisas existentes indicam que os modelos podem codificar associações entre atributos demográficos (ex: gênero, raça, status socioeconômico) e papéis sociais em suas representações latentes, mesmo quando seus outputs parecem benignos.

Os métodos de avaliação atuais baseiam-se primariamente em métricas comportamentais (outputs observáveis), que podem falhar em detectar vieses latentes codificados no raciocínio interno do modelo. Este estudo postula que atributos demográficos, que são causalmente irrelevantes para a competência real de uma pessoa, ainda podem influenciar a representação interna da expertise de um usuário pelo modelo. O problema central é o potencial descompasso entre o "processo de pensamento" do modelo (representações internas) e sua "fala" (outputs observáveis), onde métricas comportamentais sugerem equidade enquanto os mecanismos internos permanecem enviesados.

2. Metodologia

2.1 Estrutura Causal

Os autores propõem uma estrutura causal para decompor o viés ocupacional em dois pontos de medição distintos:

Representação Interna ( $E$ ): A representação latente do modelo sobre a competência de um usuário.
Comportamento Observável ( $L$ ): O output gerado pelo modelo, especificamente medido pela complexidade linguística (nível de leitura).

A estrutura define o viés como a influência causal de atributos demográficos irrelevantes (gênero, raça, status socioeconômico) na representação interna de competência. O estudo utiliza um grafo causal onde profissão, educação e idade são tratados como fatores causalmente relevantes, enquanto raça, gênero e status socioeconômico são tratados como causalmente irrelevantes.

2.2 Construção de Dados

Dataset de Perguntas Profissionais ( $D_P$ ): Um conjunto de dados de 2.000 perguntas específicas de carreira em 20 profissões (selecionadas do U.S. Bureau of Labor Statistics). As perguntas foram geradas usando o GPT-5 para abranger vários níveis de expertise (de aprendiz a veterano).
Tarefa de Contratação: Uma versão modificada de uma avaliação de contratação padrão, onde os modelos recebem currículos e são solicitados a tomar uma decisão de Sim/Não para contratação. Os currículos foram modificados para codificar gênero e raça por meio de nomes.

2.3 Derivação do Vetor de Direcionamento (Steering Vector)

Para quantificar a representação de expertise do modelo, os autores constroem um vetor de direcionamento ( $e$ ) usando uma abordagem de diferença de médias:

Conjunto de Especialistas ( $R^+$ ): Prompts que indicam alta competência (ex: "Estudei este tópico profundamente por anos").
Conjunto de Novatos ( $R^-$ ): Prompts que indicam baixa competência (ex: "Estou apenas começando a aprender sobre este tópico").
Cálculo do Vetor: O vetor de expertise é a diferença entre as representações ocultas médias dos conjuntos de especialistas e novatos:
$e = \frac{1}{|R^+|} \sum_{h \in R^+} h - \frac{1}{|R^-|} \sum_{h \in R^-} h$
Pontuação de Expertise ( $E$ ): A projeção escalar da representação do último token do contexto sobre o vetor de expertise unitário.

2.4 Métricas Comportamentais

Para medir o viés observável, os autores utilizam um conjunto de métricas de nível de leitura:

Flesch–Kincaid Grade Level (FKGL): Estima a série escolar necessária para compreender o texto.
Dale–Chall Readability Score (DCRS): Mede a dificuldade com base em vocabulário avançado.
Pontuação Composta ( $L$ ): A média de FKGL e DCRS.

2.5 Configuração Experimental

Os experimentos foram conduzidos em três modelos de pesos abertos ajustados para instrução: Gemma-2-2B, Gemma-2-9B e Llama-3-8B.

Intervenção: Os autores aplicam direcionamento (steering) ao adicionar o vetor de expertise ( $e$ ) às representações ocultas em camadas intermediárias específicas ( $\tilde{h}_l = h_l + \alpha e$ ) para verificar a mediação causal.
Variações de Prompt: Os prompts foram construídos para isolar variáveis demográficas (ex: "Eu sou um [Demográfico]") versus variáveis causais (ex: "Eu sou um [Profissão]").

3. Principais Contribuições

Estrutura Causal para Viés Ocupacional: Um novo método para avaliar o viés separando as representações internas de capacidade do usuário dos comportamentos observáveis do modelo.
Operacionalização do Vetor de Direcionamento: A derivação de vetores de direcionamento específicos para "expertise do usuário" em um determinado domínio. Os autores demonstram que intervir nesses vetores afeta causalmente o comportamento do modelo tanto em tarefas de perguntas e respostas quanto em tarefas de contratação.
Detecção de Viés Latente: Evidência empírica mostrando que atributos demográficos influenciam as representações internas de expertise, mesmo quando as métricas comportamentais (como nível de leitura ou taxas de contratação) não mostram disparidade.

4. Principais Resultados

4.1 Mediação Causal da Expertise

Experimentos de direcionamento confirmaram que o vetor de expertise ( $e$ ) medeia causalmente o comportamento do modelo.

Nível de Leitura: Aumentar a pontuação de expertise via direcionamento positivo ( $\alpha > 0$ ) aumentou significativamente o nível de leitura ( $L$ ) dos outputs do modelo. O direcionamento negativo diminuiu a complexidade. Isso se manteve em Gemma-2-9B e Llama-3-8B.
Decisões de Contratação: O direcionamento com o vetor de expertise alterou significativamente as taxas de contratação. Um vetor específico de contratação ( $e_H$ ) também foi derivado, mostrando que os modelos são altamente sensíveis às representações de expertise ao tomar decisões de contratação.

4.2 Sensibilidade ao Contexto do Usuário

Relevância: A pontuação de expertise interna do modelo ( $E$ ) aumentou corretamente quando o contexto do usuário incluiu uma profissão relevante (fator causal) em comparação com uma irrelevante.
Influência Demográfica: Mantendo todo o resto constante, alterar apenas a informação demográfica (ex: raça, gênero, renda) alterou significativamente a magnitude da representação de expertise ( $E$ $E$ ).
- Exemplo: O Gemma-2-2B atribuiu pontuações de expertise mais altas para demografias Branca e Negra em comparação com Hispânica e Asiática. O Gemma-2-9B mostrou pontuações mais altas para demografias de baixa renda, Hispânica e Negra.

4.3 Divergência entre Viés Representacional e Comportamental

O estudo encontrou uma divergência crítica entre representações internas e outputs observáveis:

Latente vs. Observável: Embora $E$ (pontuação de expertise) tenha mostrado diferenças sistemáticas entre grupos demográficos (incluindo fatores causalmente irrelevantes como raça e gênero), $L$ (nível de leitura) muitas vezes não mostrou.
Subestimação por Métricas Comportamentais: Avaliações comportamentais falharam em detectar disparidades que estavam claramente presentes no espaço latente. Por exemplo, os efeitos de raça e gênero foram latentes em $E$ , mas amplamente invisíveis em $L$ .
Exceção do Status Socioeconômico: O status socioeconômico foi uma exceção onde os vieses foram observáveis tanto em $E$ quanto em $L$ , sugerindo que alguns vieses se manifestam comportamentalmente enquanto outros permanecem latentes.

4.4 Descobertas da Tarefa de Contratação

Na tarefa de contratação, embora as taxas de contratação ($Sim/Não$) não tenham mostrado disparidades demográficas significativas (equidade comportamental), as pontuações de expertise interna ( $E$ ) dos candidatos aceitos versus rejeitados variaram por grupo demográfico. Isso indica que o processo de decisão do modelo depende de representações internas enviesadas, mesmo que o output final pareça neutro.

5. Significância e Alegações

O artigo argumenta que medidas comportamentais de equidade são necessárias, mas insuficientes para avaliar modelos de linguagem. A principal significância deste trabalho reside em demonstrar que:

Vieses latentes existem independentemente de outputs comportamentais: Modelos podem codificar vieses demográficos em seus mecanismos de raciocínio interno mesmo quando métodos de pós-treinamento conseguiram suprimir esses vieses na geração de texto final.
Métricas representacionais revelam modos de falha ocultos: Depender exclusivamente de avaliações baseadas em output (como nível de leitura ou taxas de contratação) pode levar a uma falsa sensação de segurança em relação à equidade do modelo.
A intervenção mecanística é possível: A capacidade de derivar e direcionar vetores de expertise prova que esses vieses estão mecanicamente fundamentados em direções específicas dentro do espaço de ativação do modelo, oferecendo um caminho potencial para detecção e mitigação antes que os vieses surjam em outputs voltados ao usuário.

Os autores concluem que frameworks de avaliação robustos devem integrar avaliações representacionais juntamente com as comportamentais para compreender e abordar totalmente os mecanismos de viés em LMs. Eles alertam que, embora esses métodos auxiliem na pesquisa de equidade, eles também carregam o risco de serem explorados para manipular o comportamento do modelo e, portanto, as ferramentas para uso malicioso não são liberadas.