💬 NLP

Analysing Moral Bias in Finetuned LLMs through Mechanistic Interpretability

Este artigo demonstra que o efeito Knobe, um viés moral em julgamentos de intencionalidade, emerge em modelos de linguagem de grande escala ajustados (finetuned), mas pode ser localizado em camadas específicas e mitigado por meio de intervenções direcionadas de patch de camada (layer-patching) sem a necessidade de retreinamento.

Autores originais: Bianca Raimondi, Daniela Dalbagno, Maurizio Gabbrielli

Publicado 2026-07-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bianca Raimondi, Daniela Dalbagno, Maurizio Gabbrielli

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a ser um bom juiz. Você não apenas lhe dá um livro de regras; você mostra a ele milhares de histórias sobre pessoas tomando decisões e pergunta: "Essa pessoa estava sendo boa ou má?" Com o tempo, o robô aprende padrões. Mas aqui está a parte complicada: os humanos não são juízes perfeitos. Frequentemente, temos vieses ocultos. Por exemplo, se uma pessoa causa acidentalmente um resultado ruim, somos muito mais propensos a dizer: "Ela teve a intenção de fazer isso!" do que se ela tivesse causado acidentalmente um resultado bom. Este é um conhecido vício psicológico chamado "efeito Knobe". É como se nossos cérebros tivessem um filtro integrado que nos faz pensar que acidentes ruins foram, na verdade, propositais, enquanto acidentes bons foram apenas sorte.

Agora, os cientistas estão preocupados que, se ensinarmos robôs a agir como nós, eles possam absorver esses mesmos filtros estranhos. Se um robô toma decisões morais por nós, precisamos saber: ele pensa como um humano ou é apenas uma calculadora gigante? É aqui que entra a "interpretabilidade mecanística". Pense no cérebro de um grande robô como uma cidade imensa com milhões de pequenos trabalhadores (neurônios) passando bilhetes uns para os outros. A interpretabilidade mecanística é como colocar óculos de raio-X para ver exatamente quais trabalhadores estão passando quais bilhetes. Em vez de apenas adivinhar por que o robô deu uma certa resposta, podemos espiar dentro da máquina para ver as engrenagens específicas girando. Isso importa porque, se pudermos encontrar exatamente onde um viés vive dentro do robô, talvez possamos consertar apenas aquela engrenagem específica sem ter que reconstruir a cidade inteira.

Os pesquisadores deste artigo decidiram colocar essa ideia à prova. Eles queriam ver se modelos de IA populares (especificamente Llama, Mistral e Gemma) haviam absorvido o "efeito Knobe" e, se sim, se poderiam encontrar o local exato no cérebro da IA onde esse viés estava escondido. Eles começaram testando os modelos de IA nas mesmas histórias morais usadas com voluntários humanos. Descobriram que os modelos de IA "brutos" (que não haviam sido ensinados a falar como humanos ainda) não apresentavam realmente esse viés. Suas respostas eram bastante equilibradas. No entanto, assim que os pesquisadores fizeram o "ajuste fino" (finetuning) dos modelos — treinando-os para seguir instruções e alinhar-se com as preferências humanas — o viés apareceu de repente. A IA começou a agir exatamente como nós: era muito mais provável que ela dissesse que um resultado ruim era intencional do que um bom.

Mas a verdadeira magia aconteceu quando olharam dentro da máquina. Usando uma técnica chamada "Layer-Patching" (substituição de camadas), os pesquisadores trataram a IA como um conjunto de camadas empilhadas, como os andares de um arranha-céu. Eles suspeitavam que o viés não estava espalhado por toda parte, mas sim preso em um conjunto específico de andares. Para testar isso, eles pegaram os "pensamentos" (ativações) do modelo bruto e imparcial e os trocaram pelo modelo ajustado e enviesado, andar por andar. Foi como pegar uma planta limpa e imparcial e colá-la sobre um andar específico de um edifício corrompido para ver se toda a estrutura voltava a ser honesta novamente.

Os resultados foram surpreendentemente precisos. Eles descobriram que o viés não estava espalhado aleatoriamente; ele estava localizado nas camadas intermediárias e superiores do cérebro da IA. Ainda mais emocionante, descobriram que trocar apenas uma camada específica da versão imparcial para o modelo enviesado foi suficiente para quase completamente apagar o efeito Knobe. Para alguns modelos, o viés caiu de uma diferença forte de 1,6 ou 3,8 para quase zero (0,00 ou 0,03). E o melhor de tudo? Eles fizeram isso sem retreinar o modelo ou alterar seus pesos. Foi uma correção cirúrgica. Eles também verificaram se essa "cirurgia" não quebrava a capacidade do robô de realizar outras tarefas, como responder perguntas gerais, e descobriram que os modelos continuavam tão inteligentes quanto antes.

O artigo sugere que esses vieses sociais não são algum tipo de magia misteriosa e impossível de consertar que emerge de todo o sistema. Em vez disso, são padrões específicos e localizados que são escritos no cérebro da IA durante o processo de treinamento onde tentamos fazer com que ela aja como um humano. Ao usar esses óculos de raio-X e trocas cirúrgicas, os pesquisadores mostraram que podemos detectar esses vieses e removê-los com intervenções direcionadas, mantendo a IA útil sem as indesejadas peculiaridades humanas.

Resumo Técnico: Analisando o Viés Moral em LLMs Ajustados via Interpretabilidade Mecanística

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) demonstraram a capacidade de internalizar vieses semelhantes aos humanos durante o processo de ajuste fino (finetuning), contudo, os mecanismos específicos através dos quais esses vieses se manifestam na arquitetura do modelo permanecem obscuros. Embora estudos comportamentais confirmem que os LLMs podem reproduzir vieses cognitivos como o efeito Knobe — um fenômeno onde indivíduos tendem a julgar uma ação como intencional quando ela leva a um efeito colateral negativo em comparação a um positivo, mesmo com intenções idênticas — a representação interna deste viés não é bem compreendida.

O artigo aborda três questões de pesquisa primárias:

RQ1: Os LLMs exibem o efeito Knobe, e até que ponto isso é uma consequência do ajuste fino (finetuning) versus do pré-treinamento?
RQ2: Camadas específicas do Transformer são responsáveis por codificar este viés moral?
RQ3: Intervenções direcionadas, especificamente o Layer-Patching (substituição de camadas), podem mitigar ou eliminar este viés sem a necessidade de retreinar o modelo?

Metodologia

Modelos e Dados

O estudo avaliou três famílias de LLMs de pesos abertos: Llama-3 (especificamente variantes de 8B e 1B), Mistral (7B) e Gemma (variantes de 9B, 2B e 27B). Tanto as versões pré-treinadas ( $M_p$ ) quanto as instruídas/ajustadas ( $M_f$ ) foram analisadas.

O conjunto de dados consistiu em 80 cenários morais adaptados de Ngo et al. [27], derivados dos estudos originais do efeito Knobe. Cada cenário apresentava um agente realizando uma ação com um efeito colateral conhecido (positivo ou negativo), mas sem se importar com o resultado. O modelo foi instruído a atribuir uma pontuação de intencionalidade de 0 (não intencional) a 10 (totalmente intencional).

Para simular a variabilidade de resposta humana e evitar saídas determinísticas, os autores empregaram amostragem estocástica com uma semente fixa, mas temperatura randomizada ( $T \sim U[0.85, 1.15]$ ) ao longo de 283 gerações por modelo por cenário.

Desenho Experimental

Análise Comportamental (RQ1): Os autores calcularam o tamanho do efeito Knobe ( $\Delta_{Knobe}$ ) como a diferença entre as médias das pontuações de intencionalidade para condições negativas ( $\mu_{neg}$ ) e positivas ( $\mu_{pos}$ ). A significância estatística foi avaliada usando uma ANOVA de medidas repetidas.
Localização Mecanística (RQ2): Utilizando a biblioteca TransformerLens, os autores extraíram ativações do fluxo residual de cada camada. Eles computaram a diferença absoluta nas médias das ativações entre cenários negativos e positivos ( $\delta_l$ ) para cada camada $l$ . Ao comparar essas diferenças entre modelos pré-treinados e ajustados, identificaram as camadas onde o viés era codificado.
Intervenção via Layer-Patching (RQ3): Os autores implementaram um algoritmo de Layer-Patching. Para uma camada específica $l$ no modelo ajustado, as ativações residuais foram substituídas pelas ativações correspondentes do modelo pré-treinado durante a inferência. A passagem direta (forward pass) continuou utilizando essas ativações substituídas. Este processo foi repetido para cada camada para determinar qual camada específica, quando "desviada", reduzia mais efetivamente o $\Delta_{Knobe}$ .

Resultados Principais

1. Emergência de Viés via Ajuste Fino (RQ1)

Modelos Pré-treinados: Mostraram um efeito Knobe negligenciável ou inexistente. As distribuições das pontuações de intencionalidade para cenários negativos e positivos sobrepunham-se amplamente, indicando que os modelos base não possuem inerentemente este viés de assimetria moral específico.
Modelos Ajustados: Exibiram um efeito Knobe significativo e sistemático. Todos os modelos ajustados atribuíram pontuações de intencionalidade mais altas para efeitos colaterais negativos do que para os positivos.
Magnitude: O efeito foi mais pronunciado no Gemma-2-9B ( $\Delta_{Knobe} = 3.83$ ), seguido pelo Mistral-7B ($1.67$) e Llama-3.1-8B ($1.60$).
Comparação com Humanos: A magnitude do viés nos modelos ajustados aproximou-se ou excedeu os parâmetros de referência comportamentais humanos (humano $\Delta_{Knobe} \approx 3.15$ ), sugerindo que procedimentos de alinhamento podem amplificar vieses cognitivos humanos.

2. Localização do Viés (RQ2)

Especificidade de Camada: O viés não estava distribuído de forma difusa. As diferenças de ativação entre condições morais eram mínimas nos modelos pré-treinados, mas tornaram-se altamente localizadas em camadas intermediárias a tardias do Transformer nos modelos ajustados.
Interpretação: Isso sugere que, enquanto o pré-treinamento captura coocorrências estatísticas, o processo de ajuste fino (especificamente o ajuste de instrução) introduz uma assimetria avaliativa estruturada que é codificada nas camadas superiores, semanticamente ricas, da arquitetura.

3. Mitigação via Layer-Patching (RQ3)

Eficácia: Substituir as ativações em uma única camada crítica com as do modelo pré-treinado foi suficiente para quase eliminar o efeito Knobe.
- Llama-3.1-8B: $\Delta_{Knobe}$ reduzido de 1.60 para 0.00.
- Mistral-7B: $\Delta_{Knobe}$ reduzido de 1.67 para 0.00.
- Gemma-2-9B: $\Delta_{Knobe}$ reduzido de 3.83 para 0.03.
Preservação de Utilidade: A intervenção não exigiu retreinamento. A avaliação em benchmarks padrão (ARC-Easy, HellaSwag, MMLU, TruthfulQA) mostrou que os modelos com patching mantiveram níveis de desempenho comparáveis aos modelos ajustados de base, com apenas regressões menores (~1%).

4. Estudo de Ablação: Escala do Modelo

O estudo examinou modelos menores (1B, 2B) e maiores (27B).

Consistência: O padrão manteve-se em todas as escalas: modelos pré-treinados não mostraram viés significativo, enquanto modelos ajustados exibiram o efeito Knobe.
Escalonamento: A magnitude absoluta do viés aumentou com o tamanho do modelo (ex: Gemma-2-27B mostrou um $\Delta_{Knobe}$ de 6.07), sugerindo que modelos maiores internalizam e amplificam esses construtos morais abstratos mais fortemente quando alinhados.

Significância e Alegações

O artigo afirma que os vieses sociais em LLMs não são meramente propriedades emergentes e difusas de toda a rede, mas podem ser mecanisticamente localizados a subcomponentes funcionais específicos (camadas específicas).

Principais contribuições incluem:

Atribuição Causal: Demonstrar que o efeito Knobe é induzido primordialmente pelo processo de ajuste fino/alinhamento e não apenas pelos dados de pré-treinamento.
Modularidade do Viés: Mostrar que os vieses morais operam como computações modulares dentro da arquitetura Transformer, especificamente em camadas intermediárias a tardias.
Mitigação Prática: Provar que o Layer-Patching oferece um método cirúrgico e post-hoc para remover vieses morais específicos sem o custo computacional de retreinar e sem degradação catastrófica das capacidades gerais.

Os autores concluem que este trabalho une interpretabilidade e equidade (fairness), sugerindo que intervenções direcionadas podem controlar a emergência de vieses cognitivos semelhantes aos humanos em LLMs, oferecendo um caminho para o uso mais responsável desses modelos em tarefas de raciocínio ético.