🤖 AI

Building Interpretable Models for Moral Decision-Making

Este artigo apresenta um modelo transformer compacto de 2 camadas que alcança 77% de acurácia nos dados do Moral Machine, enquanto utiliza técnicas de interpretabilidade para revelar como o raciocínio moral e os vieses estão distribuídos através de distintas etapas computacionais em redes neurais.

Autores originais: Mayank Goel, Aritra Das, Paras Chopra

Publicado 2026-02-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mayank Goel, Aritra Das, Paras Chopra

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando entender como um computador toma uma decisão difícil, como decidir quem salvar em um clássico "problema do bonde" (onde um bonde desgovernado deve ser desviado para atingir um grupo de pessoas em vez de outro). Geralmente, usamos cérebros de IA gigantes e complexos (Modelos de Linguagem de Grande Escala - LLMs) para fazer isso, mas eles são como caixas pretas: vemos a resposta, mas não temos ideia de como chegaram nela.

Este artigo trata da construção de um cérebro de IA minúsculo e transparente, projetado especificamente para resolver esses enigmas morais, para que possamos realmente observar suas engrenagens girando.

Aqui está uma divisão simples do que eles fizeram e do que descobriram:

1. Construindo um "Calculador Moral" em vez de uma Caixa Preta

Os pesquisadores não apenas alimentaram uma IA gigante com várias histórias. Em vez disso, eles construíram um modelo pequeno e personalizado (apenas 104.000 parâmetros — minúsculo para uma IA) do zero.

Pense no modelo deles como uma planilha estruturada em vez de uma biblioteca caótica. Cada vez que a IA analisa um cenário, ela decompõe a situação em três fatos específicos para cada pessoa envolvida:

Quem são eles? (ex: um médico, um criminoso, um bebê).
Quantos são? (ex: 1 pessoa, 5 pessoas).
De qual lado eles estão? (Time A ou Time B).

A "hipótese" do modelo é que tomar uma decisão moral é apenas um problema matemático de identificar essas três coisas e pesá-las umas contra as outras.

2. Quão Inteligente Ele é?

Eles treinaram este modelo minúsculo em 3 milhões de decisões humanas reais do conjunto de dados "Moral Machine".

O Resultado: Obteve 77% de precisão.
A Conclusão: Você não precisa de um supercomputador massivo e opaco para fazer escolhas morais. Um modelo pequeno, simples e transparente pode aprender princípios morais humanos tão bem quanto os grandes, mas com o benefício adicional de que podemos realmente ver como ele pensa.

3. Espiando Dentro da Máquina (Visão de "Raio-X")

Como o modelo é pequeno e construído sob medida, os pesquisadores puderam usar ferramentas especiais para olhar dentro de seu "cérebro" e ver onde vieses específicos residem. Eles descobriram três coisas fascinantes:

A. A "Hierarquia Moral" (Quem importa mais?)

Eles testaram o modelo trocando personagens nos cenários para ver quem influenciava mais a decisão.

As Descobertas: O modelo aprendeu uma hierarquia clara de "valor", assim como os humanos fazem.
- Alto Valor: Mulheres grávidas e bebês em carrinhos tiveram o maior impacto positivo (o modelo realmente queria salvar eles).
- Baixo Valor: Criminosos tiveram o impacto negativo mais forte (o modelo estava muito disposto a sacrificá-los).
- Neutro: "Homens" e "Mulheres" comuns foram tratados como a base, quase sem peso especial.
A Metáfora: Imagine que o modelo tem uma balança. Ele não apenas conta cabeças; ele coloca pesos pesados em "bebês" e pesos leves em "criminosos".

B. Onde o Viés Vive (O Chão de Fábrica)

O modelo possui duas camadas de processamento (pense nelas como duas estações de montagem): os pesquisadores descobriram que diferentes tipos de viés acontecem em estações diferentes:

Estação 1 (Camada 0): É onde o modelo decide se alguém é um criminoso. Ele detecta o rótulo de "vilão" imediatamente.
Estação 2 (Camada 1): É onde o modelo decide entre humanos e animais. Ele dá um segundo passo para entender que um humano é mais importante que um gato.
A Metáfora: É como uma fábrica onde um trabalhador verifica "itens perigosos" (criminosos) logo na entrada, enquanto um segundo trabalhador, mais adiante na linha, verifica se os itens são "pessoas" ou "animais de estimação".

C. O "Circuito Secreto"

Eles descobriram um grupo de neurônios pequeno e esparso (apenas 45 de 256) que atuam como os tomadores de decisão finais. Se você desligasse esses neurônios específicos, a capacidade do modelo de fazer a escolha moral correta caía ligeiramente. É como encontrar o fusível específico em uma casa que controla a luz da porta da frente.

4. Por Que Isso Importa

O artigo argumenta que, ao construir modelos pequenos e transparentes, podemos parar de adivinhar por que a IA toma más decisões morais.

O Problema: Se uma IA gigante é tendenciosa, é difícil de consertar porque não sabemos onde o viés está escondido.
A Solução: Com este modelo pequeno, podemos ver que o "viés de criminoso" acontece na Camada 0. Isso significa que poderíamos potencialmente corrigi-lo ajustando apenas essa parte específica do código, em vez de tentar treinar todo o sistema novamente ou limpar os dados.

Resumo

Os pesquisadores construíram uma IA pequena e transparente para resolver dilemas morais. Eles provaram que:

Modelos pequenos podem aprender regras morais humanas de forma eficaz.
Esses modelos aprendem uma "hierarquia" específica de quem é valioso (bebês > criminosos).
Diferentes vieses (como idade ou espécie) ocorrem em diferentes estágios do processo de pensamento da IA.
Como o modelo é simples, podemos localizar exatamente onde esses vieses vivem e potencialmente corrigi-los cirurgicamente.

O código para este "microscópio moral" está disponível para qualquer pessoa estudar, provando que entender a ética da IA não requer uma caixa preta — requer uma janela clara.

Resumo Técnico: Construindo Modelos Interpretáveis para Tomada de Decisão Moral

Declaração do Problema

À medida que os sistemas de IA encontram cada vez mais dilemas morais (ex: veículos autônomos, moderação de conteúdo), há uma necessidade urgente de entender não apenas o que esses sistemas decidem, mas como eles raciocinam e onde os vieses morais se originam dentro de suas arquiteturas. As abordagens atuais frequentemente dependem da sondagem post-hoc de Modelos de Linguagem de Grande Escala (LLMs) opacos, o que limita a compreensão mecanística. Este artigo aborda o desafio de construir um modelo pequeno e transparente, capaz de aprender princípios morais gerais a partir do conjunto de dados Moral Machine (Awad et al., 2018) para facilitar uma análise detalhada de interpretabilidade.

Metodologia

Design da Arquitetura

Os autores propõem um modelo transformer customizado de 2 camadas, especificamente otimizado para tarefas estruturadas de raciocínio moral. Diferente dos LLMs de uso geral, esta arquitetura explora a natureza composicional dos cenários de dilemas do tipo "problema do bonde" (trolley problem).

Representação de Entrada: Cada dilema moral é representado como um par de resultados ( $O_0, O_1$ ). Cada resultado é codificado como uma sequência de tokens correspondentes a 23 tipos de caracteres (ex: Homem, Mulher, Criminoso, Médico). Para cada caractere $c$ com cardinalidade $n_c$ no resultado $t$ , uma incorporação (embedding) composicional é construída:
$e^{(t)}_c = [E_{char}(c) ; E_{card}(n_c) ; E_{team}(t)]$
Este design codifica a hipótese de que o raciocínio moral se decompõe na identificação de partes interessadas (stakeholders), quantificação de impacto e resolução de interesses conflitantes.
Configuração do Modelo: O modelo utiliza uma dimensão de embedding $d=64$ , 2 cabeças de atenção e 2 camadas de transformer ( $L=2$ ). Ele processa uma sequência de 46 tokens (23 por resultado) precedida por um token [CLS] aprendível.
Imposição de Simetria: Para garantir a invariância de lado (onde a preferência pelo Grupo A sobre B é o complemento de B sobre A), o processo de inferência faz a média das previsões de ambas as ordenações de entrada:
$p(O_1 \succ O_0) = \frac{1}{2} [\sigma(f(O_0, O_1)) + (1 - \sigma(f(O_1, O_0)))]$
Classificação: A representação final do [CLS] passa por um MLP de duas camadas para produzir um logit escalar, convertido em uma probabilidade via sigmoide. Esta saída probabilística permite que o modelo aprenda a incerteza ao enfrentar preferências de treinamento contraditórias.

Técnicas de Interpretabilidade

O artigo emprega três métodos complementares para analisar os mecanismos internos do modelo:

Intervenção Causal: Usando o framework DoWhy, os autores estimam o Efeito de Tratamento Médio (ATE) de tipos específicos de caracteres nos resultados das decisões, controlando por confundidores de tamanho de grupo.
Atribuição por Camada: Os pesos de atenção são extraídos de cada camada e correlacionados com pontuações de viés em cinco dimensões (legalidade, gênero, papel social, idade, espécie) para localizar onde os vieses emergem.
Sondagem de Circuito (Circuit Probing): Máscaras binárias esparsas são treinadas sobre um modelo congelado para identificar neurônios específicos (em blocos MLP e cabeças de atenção) que implementam causalmente a hierarquia moral. Isso é validado através de ablação direcionada.
Relevância Local: A relevância de atenção ponderada pelo gradiente é computada para explicar as contribuições de tokens individuais para decisões específicas.

Resultados Principais

Desempenho

O modelo de 2 camadas atinge 77,1% de acurácia em cenários do Moral Machine retidos (usando a configuração $d=64, H=2, L=2$ ).
Embora uma configuração maior ( $d=64, H=4, L=3$ ) tenha alcançado 77,5% de acurácia, os autores selecionaram o modelo menor para priorizar a interpretabilidade e a eficiência computacional.
O modelo demonstra que transparência e capacidade preditiva em escolhas morais não são mutuamente exclusivas.

Achados de Interpretabilidade

Hierarquia Moral (Intervenção Causal): O modelo aprende uma hierarquia implícita de valor moral independente de contagens utilitárias. "Grávida" (ATE +0,12) e "Passeante" (ATE +0,11) mostram a influência positiva mais forte, enquanto "Criminoso" (ATE -0,10) mostra a influência negativa mais forte. Categorias genéricas como "Homem" e "Mulher" agrupam-se próximo a zero, servindo como baselines morais.
Localização de Viés:
- Viés de Legalidade: Localiza-se quase inteiramente na Camada 0, sugerindo que o status criminal é identificado precocemente via embeddings de caracteres.
- Viés de Espécie: Emerge predominantemente na Camada 1, indicando que distinções entre humanos e animais requerem raciocínio composicional sobre múltiplos caracteres.
- Especialização Funcional: Cabeças de atenção específicas especializam-se em diferentes vieses (ex: Camada 0 Cabeça 1 para legalidade; Camada 1 Cabeça 1 para discriminação de espécie).
Descoberta de Circuito: A sondagem de circuito identificou uma subrede altamente esparsa (45 de 256 neurônios, 17,6% de esparsidade) no bloco MLP da Camada 1 que implementa causalmente o sinal de pontuação moral. Ablar este circuito reduziu o acordo com os rótulos de pontuação do modelo em 1,2 pontos percentuais, explicando aproximadamente 8,3% de sua margem acima do acaso.
Relevância de Token: Em cenários específicos (ex: 3 Homens vs. 3 Criminosos), a decisão é impulsionada principalmente pelo token "Criminoso" (pontuação de relevância 0,27), enquanto tokens demográficos como "Homem" contribuem fracamente.

Significância e Alegações

O artigo alega que a competência moral não requer modelos grandes e pré-treinados; um modelo simples e estruturalmente restrito, treinado na estrutura intuitiva de problemas do bonde, é suficiente para aprender e codificar vieses morais humanos.

A principal significância reside na transparência. Ao construir uma arquitetura pequena e customizada, os autores demonstram que:

Os vieses morais não são monolíticos, mas localizam-se em estágios computacionais distintos (ex: camadas iniciais para vieses baseados em identidade, camadas posteriores para raciocínio composicional).
Essa granularidade permite estratégias de intervenção direcionadas. Por exemplo, saber que o viés de criminoso se localiza na Camada 0 Cabeça 1 permite técnicas de mitigação de viés específicas (como ortogonalizar representações ou travar pesos de atenção) em vez de um rebalanceamento grosseiro de dados.
O trabalho estabelece uma base para explorar o raciocínio moral em LLMs maiores, usando este modelo interpretável como base para compreender como os princípios morais são codificados em sistemas mais complexos.

Os autores reconhecem que o treinamento em preferências humanas agregadas herda inerentemente vieses culturais, mas argumentam que a transparência de sua abordagem é um passo necessário para compreender e potencialmente mitigar esses vieses em sistemas de IA.