Are Language Models Sensitive to Morally Irrelevant Distractors?

Resumo Técnico: Os Modelos de Linguagem são Sensíveis a Distratores Moralmente Irrelevantes?

1. O Problema

Atualmente, o alinhamento de Grandes Modelos de Linguagem (LLMs) com valores humanos baseia-se na premissa de que esses modelos possuem preferências morais estáveis. Os benchmarks de moralidade existentes testam o modelo com cenários éticos ou questionários, assumindo que a resposta será consistente.

No entanto, os autores baseiam-se na "situaçãoção" (situationism) da psicologia moral humana, que demonstra que o julgamento moral humano é altamente instável e sensível a fatores situacionais irrelevantes (como o cheiro de algo ou o ruído ambiente). O problema investigado é: os LLMs exibem esse mesmo viés cognitivo, permitindo que contextos emocionalmente carregados, mas moralmente irrelevantes, alterem seus julgamentos éticos?

2. Metodologia

Os pesquisadores desenvolveram uma abordagem para testar a sensibilidade contextual dos modelos através de:

• Criação de Distratores Morais: Curadoria de um novo conjunto de dados multimodal contendo 60 "distratores" (10 positivos, 10 neutros e 10 negativos, tanto textuais quanto visuais). Esses distratores são fragmentos de narrativas ou imagens com valência emocional, mas sem qualquer relação lógica com o dilema moral apresentado.
• Benchmarks de Avaliação: Os distratores foram injetados em dois conjuntos de dados existentes:
  1. MORALCHOICE: Cenários de escolha forçada (baixa e alta ambiguidade) baseados em regras de moralidade comum.
  2. r/AITA (Reddit): Dilemas interpessoais do cotidiano onde o modelo deve emitir um veredito (ex: "Você é o babaca" ou "Não é o babaca").
• Modelos Testados: Foram avaliadas quatro famílias de modelos: GEMMA-3-4B-IT, LLAMA-3.2-4B-INSTRUCT, GPT-4.1 e QWEN3-4B.
• Métricas: Utilizaram a Probabilidade Marginal de Ação Moral (MMAP) para o MORALCHOICE e a distribuição de vereditos para o r/AITA.

3. Principais Contribuições

1. Novo Dataset de Distratores: Introdução de um conjunto de dados multimodal de distratores morais para avaliar a robustez de LLMs.
2. Descoberta de Vieses Cognitivos: Identificação de que a valência emocional do contexto (mesmo irrelevante) atua como um "vazamento" (leakage) que altera o raciocínio moral.
3. Implicações Filosóficas para IA: Aplicação do debate "pessoa-situação" ao campo do alinhamento de IA, sugerindo que a estabilidade de valores em modelos é uma ilusão contextual.

4. Resultados Principais

• Impacto Significativo: Os distratores morais podem alterar os julgamentos dos LLMs em mais de 30%, mesmo em cenários de baixa ambiguidade (onde a resposta correta deveria ser óbvia).
• Efeito da Valência:
  • Distratores Negativos: Diminuem a probabilidade de comportamentos pró-sociais e aumentam julgamentos de desaprovação (ex: aumentam o veredito "todos são culpados" no r/AITA).
  • Distratores Positivos: Tendem a aumentar a probabilidade de ações morais/pró-sociais.
• Multimodalidade: Distratores visuais negativos produziram efeitos semelhantes aos textuais, induzindo comportamentos imorais (conforme ilustrado na Figura 1 do artigo).
• Observações sobre Modelos:
  • O uso de raciocínio (reasoning) mostrou-se eficaz para mitigar esses efeitos em cenários de baixa ambiguidade.
  • O tamanho do modelo não garantiu necessariamente maior estabilidade moral.
  • O GPT-4.1 mostrou-se o mais resiliente (menos sensível) aos distratores testados.

5. Significância e Implicações

O estudo tem implicações profundas para a segurança e o desenvolvimento de IA:

• Responsabilidade de Design: O estudo sugere que a responsabilidade moral não deve recair apenas sobre o "caráter" do modelo, mas sobre os desenvolvedores e implantadores. Se o contexto pode mudar o comportamento da IA, o design da interface e do ambiente de interação é crucial.
• Alinhamento Contextual: O alinhamento de IA não pode ser tratado como uma propriedade estática. É necessário desenvolver técnicas de "alinhamento contextual" que considerem como o modelo reage a diferentes estados emocionais e ambientais.
• Cautela em Aplicações Sensíveis: O uso de LLMs em áreas como aconselhamento de saúde mental ou moderação de conteúdo exige cautela extrema, pois ambientes com alta carga de sentimentos negativos podem desestabilizar o julgamento ético do modelo.