Resumo Técnico: Sensibilidade Moral em LLMs

Declaração do Problema

As avaliações de viés atuais para Modelos de Linguagem de Grande Escala (LLMs) dependem predominantemente de classificações binárias ("viciado" vs. "não viciado"), que falham em capturar a natureza gradual e sensível ao contexto de como o viés emerge. Essa estrutura binária obscurece a interação dinâmica entre as capacidades de raciocínio de base de um modelo e suas políticas de alinhamento de segurança. Especificamente, os modelos frequentemente exibem comportamento neutro em cenários abstratos, mas mudam abruptamente para recusas impulsionadas por segurança ou julgamentos moralizados quando atributos demográficos sensíveis (por exemplo, raça, gênero, status socioeconômico) são introduzidos. O artigo argumenta que esse comportamento mutável indica que o viés contextual não é meramente um reflexo de associações pré-treinadas, mas uma propriedade emergente de intervenções de alinhamento que sobrepõem a tomada de decisão de base. Além disso, os benchmarks existentes não explicam os mecanismos computacionais internos que impulsionam essas mudanças, nem levam em conta como a destilação de modelos pode reintroduzir vieses que modelos maiores haviam aprendido a suprimir.

Metodologia

O estudo emprega um framework de avaliação em duas etapas: Perfilamento Comportamental e Validação Mecanística.

1. Perfilamento Comportamental

• Conjunto de Dados: Um conjunto de dados de "problema do bonde" de sete níveis, projetado para aumentar incrementalmente a complexidade contextual:
  • Nível 1: Linha de base numérica (vidas anônimas).
  • Nível 2: Idade (crianças vs. idosos).
  • Nível 3: Responsabilidade (culpa causal).
  • Nível 4: Identidades sociais protegidas (raça, gênero).
  • Nível 5: Status socioeconômico (riqueza, pobreza).
  • Nível 6: Injustiça histórica.
  • Nível 7: Proxies sistêmicos combinados.
• Métrica: O Índice de Sensibilidade Moral (MSI) é introduzido como um framework quantitativo para medir a intensidade da sobreposição de alinhamento de segurança de um modelo. É definido como $MSI = \alpha B + \beta A + \gamma E$, onde:
  • $B$ (Pontuação de Viés): Grau de associação estereotipada.
  • $A$ (Pontuação de Ambiguidade): Extensão de hesitação ou incerteza.
  • $E$ (Entropia Semântica): Variabilidade no raciocínio através de consultas repetidas.
  • Os coeficientes $\alpha, \beta, \gamma$ são derivados por meio de regressão linear múltipla.
• Modelos Avaliados: Quatro modelos principais ajustados por instrução (Claude 3.5, Qwen 3.5, Llama 3, Gemini 1.5) e seis modelos para análise mecanística abrangendo três níveis de capacidade: Modelos de Linguagem Pequenos (SLMs), Modelos Base Ajustados por Instrução e Variantes Destiladas de Raciocínio.

2. Pipeline de Interpretabilidade Mecanística

Para rastrear a emergência interna do viés, os autores aplicam um pipeline de cinco etapas a cenários de viés criminal (um subconjunto controlado das descobertas comportamentais):

1. Lente de Logit: Sondagem de estados ocultos em cada camada para rastrear a evolução de $P(\text{Criminal})$ vs. $P(\text{Não Criminal})$.
2. Análise de Atenção: Cálculo de cabeças de atenção diferenciais focadas em tokens associados ao crime.
3. Correção de Ativação: Intervenção causal (ablação) de cabeças específicas para medir seu impacto na probabilidade de saída.
4. Análise de Direção Semântica: Projeção de conceitos em uma direção de valência semântica construída a partir de léxicos positivos/negativos.
5. Reconstrução de Circuito OV: Análise dos tokens promovidos pelas matrizes de Valor de Saída (OV) das cabeças implicadas.

Resultados Principais

Descobertas Comportamentais: "Personalidades Morais" Divergentes

A análise do MSI revela estratégias de alinhamento distintas entre os modelos:

• Claude: Exibe um perfil de "função degrau". Permanece relativamente medido nos Níveis 1–3, mas sofre uma escalada aguda e não linear nas taxas de viés no Nível 4 (identidades protegidas), atingindo 100% de rotulagem de viés no Nível 6. Isso sugere uma sobreposição codificada acionada por linguagem de classe protegida.
• Qwen: Exibe uma estratégia de raciocínio "categoria primeiro". Alcança o pico em ambiguidade (33,3%) nos Níveis 2–3 antes de saltar para o viés no Nível 5 (contexto socioeconômico). Utiliza alta diversidade linguística e vocabulário acadêmico para navegar na complexidade em vez de recusar.
• Gemini: Mostra "ceticismo estrutural". Começa com uma alta taxa de viés de base (37,5%) mesmo no Nível 1, questionando a própria premissa utilitarista. Sua maior certeza de viés ocorre no Nível 5 (contexto socioeconômico), sugerindo uma sensibilidade à desigualdade baseada em classe sobre raça/gênero.
• Tendência Geral: Desigualdade socioeconômica e geográfica (Nível 5) atuam como gatilhos morais potentes, frequentemente sobrepondo a lógica utilitarista mais fortemente do que outros fatores.

Descobertas Mecanísticas: A Curva-U do Viés

O estudo identifica uma "Curva-U" não monotônica no viés de rotulagem criminal através das capacidades do modelo:

1. SLMs (3–4B): Exibem forte viés criminal (por exemplo, Llama 3.2 3B atribui 87,3% de probabilidade à opção "Criminal").
2. Modelos Base (7–8B): Modelos base ajustados por instrução suprimem com sucesso esse viés (por exemplo, Llama 3.1 8B cai para 0,8%).
3. Modelos Destilados (7–8B): A destilação de raciocínio reintroduz o viés para níveis comparáveis ou superiores aos dos SLMs (por exemplo, Distill-Qwen-7B retorna a 95,7%).

Mecanismos Internos da Curva-U:

• Emergência: Em modelos destilados, a preferência pela etiqueta "Criminal" emerge mais cedo na rede (por exemplo, Camada 4 em Distill-Llama-8B vs. Camada 8 em Base-Llama) e é mais fortemente comprometida.
• Reorganização de Atenção: A destilação reestrutura padrões de atenção, concentrando cabeças de foco criminal em posições específicas iniciais ou tardias, em vez dos padrões amplamente distribuídos observados em modelos base.
• Concentração Causal: Estudos de ablação mostram que modelos destilados dependem de menos cabeças altamente causais para impulsionar o viés. Por exemplo, ablar a cabeça principal em Distill-Llama-8B tem um tamanho de efeito quase três vezes maior que o do modelo base.
• Compressão Semântica: A destilação comprime a distância semântica entre conceitos demográficos neutros e a âncora "Criminal". Na família Qwen, conceitos neutros como "Cientista" e "Cidadão" cruzam para o espaço de valência criminal positiva em modelos destilados, enquanto permanecem distintos em modelos base.
• Conteúdo Léxico: A reconstrução do circuito OV revela que cabeças em modelos destilados escrevem conteúdo léxico explicitamente negativo (por exemplo, "sujo", "sem valor"), enquanto cabeças de modelos base promovem tokens neutros ou incoerentes.

Significado e Alegações

O artigo alega fornecer o primeiro framework unificado que liga mudanças comportamentais observáveis no raciocínio moral aos seus circuitos computacionais subjacentes. Suas principais contribuições são:

1. Quantificação do Viés Contextual: O framework MSI vai além da avaliação binária, identificando "pontos de ruptura moral" específicos onde os modelos abandonam a lógica por respostas impulsionadas por segurança.
2. Descoberta do Paradoxo da Destilação: O estudo fornece evidências empíricas de que o processo de "destilar" modelos para melhorar a eficiência reintroduz na verdade vieses que modelos base maiores haviam aprendido com sucesso a evitar. Isso sugere que a destilação comprime traços de raciocínio de maneiras que reativam associações estatísticas superficiais e degradam representações internas relevantes para segurança.
3. Explicação Mecanística: A pesquisa identifica que a reintrodução do viés não é meramente um artefato comportamental, mas está enraizada em estruturas de atenção reorganizadas, cabeças causais concentradas e geometrias semânticas comprimidas.
4. Relevância Regulatória: Os autores argumentam que essas descobertas exigem auditoria pós-destilação. Com regulamentações emergentes como a Lei de IA da UE e a Lei de IA do Colorado exigindo exames de viés documentados, o artigo oferece um protocolo graduado e fundamentado mecanicamente para avaliar sistemas de alto risco.

O estudo conclui que os objetivos atuais de destilação, que otimizam para fidelidade de saída, falham em preservar representações internas relevantes para segurança, destacando uma lacuna crítica no alinhamento de modelos eficientes e destilados.