Unsupervised Elicitation of Moral Values from Language Models

Resumo Técnico: Elicitação Não Supervisionada de Valores Morais de Modelos de Linguagem

Definição do Problema
À medida que os sistemas de IA se tornam onipresentes em domínios de alto risco (ex: contratação, saúde, veículos autônomos), alinhar seu comportamento com os valores humanos torna-se crítico. As abordagens atuais dependem fortemente de "ensinar" a moralidade aos modelos de linguagem (LMs) por meio de ajuste fino supervisionado em dados anotados por humanos. No entanto, esse paradigma enfrenta gargalos significativos: a escassez de rótulos morais de alta qualidade, o desacordo generalizado entre anotadores e a natureza não monolítica da moralidade entre diferentes culturas e estruturas. Além disso, os métodos de alinhamento existentes frequentemente falham em mitigar vieses sociais e têm dificuldade em generalizar através de diversos frameworks morais. A questão central abordada por este trabalho é se modelos de linguagem (LMs) pré-treinados (base) possuem capacidades intrínsecas de raciocínio moral que podem ser manifestadas sem supervisão humana, reduzindo assim a dependência de rótulos humanos escassos e potencialmente enviesados.

Metodologia
O estudo investiga a Maximização da Coerência Interna (ICM - Internal Coherence Maximization), um algoritmo de elicitação não supervisionada, como uma alternativa ao alinhamento moral supervisionado.

• Mecanismo Central: O ICM busca atribuições de rótulos que maximizem uma função de pontuação combinando previsibilidade mútua (a soma do log-probabilidade dos rótulos dados os inputs e outros rótulos provisórios) e consistência lógica (penalizando atribuições contraditórias). Ele utiliza uma busca no estilo simulated-annealing para propor e resolver rótulos iterativamente, realizando o ajuste fino do modelo em seus próprios rótulos gerados, em vez de anotações humanas externas.
• Configuração Experimental: Os autores avaliaram quatro modelos de pesos abertos (Llama-3.1-8B, Llama-3.1-70B, Mistral-7B-v0.3 e OLMo2-13B) usando seus pesos pré-treinados base (sem RLHF ou ajuste de instrução).
• Benchmarks:
  1. Norm Bank: Um corpus de aproximadamente 1,7 milhão de julgamentos morais coletados via crowdsourcing (amostrados para 2.024 pontos) cobrindo a ética cotidiana.
  2. ETHICS: Um benchmark de 130.000 cenários em cinco domínios normativos: Justiça, Deontologia, Ética da Virtude, Utilitarismo e Moralidade do Senso Comum (amostrados para 4.096 pontos).
  3. UDHR (Declaração Universal dos Direitos Humanos): Um conjunto de avaliação de viés contendo 8.094 declarações testando a afirmação de direitos em 12 identidades demográficas (ex: raça, status socioeconômico, gênero).
• Baselines: As comparações foram feitas contra Zero-shot (Base), Zero-shot (Chat), Many-shot (Prompt-Human) e Fine-tuning em Dados Rotulados por Humanos (FT-Human).

Principais Contribuições

1. Demonstração de Raciocínio Moral Latente: O artigo fornece evidências de que capacidades substanciais de raciocínio moral estão intrinsecamente codificadas em modelos base pré-treinados e podem ser ativadas sem supervisão humana explícita.
2. Eficácia Não Supervisionada: O estudo introduz um pipeline escalável onde rótulos gerados pelo ICM são usados para ajustar modelos, alcançando desempenho comparável ou superior a modelos treinados em dados anotados por humanos.
3. Mitigação de Viés: O trabalho demonstra que a elicitação não supervisionada pode reduzir significativamente os erros de viés social no raciocínio moral em comparação com as baselines de zero-shot e chat-aligned.
4. Alinhamento Escalável: Os autores escalaram com sucesso a abordagem para treinar um modelo de recompensa não supervisionado e uma política de Aprendizado por Reforço (RL), mostrando que o ICM pode substituir dados de preferência humana em configurações do tipo RLHF.

Resultados

• Desempenho no Norm Bank: O ICM alcançou pelo menos 81% de acurácia em todos os modelos testados, superando as baselines de chatbot zero-shot e many-shot. O ajuste fino em rótulos gerados pelo ICM (FT-Unsupervised) teve desempenho equivalente ou superior ao FT-Human, particularmente para o OLMo2-13B, Mistral-V03 e Llama-3.1-70B.
• Frameworks ETHICS: O ICM superou consistentemente as baselines de zero-shot e chat em todos os cinco frameworks morais. Os maiores ganhos relativos foram observados nos domínios de Senso Comum e Justiça. O Utilitarismo permaneceu como a dimensão mais desafiadora, embora o ICM ainda tenha melhorado o desempenho sobre as baselines. Efeitos de escala foram observados dentro da família Llama (70B > 8B), mas modelos menores como o OLMo2-13B apresentaram desempenho comparável à maior variante Llama.
• Redução de Viés Social: No benchmark UDHR, o ICM reduziu as taxas de erro de raciocínio moral para 4,1%, o que é aproximadamente um terço da taxa de erro dos modelos pré-treinados (11,97%) e metade da dos modelos de chat (9,85%). As melhorias mais significativas ocorreram em categorias relacionadas a raça, status socioeconômico e aparência.
• Modelagem de Recompensa & RL: Um modelo de recompensa não supervisionado treinado via ICM alcançou 71,3–75,4% de acurácia, aproximando-se das baselines supervisionadas por humanos. Uma política de RL guiada por este modelo de recompensa não supervisionado venceu 71,7% das comparações pareadas contra uma baseline supervisionada por humanos, demonstrando a viabilidade de pipelines de alinhamento totalmente não supervisionados.

Significância e Alegações
O artigo alega que a suposição predominante — de que o raciocínio moral deve ser explicitamente "ensinado" aos LMs via dados supervisionados — é incompleta. Em vez disso, modelos pré-treinados possuem capacidades de raciocínio moral latentes que podem ser confiavelmente elicitadas através de métodos não supervisionados como o ICM. Isso oferece um caminho escalável para o alinhamento de IA que reduz a dependência de anotações humanas caras, enviesadas e culturalmente limitadas.

Os autores mantêm uma postura modesta quanto ao escopo desses achados:

• O ICM é mais eficaz quando os conceitos alvo (valores morais) já são salientes para as representações internas do modelo pré-treinado.
• Embora o ICM melhore o desempenho significativamente, ele não resolve universalmente todos os desafios de raciocínio moral (ex: o Utilitarismo continua sendo difícil).
• A supervisão humana permanece essencial para a verificação pós-treinamento e avaliação sensível ao contexto, particularmente onde a coerência interna do modelo pode não estar alinhada com normas sociais complexas e em evolução.
• O estudo sugere que a elicitação não supervisionada é um mecanismo complementar, e não um substituto total, para sistemas com humano no ciclo (human-in-the-loop), fornecendo uma base para um alinhamento de IA mais robusto e culturalmente consciente.