Resumo Técnico: Rumo a uma Teoria do Valor no Alinhamento de IA

Declaração do Problema

O campo da segurança de IA tem enquadrado cada vez mais os comportamentos prejudiciais da IA — que variam de discursos tóxicos a ações de agentes não autorizadas — como "o problema do alinhamento", postulando que essas questões decorrem de modelos sendo "desalinhados" com os valores humanos. Embora exista uma vasta literatura técnica sobre "alinhamento de valores", utilizando frequentemente métodos como Aprendizado por Reforço com Feedback Humano (RLHF), Otimização de Preferência Direta (DPO) e Aprendizado por Reforço Inverso (IRL), o campo sofre de uma lacuna epistêmica fundamental: raramente define o que são "valores humanos", nem especifica os valores de quem estão sendo alinhados.

O artigo argumenta que a pesquisa atual de alinhamento baseia-se implicitamente em uma abordagem "preferentista" fundamentada na teoria econômica, especificamente na teoria da escolha racional e na maximização da utilidade esperada. Esse framework reduz valores humanos complexos e situados culturalmente a preferências binárias ou funções de utilidade estáticas. Os autores sustentam que esse reducionismo, combinado com uma tendência de utilizar dados sintéticos e avaliações de "LLM-como-juiz" para substituir anotadores humanos, corre o risco de fechar caminhos para métodos alternativos de contestação e implementação de valores em modelos de fundação. Além disso, a falta de uma teoria concreta do valor permite que o campo trate o "alinhamento" como um problema de engenharia solucionável, ignorando a realidade sociotécnica de que os valores são dinâmicos, pluralistas e dependentes de contexto.

Metodologia

Para caracterizar o paradigma dominante de valor na pesquisa de IA, os autores conduziram uma análise qualitativa e quantitativa de 94 artigos de pesquisa sobre alinhamento de valores de IA.

Coleta de Dados:

• Artigos Semente: Quatro artigos canônicos e altamente citados (>1.000 citações) foram selecionados como sementes: Deep Reinforcement Learning from Human Preferences (Christiano et al., 2017b), A General Language Assistant as a Laboratory for Alignment (Askell et al., 2021), Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Bai et al., 2022) e Training language models to follow instructions with human feedback (Ouyang et al., 2022).
• Amostragem em Bola de Neve: Utilizando a API do Semantic Scholar, os autores recuperaram 576 artigos publicados entre 2016 e 2024 que citavam os artigos semente.
• Critérios de Seleção: Os artigos foram ordenados pelo número de citações no Google Scholar. Aqueles que utilizavam "alinhamento de valores" apenas de forma superficial foram descartados. O conjunto de dados final consistiu em 94 artigos considerados centrais para o subcampo.

Estrutura de Anotação:
Os autores desenvolveram uma rubrica de 13 perguntas derivada da literatura da antropologia, filosofia e ciências sociais para avaliar a teoria de valor implícita em cada artigo. As perguntas eram ternárias (duas opções específicas ou "não aplicável") e cobriam:

1. Definição de valores.
2. Monismo vs. Pluralismo (dimensão intrínseca única vs. múltiplas dimensões não achatáveis).
3. Mensurabilidade (quantificável vs. imensurável).
4. Fonte de valores (preferências reveladas vs. princípios prescritos).
5. Nível de abstração (abstrato/teórico vs. concreto/específico).
6. Unidade de análise (interações individuais vs. agentes coletivos).
7. Natureza temporal (dinâmica vs. estática).
8. Profundidade descritiva (descrição fina/instrumental vs. espessa/situada).
9. Emergência de valores na IA.
10. Postura normativa sobre a IA seguir valores humanos.
11. Identificação de grupos humanos específicos.
12. Tamanho da amostra de avaliadores humanos.
13. Uso de maximização de utilidade.

Análise:
Dois dos cinco coautores anotaram cada artigo, alcançando um acordo médio entre avaliadores de 85%. A análise combinou pontuação quantitativa com extração qualitativa de citações ilustrativas para caracterizar as crenças do campo sobre os valores humanos.

Principais Contribuições

1. Estrutura Analítica: O artigo introduz uma rubrica para analisar a teoria do valor no alinhamento de IA, fazendo a ponte entre a literatura técnica de ML e conceitos das ciências sociais e da filosofia (ex: monismo/pluralismo, descrições finas/espessas).
2. Caracterização Empírica: Através da análise de 94 artigos, os autores fornecem uma visão sistemática de como o campo operacionaliza o "valor", revelando uma forte dependência de conceitos indefinidos e proxies econômicos.
3. Crítica ao "Preferentismo": O artigo identifica e critica explicitamente a abordagem "preferentista", que assume que as preferências são representações adequadas de valores, que a racionalidade consiste em maximizar essas preferências e que alinhar-se aos dados de preferência garante a segurança.
4. Identificação de "Alinhamento Sem Humanos": Os autores documentam uma tendência onde anotadores humanos são cada vez mais substituídos por dados sintéticos e juízes de LLM, potencialmente apagando a entrada humana do processo de alinhamento.

Resultados

As descobertas quantitativas e qualitativas revelam lacunas significativas entre os objetivos do campo e suas bases teóricas:

• Valores Indefinidos: 79% dos artigos não definiram nem descreveram o que entendiam por "valores", apesar de afirmarem alinhar modelos com eles.
• Conflito com Preferências: 82% dos artigos trataram "preferências" como um substituto para "valores". Valores foram frequentemente usados de forma intercambiável com "intenções" ou "ideologias".
• Assunção de Mensurabilidade: 90% dos artigos trataram os valores como mensuráveis, operacionalizando-os através de conjuntos de dados de preferência onde modelos geram respostas avaliadas por avaliadores humanos, outros LLMs ("autoratizadores") ou uma mistura.
• Monismo e Maximização de Utilidade: 87% dos artigos utilizaram, de forma implícita ou explícita, a maximização da utilidade como parte de seu framework técnico. O campo subscreve amplamente uma visão monística (dimensão única de valor) e valores estáticos (53% trataram valores como estáticos), ignorando a relatividade cultural e o dinamismo.
• Falta de Especificidade: 91% dos artigos não especificaram quais valores humanos estavam sendo alinhados, reforçando a noção de valores universais. Quando avaliadores humanos foram utilizados, 77% desses artigos não declararam o tamanho do grupo de avaliadores (frequentemente <100 pessoas).
• Descrições Finas: 66% dos artigos ofereceram descrições "finas" de valores (instrumentais, calculistas), enquanto apenas 3% ofereceram descrições "espessas" (situadas, relacionais, culturalmente incorporadas).
• Mudança para Avaliação Sintética: O artigo nota uma tendência crescente de usar humanos sintéticos ou LLMs para elicitar preferências e avaliar o alinhamento, impulsionada pela percepção de que o feedback humano é caro demais, demorado ou pouco confiável.

Significância e Alegações

O artigo não pretende resolver o problema do alinhamento, mas sim busca tornar explícitos os compromissos filosóficos do campo para facilitar uma reavaliação crítica.

• Intervenção Epistêmica: Os autores argumentam que, ao falhar em definir valores, o campo depende de conhecimentos prévios "dados como certos" enraizados na teoria econômica (escolha racional, maximização da utilidade). Esse framework assume que a natureza humana é individualista, racional e estática, o que contradiz achados empíricos na antropologia e psicologia sobre a complexidade, a situação cultural e o dinamismo dos valores humanos.
• Risco de Ossificação: O artigo alerta que, sem abordar essas questões fundamentais, as práticas técnicas atuais (ex: RLHF, DPO) podem se "ossificar", normalizando sistemas de IA treinados em uma concepção de valor estreita e reducionista. Isso poderia levar a sistemas que alegam estar "alinhados", enquanto na verdade refletem os vieses de um pequeno grupo de pesquisadores ou as restrições de modelos econômicos.
• Chamado para a Interdisciplinaridade: Os autores convidam pesquisadores da antropologia, psicologia e filosofia para se engajarem no alinhamento de IA. Eles sugerem que o trabalho futuro deve ir além do "preferentismo" em direção a modelos mais ricos que considerem como os humanos avaliam e agem sobre valores de maneiras racionalmente limitadas, dentro de contextos sociais e culturais específicos.
• Implicações para Políticas Públicas: Ao expor as bases frágeis dos padrões atuais de alinhamento (ex: a dependência de princípios HHH e dados sintéticos), o artigo visa informar formuladores de políticas e o público sobre os limites das atuais alegações de alinhamento de valores, defendendo concepções mais realistas de riscos de IA.

Em conclusão, o artigo postula que o "alinhamento" não é meramente um problema de engenharia solucionável, mas um desafio filosófico e sociotécnico. Argumenta que o paradigma técnico atual, ao traduzir o alinhamento para a teoria da utilidade, limita inerentemente o alcance dos valores humanos que a IA pode representar, potencialmente fechando o caminho para abordagens mais diversas e culturalmente responsivas à segurança da IA.