Resumo Técnico: O que as pessoas realmente querem da IA? Mapeando a Pluralidade de Preferências

Declaração do Problema

O alinhamento atual dos Grandes Modelos de Linguagem (LLMs) depende fortemente do Aprendizado por Reforço com Feedback Humano (RLHF), um processo que agrega preferências humanas para treinar modelos a se comportarem de acordo com "valores humanos". Os autores argumentam que esse paradigma sofre de limitações fundamentais: ele agrega preferências conflitantes em um único sinal de recompensa, baseia-se em amostras não representativas (frequentemente demografias WEIRD — ocidentais, educadas, industrializadas, ricas e democráticas) e utiliza comparações binárias de pares que falham em capturar a nuance, o contexto e a diversidade epistemológica da intenção humana. Consequentemente, a busca da indústria por um modelo "alinhado" singular corre o risco de achatar valores situados, contestados e pluralistas em uma forma de "violência epistêmica", onde perspectivas minoritárias são subsumidas por um falso consenso. O problema central é que os métodos atuais não conseguem distinguir entre compromissos morais profundos e preferências superficiais, nem podem capturar as definições divergentes de valores compartilhados (ex: "veracidade") ou a natureza contextual dos desejos do usuário (ex: "por padrão" vs. "se solicitado").

Metodologia

O estudo utiliza uma abordagem de métodos mistos para analisar o conjunto de dados PRISM, uma pesquisa com 1.500 trabalhadores de tarefas de crowdsourcing de língua inglesa em 75 países. Este conjunto de dados oferece maior diversidade demográfica do que os estudos de alinhamento típicos, incluindo amostras censitárias representativas do Reino Unido e dos EUA.

1. Coleta de Dados: Os participantes responderam a um prompt aberto pedindo que descrevessem as características, traços ou atributos que uma IA deveria exibir consistentemente, incluindo quais comportamentos evitar e como o comportamento poderia mudar através de contextos.
2. Codificação Qualitativa: Os autores empregaram uma estratégia de codificação híbrida humano-LLM.
   • Livro de Códigos (Codebook): Baseando-se na Teoria de Schwartz sobre Valores Básicos (via framework ValueCompass), os autores adaptaram um livro de códigos para incluir categorias específicas relevantes para a IA, como Semelhança Humana, Busca de Relacionamento e Ordem Social (salvaguardas).
   • Processo: Um pesquisador humano realizou a codificação aberta de 400 respostas para estabelecer uma abordagem indutiva. Um LLM foi então utilizado para auxiliar na codificação do conjunto de dados completo, com um segundo anotador humano codificando independentemente uma amostra de 10% para validação. O acordo inter-anotador (Cohen's $\kappa$) foi moderado ($\approx 0,49$–$0,55$), refletindo a subjetividade inerente da anotação de valores.
   • Pontuação: As respostas foram codificadas como Positiva (1), Mista/Inclaras (0) ou Negativa (-1) para cada dimensão de valor.
3. Análise Quantitativa: Os autores executaram regressões logísticas LASSO exploratórias seguidas de regressões OLS para identificar preditores demográficos (gênero, educação, região cultural, etc.) para os valores mais frequentes, controversos e rejeitados.
4. Verificação de Fatos: Uma amostra aleatória de 50 conversas usuário-IA do conjunto de dados foi analisada para comparar as preferências declaradas com as interações reais do usuário e a precisão factual das saídas do modelo.

Principais Contribuições

• Evidência Empírica de Pluralidade de Preferências: O estudo demonstra que mesmo valores com alta demanda agregada, como "veracidade" (solicitada por 49% dos respondentes), escondem definições epistemológicas fundamentalmente divergentes. Alguns usuários demandam fatos com fontes, outros o consenso de especialistas e outros a inclusão de visões impopulares ou marginais.
• Identificação de Valores Controversos: A pesquisa identifica valores que não são apenas diversos, mas ativamente contestados. Semelhança Humana (simular o comportamento humano) e Ordem Social (filtros de segurança/salvaguardas de IA) são polarizadores, com partes significativas dos respondentes rejeitando explicitamente esses traços como "estranhos", "censura" ou "enfraquecidos".
• Crítica da Agregação Binária: O artigo fornece evidências de que modelos de preferência binária (RLHF) falham em capturar distinções contextuais (ex: "não seja humano-parecido a menos que solicitado") e que agregar esses sinais em um único modelo de recompensa inevitavelmente sacrifica a nuance e as preferências minoritárias.
• Correlatos Demográficos: O estudo mapeia como demografias específicas se correlacionam com preferências de valores. Por exemplo, respondentes do sexo masculino foram menos propensos a solicitar Utilidade, Amizade e Amor ou Polidez, enquanto respondentes com pós-graduação foram mais propensos a solicitar Veracidade e Prudência, mas menos propensos a solicitar Amizade.

Resultados

• Frequência de Valores: Veracidade foi o valor mais solicitado (49%), seguido por Útil/Amizade/Amor (23%), Utilidade (22%) e Polidez (22%). Nove valores (ex: Riqueza, Harmonia Interior) não foram solicitados por nenhum participante.
• Definições Divergentes: A análise qualitativa revelou que a "veracidade" não é um conceito monolítico. Ela varia desde uma demanda por fatos "neutros" até um requisito por "visões de mundo diversas" ou "opiniões impopulares".
• Pontuações de Controvérsia: Semelhança Humana e Ordem Social mostraram altas pontuações de controvérsia. Enquanto 57% daqueles que mencionaram Semelhança Humana a desejavam, 33% a rejeitaram. Da mesma forma, 65% desejavam Ordem Social (salvaguardas), enquanto 23% as rejeitaram como censura.
• Traços Rejeitados: Influente (IA tentando influenciar opiniões do usuário) foi o traço mais rejeitado, oposto por 18% dos respondentes que priorizam a agência e neutralidade do usuário.
• Realidade vs. Preferência: Na análise de conversas, os usuários frequentemente falharam em detectar alucinações nas saídas do modelo e, em alguns casos, preferiram respostas factualmente incorretas que alinhavam com seus preconceitos ou expectativas pré-existentes, sugerindo um hiato entre a preferência declarada e o comportamento real.
• Padrões Demográficos:
  • Gênero: Homens foram significativamente menos propensos a solicitar Útil/Amizade/Amor e Polidez.
  • Educação: Maior nível de educação correlacionou-se com pedidos de Veracidade, Prudência e Diversidade, mas menores pedidos de Amizade.
  • Cultura: Respondentes da América Latina foram menos propensos a solicitar Veracidade; Europeus Germânicos foram mais propensos a solicitar Prudência; Nórdicos e Europeus do Centro/Leste foram mais propensos a solicitar Customização.

Significância e Alegações

O artigo argumenta que o padrão atual da indústria de buscar um único LLM universalmente alinhado é construído sobre uma "ilusão de consenso". Ao achatar preferências situadas e contestadas em um único modelo de recompensa, as práticas de alinhamento podem inadvertidamente distribuir a utilidade de forma injusta e realizar uma "erosão algorítmica" de perspectivas minoritárias.

Os autores alegam que:

1. O Alinhamento é Político: O processo de definir valores de IA não é um problema de otimização técnica, mas um problema político envolvendo "soberania privada e não prestável de contas".
2. Métodos Atuais Falham: A persistência de altas taxas de alucinação e de sicofancia em modelos bem financiados sugere que o RLHF falha em identificar as preferências reais dos usuários, particularmente em relação à incerteza e à verdade.
3. Necessidade de Pluralismo: Os achados apoiam uma mudança em direção à personalização, onde os modelos poderiam ser adaptados para refletir divergentes estruturas de valores dos usuários, em vez de forçar todos os usuários em um único sistema de valores "universal".
4. Reforma da Governança: Os autores pedem justiça procedimental no alinhamento, defendendo métodos transparentes, abertos e participativos que incluam uma gama mais ampla de stakeholders, afastando-se dos "significantes vazios" de "útil, honesto e inofensivo".

O artigo conclui que reconhecer a complexidade e a contestação dos valores humanos é um pré-requisito para desenvolver sistemas de IA que não apenas otimizem para uma média matemática, mas que respeitem a pluralidade da intenção humana.