📊 statistics

Provable Pluralistic Alignment: Multi-Party RLHF under Offline Human Feedback

Este artigo propõe um framework unificado de RLHF offline para alinhamento pluralista que estima conjuntamente recompensas específicas de cada parte sob um modelo linear de baixo posto e otimiza políticas para objetivos de Nash, Utilitaristas e Igualitários, ao mesmo tempo em que aborda preferências cíclicas gerais via um vencedor de von Neumann pessimista, tudo com garantias de desempenho não assintóticas estabelecidas.

Autores originais: Huiying Zhong, Tianwei Gao, Zhiwei Steven Wu, Linjun Zhang, Weijie J. Su, Zhun Deng

Publicado 2026-09-09

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Huiying Zhong, Tianwei Gao, Zhiwei Steven Wu, Linjun Zhang, Weijie J. Su, Zhun Deng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, há um reconhecimento crescente de que as máquinas não falam com uma única voz humana. Quando pedimos a um computador para escrever uma história, resumir um artigo de notícias ou oferecer um conselho, pessoas diferentes costumam querer coisas diferentes. Uma pessoa pode valorizar a brevidade e a objetividade, enquanto outra prefere nuance e profundidade emocional. Uma terceira pode priorizar a segurança acima de tudo, enquanto uma quarta busca a criatividade. Durante anos, a forma padrão de ensinar essas máquinas foi reunir todas essas opiniões diferentes, misturá-las em um grande monte e treinar o sistema para satisfazer a média. Essa abordagem assume que o desacordo humano é apenas ruído, uma confusão temporária que desaparecerá se coletarmos dados suficientes. Mas, na realidade, essas diferenças são frequentemente profundas, persistentes e fundamentais. Elas representam conflitos genuínos de valores, não apenas erros aleatórios. O desafio para os cientistas não é mais apenas fazer uma máquina que agrade à maioria, mas construir uma que possa aprender com uma multidão de pontos de vista distintos, às vezes opostos, e ainda assim chegar a uma decisão única e justa que respeite a estrutura desse desacordo.

Este é o problema central abordado por uma equipe de pesquisadores de instituições que incluem o MIT, a Universidade da Carolina do Norte e a Universidade Carnegie Mellon. Eles se propuseram a resolver um quebra-cabeça específico no campo do aprendizado de máquina conhecido como "alinhamento pluralístico". Imagine uma sala cheia de pessoas tentando decidir sobre um único curso de ação, mas elas não conseguem concordar sobre qual seria o melhor resultado. No passado, os cientistas da computação simplesmente pediam que todos votassem em cada opção possível, contavam os votos e escolhiam o vencedor. A nova abordagem descrita neste trabalho argumenta que esse método descarta muita informação. Se você misturar os votos de um grupo que ama comida apimentada com um grupo que a odeia, pode acabar com um compromisso insosso e insatisfatório que não agrada a ninguém. Em vez disso, os pesquisadores propõem um método que mantém os grupos separados enquanto eles estão aprendendo, compreendendo exatamente o que cada grupo quer, e então aplica uma regra específica e transparente para combinar esses desejos em uma decisão final.

Os pesquisadores focaram em um cenário onde o computador aprende a partir de dados "offline". Isso significa que a máquina não está conversando com pessoas em tempo real; ela está observando uma coleção massiva e pré-existente de registros. Nesses registros, as pessoas compararam duas opções diferentes e disseram qual preferiam. Crucialmente, os pesquisadores garantiram que os dados rastreassem quem fez cada comparação. Eles não apenas registraram que "A Opção A era melhor que a Opção B"; eles registraram que "o Grupo A preferiu a Opção A, enquanto o Grupo B preferiu a Opção B". Ao preservar essas identidades, o computador pôde aprender as preferências específicas de cada grupo distinto, em vez de borrá-las em uma média única e confusa.

Para lidar com essa complexidade, a equipe desenvolveu uma estrutura matemática que opera em dois estágios principais. Primeiro, o sistema aprende as regras ocultas que impulsionam as preferências de cada grupo. Eles descobriram que, embora grupos diferentes queiram coisas diferentes, suas preferências frequentemente compartilham uma estrutura subjacente comum, muito parecido com a forma como diferentes idiomas compartilham uma gramática comum. Ao reconhecer essa estrutura compartilhada, o computador pode aprender os desejos específicos de muitos grupos diferentes usando muito menos dados do que se tentasse aprender cada um isoladamente. Este passo é vital porque permite que o sistema seja preciso mesmo quando os dados de um único grupo são escassos ou incompletos.

Uma vez que o sistema entende o que cada grupo quer, ele passa para o segundo estágio: tomar a decisão final. Aqui, os pesquisadores testaram três maneiras diferentes de combinar essas preferências, representando diferentes ideias de justiça. Um método, chamado "Utilitarista", simplesmente soma a felicidade total de todos os grupos e escolhe a opção que cria o maior bem geral. Outro, chamado "Igualitário", foca inteiramente no grupo que está menos satisfeito, garantindo que o grupo mais desfavorecido seja o mais feliz possível. O terceiro método, conhecido como "Nash", busca um equilíbrio onde o produto da satisfação de todos é maximizado, efetivamente impedindo que qualquer grupo individual seja completamente ignorado, ao mesmo tempo em que recompensa o progresso geral. Os pesquisadores provaram matematicamente que seu método poderia encontrar uma política única que performasse bem sob todas essas definições de justiça, desde que os dados fossem suficientes.

Uma descoberta fundamental do estudo é que simplesmente agrupar todos os dados e ignorar quem disse o quê leva a um resultado ruim. Quando os pesquisadores simularam um cenário com três grupos distintos de pessoas, o método tradicional de "agrupamento" falhou em identificar um compromisso justo. Ele frequentemente escolhia uma opção que era amada por um grupo, mas odiada pelos outros, deixando metade da população completamente insatisfeita. Em contraste, o novo método deles, que manteve os grupos distintos durante a fase de aprendizado, identificou com sucesso uma opção de meio-termo que oferecia um nível moderado de satisfação para todos. Isso demonstrou que a dificuldade em alinhar a inteligência artificial não é apenas sobre ter dados suficientes, mas sobre preservar a estrutura do desacordo humano até que uma escolha clara e intencional seja feita sobre como resolvê-lo.

Os pesquisadores também exploraram um cenário mais difícil, onde as preferências humanas não podem ser facilmente reduzidas a uma pontuação ou classificação simples. Às vezes, as escolhas das pessoas são inconsistentes; elas podem preferir A sobre B, B sobre C, mas depois C sobre A. Nesses casos, o método padrão de atribuir um único número a cada opção falha. Para lidar com isso, a equipe desenvolveu uma nova estratégia baseada no conceito de um "vencedor de von Neumann". Esta é uma abordagem probabilística onde o sistema não tenta encontrar a única melhor opção, mas sim uma estratégia que dificilmente perderia em uma comparação direta contra qualquer outra estratégia. Eles provaram que, mesmo nessas situações confusas e inconsistentes, seu método poderia encontrar uma solução estável e justa que respeitasse as preferências de todas as partes, desde que os dados fossem coletados com cuidado suficiente.

Através de simulações de computador, a equipe mostrou que sua abordagem supera consistentemente os métodos existentes. Quando testaram seu algoritmo em dados sintéticos com números variados de pessoas e diferentes níveis de concordância, o novo método produziu decisões que eram mais próximas do resultado ideal para cada grupo. As simulações confirmaram que, ao manter as identidades dos grupos intactas e usar uma estrutura de aprendizado compartilhada, o sistema poderia aprender de forma mais eficiente e tomar decisões mais justas. Os resultados mantiveram-se verdadeiros, quer o objetivo fosse maximizar a felicidade média, proteger o grupo mais vulnerável ou encontrar um compromisso equilibrado.

Este trabalho representa um passo significativo na forma como pensamos em treinar a inteligência artificial para trabalhar com sociedades humanas diversas. Ele se afasta da ideia de que existe uma única maneira "correta" de se comportar que a máquina deve descobrir. Em vez disso, trata a diversidade da opinião humana como uma característica a ser gerenciada, não um erro a ser corrigido. Ao tornar o processo de combinar diferentes pontos de vista explícito e matematicamente rigoroso, os pesquisadores forneceram um roteiro para construir sistemas que possam navegar pelo conflito sem apagar as vozes distintas que o criam. O estudo não afirma ter resolvido todos os problemas da interação humano-IA, mas oferece uma maneira comprovada e confiável de aprender com uma multidão de pessoas em desacordo e produzir uma decisão coletiva única que seja estatisticamente sólida e eticamente transparente.

Resumo Técnico: Alinhamento Pluralista Provável

Declaração do Problema

O artigo aborda o alinhamento pluralista no Aprendizado por Reforço com Feedback Humano (RLHF). Os pipelines padrão de RLHF tipicamente assumem uma única função de recompensa latente, agrupando todo o feedback humano em um único conjunto de dados. Essa abordagem falha em cenários onde os usuários (partes) possuem preferências heterogêneas, persistentes e potencialmente conflitantes. Agrupar tais dados descarta informações sobre quem detém qual preferência e impõe implicitamente uma regra de agregação normativa específica (por exemplo, voto da maioria) sem um design explícito.

O desafio central é aprender uma política coletiva única a partir de comparações indexadas por parte em regime offline, sem primeiro colapsar feedbacks heterogêneos em um único modelo de recompensa implícito. O problema exige a estimativa simultânea de preferências específicas de cada parte desconhecidas e a seleção de uma política que satisfaça um objetivo explícito de bem-estar social, tudo isso ao mesmo tempo em que se considera a incerteza estatística decorrente de dados offline limitados e desiguais.

Metodologia

Os autores propõem um framework unificado que separa o aprendizado de preferência estatístico da agregação de preferência normativa. O framework opera sob dois regimes distintos:

1. Regime de Recompensa Representável (Modelo Linear de Baixo Posto)

Modelo: Cada parte $m$ segue um modelo de preferência Bradley–Terry–Luce (BTL) linear $R_m(s,a) = \theta_m^\top \phi(s,a) + C_0$ . Crucialmente, os parâmetros de recompensa $\theta_m$ compartilham uma estrutura de baixo posto (low-rank): $\theta_m = U^* \alpha_m^*$ , onde $U^*$ é uma representação compartilhada de baixa dimensão e $\alpha_m^*$ são coeficientes específicos de cada parte.
Algoritmo (Bem-Estar de Nash Pessimista):
1. Estimativa Conjunta: A representação compartilhada $U$ e os coeficientes específicos de cada parte $\alpha_m$ são estimados conjuntamente via Estimativa de Máxima Verossimilhança (MLE) usando todos os conjuntos de dados indexados por parte.
2. Conjuntos de Confiança: Conjuntos de confiança específicos de cada parte $\Theta_B(\hat{\theta}_m)$ são construídos em torno das estimativas para quantificar a incerteza estatística.
3. Otimização Pessimista: Uma política coletiva é selecionada maximizando um objetivo de bem-estar social pessimista sobre esses conjuntos de confiança. Para o bem-estar de Nash, isso é definido como:
  $\hat{J}(\pi) = \min_{\Theta \in \Theta_B(\hat{\Theta})} \left( \prod_{m=1}^M \mathbb{E}_{s \sim \rho} [R_{\theta_m}(s, \pi(s))] \right)^{1/M}$
4. Esta abordagem se estende aos objetivos Utilitarista (média aritmética) e Igualitário (max-min).
Extensão: O framework é generalizado de Bandidos Contextuais para Processos de Decisão de Markov (MDPs) usando medidas de ocupação baseadas em trajetórias.

2. Regime Geral de Preferência por Pares (Recompensas Não Escalares)

Modelo: As preferências podem não admitir uma representação de recompensa escalar e podem ser estocásticas, não transitivas ou cíclicas. As preferências são modeladas diretamente via probabilidades de comparação por pares.
Algoritmo (Vencedor de von Neumann Pessimista):
1. Agregação: Matrizes de preferência por pares específicas de cada parte são estimadas e agregadas (usando pesos iguais) para formar uma matriz de nível populacional.
2. Limites de Confiança: Limites inferiores de confiança elemento a elemento são construídos para a matriz de preferência agregada.
3. Otimização Teoria dos Jogos: Um vencedor de von Neumann pessimista é computado resolvendo um jogo de matriz de soma zero usando o limite inferior de confiança da matriz de preferência. Isso resulta em uma política aleatória que maximiza a margem de preferência agregada de pior caso contra estratégias concorrentes.

Principais Contribuições

Framework End-to-End: O artigo formula o aprendizado de política coletiva a partir de comparações offline indexadas por partes, desacoplando explicitamente a tarefa estatística de aprender recompensas heterogêneas da tarefa normativa de agregá-las.
Teoria de Amostra Finita para Recompensas Heterogêneas: Sob um modelo linear de baixo posto compartilhado, os autores fornecem limites não assintóticos para:
- Estimativa de Recompensa: O erro na estimativa das recompensas específicas de cada parte escala como $O\left(\sqrt{\frac{1}{n}\left(r^2 + dr^2 \log\frac{d}{M} + \log\frac{M}{\delta}\right)}\right)$ , demonstrando que o aprendizado conjunto explora a estrutura compartilhada para reduzir a complexidade de amostragem em comparação ao aprendizado independente.
- Subotimalidade da Política: Limites são estabelecidos para a subotimalidade da política coletiva resultante sob objetivos de Nash, Utilitarista e Igualitário, mostrando como a incerteza de estimativa se propaga através de funções de bem-estar não lineares.
Garantias Gerais de Preferência por Pares: Para configurações sem recompensas escalares, o artigo constrói um vencedor de von Neumann pessimista e deriva garantias de desempenho de amostra finita, garantindo que a política seja um vencedor aproximado mesmo com preferências cíclicas ou não transitivas.
Garantias de Eficiência: Mostra-se que as políticas aprendidas são aproximadamente Pareto eficientes (no regime de recompensa) e aproximadamente ex-post eficientes (no regime geral), garantindo que nenhuma parte possa ser significativamente melhorada sem prejudicar as outras.

Resultados

Limites Teóricos: O artigo estabelece que a subotimalidade da política aprendida depende da dimensão da representação compartilhada $r$ , do número de partes $M$ e da cobertura de dados offline (via coeficientes de concentrabilidade). Os limites superam os limites de RLHF de uma única parte quando $r^2 \ll \min\{M, d\}$ .
Ilustrações Numéricas: Simulações em configurações de bandidos contextuais demonstram que:
- O método de estimativa de baixo posto conjunta supera significativamente a estimativa independente e os basais de agrupamento (pooling) em termos de subotimalidade de Nash, Utilitarista e Igualitária.
- Basais de agrupamento falham em identificar políticas de compromisso (por exemplo, selecionar um meio-termo) quando as partes possuem preferências conflitantes, enquanto o método proposto consegue aprender a estrutura do desacordo.
- O método de preferência por pares geral converge para o vencedor de von Neumann ideal conforme o tamanho da amostra aumenta, enquanto os basais de agrupamento retêm um erro não nulo.

Significância e Alegações

O artigo posiciona-se como um dos primeiros estudos teóricos a formular o feedback humano heterogêneo como um problema de RLHF multi-parte explícito. Sua principal alegação é que fornece as primeiras garantias de amostra finita para a combinação de:

Aprendizado de recompensa de baixo posto específica de cada parte compartilhada.
Otimização de bem-estar social não linear pessimista.
Seleção de política offline.

Os autores argumentam que seu framework torna a agregação de preferências uma escolha de design explícita e estatisticamente analisável, em vez de uma consequência implícita do agrupamento de dados. Ao reter as identidades das partes e propagar a incerteza estatística através da regra de agregação, o método aborda o desafio central do alinhamento pluralista: aprender com feedback limitado, heterogêneo e potencialmente cíclico para produzir uma política única com garantias explícitas de bem-estar coletivo.

O artigo reconhece limitações, observando que assume identidades de partes observadas e persistentes e feedback não estratégico. Esclarece que trabalhos subsequentes exploraram incentivos estratégicos, coleta de dados ativa e otimização escalável, mas afirma que este trabalho estabeleceu a base do framework estatístico para essas direções.