Resumo Técnico: Alinhamento de IA sob Perspectivas de Escolha Social

Declaração do Problema

O alinhamento de IA via feedback humano (por exemplo, Aprendizado por Reforço com Feedback Humano, RLHF) depende da agregação de julgamentos humanos heterogêneos para direcionar o comportamento de modelos de linguagem. Os métodos atuais tipicamente comprimem esses julgamentos em um único sinal de recompensa escalar universalmente aplicável. Essa abordagem assume implicitamente uma intuição humana subjacente compartilhada, tratando preferências conflitantes como ruído em torno de uma verdade fundamental comum, em vez de evidência de pluralismo de valores.

Quando os anotadores discordam inerentemente, o processo de agregação torna-se uma forma de agregação de preferências que colapsa julgamentos individuais conflitantes em uma única preferência coletiva. Este artigo argumenta que o pipeline padrão de RLHF contém regras de agregação implícitas com trade-offs normativos específicos e modos de falha que não são adequadamente abordados apenas pela estimativa estatística. O problema central é analisar o alinhamento através da lente da teoria da escolha social para identificar essas regras incorporadas, expor falhas estruturais (como sensibilidade à representação de candidatos e violações de unanimidade) e explorar mecanismos de agregação alternativos que lidem melhor com a discordância.

Metodologia e Estrutura

O artigo analisa a pesquisa de alinhamento modelando o pipeline de alinhamento como um processo de agregação formal: dos julgamentos elicitados para objetivos aprendidos e, então, para políticas otimizadas. A análise baseia-se na notação padrão para prompts ($X$), respostas ($Y$), anotadores ($A$) e políticas ($\pi$).

Componentes metodológicos principais incluem:

1. Aprendizado de Recompensa como Agregação: O artigo analisa o modelo Bradley-Terry (BT), a função de perda padrão para aprender modelos de recompensa a partir de comparações pareadas. Ele demonstra que, sob condições idealizadas (classe de recompensa não restrita, dados infinitos), minimizar a perda BT é matematicamente equivalente à regra de votação Borda count.
2. Axiomas de Escolha Social: Os autores aplicam axiomas padrão de escolha social (ex: robustez de clones, unanimidade/eficiência de Pareto, limites de distorção) para avaliar as propriedades dos modelos de recompensa aprendidos e das políticas resultantes.
3. Regras de Agregação Alternativas: O artigo investiga alternativas à compressão de recompensa escalar, especificamente Loterias Maximais e Aprendizado de Nash a partir de Feedback Humano (NLHF), que operam diretamente sobre relações de preferência pareadas sem forçar um ranking escalar transitivo.

Contribuições Principais e Resultados

1. Aprendizado de Recompensa BT como Agregação Borda

O artigo estabelece que o aprendizado de recompensa BT não restrito implementa implicitamente a regra Borda.

• Mecanismo: A recompensa aprendida $r^*(y)$ classifica as respostas exatamente pelo seu escore Borda, definido como a probabilidade esperada de uma resposta ser preferida a um candidato sorteado aleatoriamente.
• Implicação: Esta regra favorece respostas de "consenso" ou "compromisso" que são amplamente aceitáveis em detrimento de respostas polarizadoras com apoio forte, porém estreito. Ela inerentemente rebaixa respostas que provocam forte oposição, mesmo que tenham forte apoio de uma minoria.
• Impacto do Pré-processamento: Se as preferências suaves forem achatadas para votos majoritários binários antes do ajuste BT, a regra de agregação muda para a regra de Copeland (classificação pelo número de vitórias em confrontos pareados).

2. Falha de Robustez de Clones

O artigo identifica um modo de falha crítico em ambientes de modelos de linguagem: sensibilidade a clones aproximados.

• Problema: Em contextos generativos, uma única resposta substantiva pode ser representada por muitas strings quase duplicadas (paráfrases, reordenações). A agregação BT/Borda padrão é sensível ao número de tais variantes; adicionar duplicatas próximas altera a recompensa agregada, tornando a política sensível a artefatos arbitrários de amostragem em vez da preferência humana.
• Solução: Os autores citam trabalhos que propõem um objetivo BT ponderado. Ao atribuir pesos baseados na "unicidade" de uma resposta (o volume do espaço de resposta que ela representa), a recompensa aprendida torna-se robusta à adição de clones aproximados, tratando duplicatas próximas como representações redundantes da mesma região.

3. Violação de Unanimidade em Modelos Paramétricos

Embora o BT não restrito satisfaça a unanimidade (se todos preferem $y_+$ a $y_-$, a recompensa reflete isso), o artigo mostra que essa garantia quebra sob restrições paramétricas.

• Mecanismo: Na prática, os modelos de recompensa são restritos a uma classe de hipóteses (ex: funções lineares de características). A necessidade de ajustar um único conjunto de parâmetros a todas as comparações cria trade-offs.
• Resultado: É possível construir cenários onde um modelo de recompensa paramétrico aprende uma ordenação que viola a unanimidade ($r(y_-) > r(y_+)$ mesmo quando todos os anotadores preferem $y_+$), porque a função de perda prioriza o ajuste de direções de comparação dominantes sobre o par unânime.

4. Perda de Bem-Estar e Distorção

O artigo analisa a perda de informação ocorrida ao otimizar políticas baseadas apenas em comparações pareadas (dados ordinais) em vez de utilidades cardinais.

• Distorção: O conceito de distorção mede a razão de pior caso entre o bem-estar ótimo e o bem-estar alcançado por uma política aprendida a partir de dados pareados.
• Limitações do BT: Sob o modelo BT, a distorção de uma política aprendida via aprendizado de recompensa padrão é limitada por $O(\eta^2)$, onde $\eta$ é o parâmetro de temperatura inversa.
• Otimalidade do Aprendizado de Nash: O artigo destaca o Aprendizado de Nash a partir de Feedback Humano (NLHF), que otimiza diretamente contra preferências pareadas usando uma abordagem de teoria dos jogos (Maximal Lotteries). O NLHF atinge um limite de distorção de $(1/2 + o(1))\eta$, o que corresponde ao limite inferior minimax teórico para feedback pareado anônimo. Isso indica que o NLHF é ótimo na minimização da perda de bem-estar dadas as restrições de informação.

5. Alinhamento Direto via Loterias Maximais

Em vez de comprimir preferências em um escalar, o artigo defende as Loterias Maximais (ou equilíbrios de Nash no jogo de preferência).

• Mecanismo: Esta abordagem seleciona uma distribuição sobre as respostas que maximiza a margem esperada mínima contra qualquer outra distribuição.
• Propriedades: Este método lida naturalmente com ciclos de Condorcet (preferências intransitivas) ao espalhar a massa de probabilidade através do ciclo, em vez de quebrá-lo arbitrariamente. É invariante a clones exatos e alcança garantias de distorção ótimas.

Significância e Alegações

O artigo posiciona a teoria da escolha social não meramente como uma curiosidade teórica, mas como um framework necessário para diagnosticar e melhorar o alinhamento de IA. Suas principais alegações são:

1. Transparência de Pressupostos Normativos: Ver o alinhamento através da escolha social torna explícitos os pressupostos normativos incorporados nos métodos padrão (como RLHF). Revela que os pipelines padrão não são estimadores estatísticos neutros, mas regras de votação específicas (Borda/Copeland) com vieses conhecidos (ex: favorecer a mediocridade/blandness, sensibilidade à representação).
2. Identificação de Modos de Falha: A perspectiva da escolha social identifica modos de falha estruturais — como sensibilidade a clones e violações de unanimidade paramétrica — que são intrínsecos à lógica de agregação, e não apenas artefatos de dados ruins ou treinamento.
3. Expansão do Espaço de Design: O artigo argumenta que o "espaço de design" para o alinhamento é mais amplo do que as práticas atuais. Ao adotar métodos de agregação da escolha social (ex: BT ponderado, aprendizado de Nash, loterias maximais), pesquisadores podem codificar diferentes objetivos normativos (ex: robustez à representação, otimalidade na perda de bem-estar) de forma mais explícita.
4. Avaliação ao Nível de Política: O artigo enfatiza que a qualidade de um modelo de recompensa deve ser avaliada pela política que ele induz. Um modelo de recompensa que satisfaz axiomas de agregação não garante que uma política faça o mesmo, necessitando de métodos de otimização direta ao nível de política, como o NLHF.

Os autores concluem que o alinhamento de IA é fundamentalmente um problema de estabelecer princípios justos para incorporar diversos valores humanos, e que a teoria da escolha social fornece as ferramentas matemáticas para analisar e melhorar os mecanismos usados para agregar esses valores.