🤖 machine learning

Learning Mixtures of Plackett-Luce Models for Multi-Objective Alignment

Este artigo apresenta o MoPLEx, um algoritmo de expectativa-máxima eficiente que combina o aumento de ranking via grandes modelos de linguagem e a estimativa baseada em gradiente para aprender misturas de modelos Plackett-Luce a partir de rankings de múltiplas vias, superando assim os limites teóricos de identificabilidade e melhorando significativamente a precisão de agrupamento e de ranking em tarefas de alinhamento de preferências heterogêneas.

Autores originais: Dongyue Li, Ziniu Zhang, Lu Wang, Hongyang R. Zhang

Publicado 2026-08-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Dongyue Li, Ziniu Zhang, Lu Wang, Hongyang R. Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, um grande desafio é ensinar os computadores a entender o que os humanos realmente querem. Quando um modelo de linguagem gera uma resposta, ela é frequentemente julgada por humanos que classificam várias opções da melhor para a pior. Esse processo, conhecido como alinhamento, geralmente assume que todos os humanos concordam sobre o que torna uma resposta boa. No entanto, na realidade, as pessoas têm diferentes valores, históricos e prioridades. Uma pessoa pode priorizar uma resposta que seja útil, enquanto outra se importa mais com o fato de ela ser verdadeira. Quando essas opiniões diversas são misturadas, um único modelo de computador tentando aprender com elas frequentemente fica confuso, falhando em capturar as preferências distintas de qualquer grupo específico.

Para resolver isso, pesquisadores da Northeastern University e da University of Michigan desenvolveram um novo método para desembaraçar esses sinais misturados. Eles tratam o problema como se estivessem organizando uma pilha de correspondência que foi misturada de diferentes bairros. Em vez de tentar forçar cada carta em uma única categoria, eles visam identificar os diferentes bairros e aprender um conjunto específico de regras para cada um. A equipe criou um algoritmo chamado MOPLEX, que significa uma mistura de modelos de Plackett-Luce. Em termos simples, esta é uma ferramenta estatística que pode olhar para uma lista de escolhas classificadas e descobrir que a lista provavelmente foi criada por uma mistura de diferentes tipos de pessoas, cada uma com sua própria maneira de decidir o que é melhor.

Os pesquisadores descobriram um obstáculo significativo em seu trabalho: quando as listas de escolhas são muito curtas, é matematicamente impossível distinguir os diferentes grupos. Imagine tentar adivinhar as preferências de dois grupos diferentes de pessoas baseando-se em uma lista onde elas escolheram apenas uma opção principal de duas opções. Os padrões podem parecer idênticos, tornando os verdadeiros grupos invisíveis. A equipe descobriu que, se as listas de classificação forem curtas, o computador não consegue distinguir as diferentes preferências subjacentes, não importa quanta quantidade de dados ele veja. Para corrigir isso, eles criaram um contorno inteligente. Antes de treinar o modelo, eles usaram o próprio computador para gerar respostas extras e imaginárias e as adicionaram ao final das listas de classificação. Isso expandiu as listas, dando ao algoritmo informações suficientes para finalmente ver as diferenças entre os grupos e aprender suas regras únicas.

No entanto, simplesmente tornar as listas mais longas criou um novo problema: tornou-se muito lento e caro para os computadores processarem. Calcular as probabilidades para cada item nessas listas longas exigia uma quantidade massiva de poder computacional. Para superar isso, a equipe introduziu um atalho baseado em como o computador "pensa" sobre o texto. Em vez de executar o cálculo completo e pesado para cada resposta, o algoritmo escolhe alguns exemplos chave para analisar detalhadamente. Ele então usa os padrões matemáticos encontrados nesses poucos exemplos para estimar as pontuações para o restante da lista. Essa abordagem é como verificar a temperatura de alguns pontos em uma sala grande para entender o clima de todo o espaço, em vez de medir cada centímetro individualmente.

Os resultados desta abordagem foram impressionantes. Quando testado em dados do mundo real envolvendo diferentes critérios de avaliação, como utilidade e honestidade, o novo método melhorou a precisão do agrupamento dessas preferências em quase quarenta e quatro por cento em comparação com técnicas mais antigas. Também melhorou a previsão da ordem correta das respostas em mais de quinze por cento. Além disso, ao usar seu atalho de estimativa, os pesquisadores reduziram o tempo e a memória necessários para executar o treinamento em até três vezes. Na prática, isso significa que tarefas complexas que anteriormente exigiam hardware caro e de alto desempenho agora podem ser feitas de forma mais eficiente, abrindo as portas para sistemas de IA que podem respeitar e se adaptar melhor às diversas necessidades de diferentes usuários humanos. O estudo confirma que, ao expandir os dados e usar uma estimativa inteligente, é possível ensinar máquinas a compreender as formas sutis e variadas pelas quais os humanos fazem escolhas.

Resumo Técnico: Aprendizado de Misturas de Modelos Plackett-Luce para Alinhamento Multiobjetivo

1. Definição do Problema

O artigo aborda o desafio de alinhar modelos de linguagem (LMs) com preferências humanas heterogêneas. Em muitos cenários, os dados de preferência são coletados de subpopulações diversas de anotadores ou avaliados contra múltiplos critérios (por exemplo, utilidade vs. veracidade), resultando em uma mistura de distribuições de ranking distintas, em vez de uma única preferência unificada.

O objetivo central é aprender uma mistura de $k$ modelos Plackett-Luce (PL) a partir de dados de ranking multi-vias. Um modelo PL generaliza o modelo Bradley-Terry (BT) para lidar com rankings de $m > 2$ itens. Os autores identificam uma limitação teórica crítica nas abordagens existentes: identificabilidade. Especificamente, quando o comprimento do ranking $m$ é pequeno em relação ao número de componentes da mistura $k$ (especificamente quando $m \le 2k - 1$ ), modelos de mistura distintos podem produzir distribuições marginais de ranking idênticas. Isso torna teoricamente impossível recuperar os clusters subjacentes verdadeiros usando modelos de mistura padrão em rankings curtos (por exemplo, comparações pareadas onde $m=2$ ).

2. Metodologia

Os autores propõem o MOPLEX, um algoritmo eficiente projetado para superar o limite de identificabilidade e reduzir o custo computacional do treinamento de modelos de mistura PL. A abordagem consiste em dois componentes primários:

A. Aumento de Ranking para Identificabilidade
Para resolver o problema da não-identificabilidade, o MOPLEX aumenta os dados de entrada antes do treinamento.

Processo: Para cada prompt de entrada $x$ e o conjunto existente de $m$ respostas classificadas, o modelo de linguagem base gera $m' - m$ novas respostas candidatas.
Aproximação: Como essas respostas geradas carecem de anotações humanas, elas são tratadas como um ranking parcial onde os novos itens são classificados abaixo dos $m$ itens originais ( $y_{\sigma(1)} \succ \dots \succ y_{\sigma(m)} \succ \{y_{m+1}, \dots, y_{m'}\}$ ).
Garantia Teórica: Os autores provam (Proposição 4.1) que, se as respostas aumentadas tiverem pontuações distintas dentro de cada cluster e o número de respostas adicionais satisfizer $m' - m \ge k$ , a mistura de $k$ modelos PL sobre os rankings parciais expandidos torna-se identificável. Isso permite que o modelo distinga entre clusters que, de outra forma, seriam indistinguíveis em rankings curtos.

B. Estimativa Baseada em Gradiente para Eficiência
Treinar uma mistura de $k$ modelos PL sobre $m'$ candidatos normalmente requer $O(km')$ passagens de forward por iteração, o que é computacionalmente proibitivo para grandes modelos de linguagem. O MOPLEX introduz uma aproximação de primeira ordem para reduzir esse custo para $O(ka)$, onde $a$ é um pequeno número de respostas "âncora" ( $a \ll m'$ ).

Mecanismo: O algoritmo seleciona um subconjunto de $a$ respostas âncora. Para estas, calcula as saídas exatas do modelo e os gradientes em relação aos embeddings de entrada.
Aproximação: Para as $m' - a$ respostas restantes, as pontuações do modelo são estimadas usando uma expansão de Taylor de primeira ordem no espaço de embedding de entrada:
$\hat{r}_\theta(x, y_j) \approx \frac{1}{a} \sum_{y_i \in Y_a} \left( r_\theta(x, y_i) + \nabla_h r_\theta(x, y_i)^\top (h(x, y_j) - h(x, y_i)) \right)$
Treinamento: O algoritmo de Expectativa-Maximização (EM) é então aplicado usando essas probabilidades estimadas para atualizar as atribuições de cluster e os parâmetros do modelo (implementados como adaptadores LoRA em um modelo base).

3. Principais Contribuições

Identificação Teórica da Não-Identificabilidade: O artigo estabelece formalmente que modelos PL de mistura são não-identificáveis quando $m \le 2k - 1$ , explicando por que os modelos BT de mistura existentes (onde $m=2$ ) falham em recuperar clusters quando $k > 1$ .
Estratégia de Aumento: Propõe uma técnica de aumento generativa que expande o comprimento do ranking para satisfazer as condições de identificabilidade sem exigir anotação humana adicional.
Estimativa de Gradiente Eficiente: Introduz uma implementação escalável que aproxima os custos de treinamento de mistura PL de $O(km)$ para $O(ka)$, permitindo a aplicação de modelos de mistura a grandes modelos de linguagem.
Algoritmo MOPLEX: Um framework completo integrando aumento, estimativa de gradiente e treinamento EM para aprender misturas de modelos PL.

4. Resultados Experimentais

Os autores avaliaram o MOPLEX no dataset UltraFeedback (4 critérios de avaliação, $m=4$ ) e no dataset Persona (12 perfis demográficos, $m=2$ ).

Identificabilidade e Precisão:
- Em dados sintéticos, o método demonstrou que aumentar o tamanho do ranking $m$ além de $2k$ é necessário para recuperar os clusters verdadeiros; comparações pareadas ( $m=2$ ) colapsaram para um palpite aleatório para $k \ge 3$ .
- Em datasets do mundo real, o MOPLEX melhorou a precisão de clustering em uma média de 43,7% e a precisão de ranking em 15,2% em comparação com baselines usando modelos de ranking únicos ou misturas de modelos BT.
Qualidade da Aproximação:
- A estimativa baseada em gradiente aproximou as saídas reais do modelo com menos de 5% de erro em modelos variando de 0.6B a 34B de parâmetros.
Eficiência:
- O método reduziu o tempo de execução de GPU e os custos de memória em até 3 $\times$ em comparação com o cálculo total de misturas PL.
- Permitiu o treinamento em tamanhos de ranking ( $m'=32$ ) que excediam os limites de memória dos baselines de computação total.

5. Significância e Alegações

O artigo afirma que o MOPLEX fornece uma solução prática para o alinhamento multiobjetivo onde as preferências são heterogêneas. Ao abordar a não-identificabilidade teórica dos modelos de mistura através do aumento de dados e resolver o gargalo computacional via estimativa de gradiente, o método permite o aprendizado de clusters de preferência distintos que modelos únicos ou modelos de mistura pareados não conseguem capturar.

Os autores enfatem que sua abordagem permite que os modelos de linguagem se alinhem melhor com diversas subpopulações de usuários e critérios de avaliação. Eles observam que o método é particularmente eficaz em cenários onde o RLHF ou DPO padrão (que assumem uma única distribuição de preferência) falham em capturar a nuance de objetivos conflitantes (ex: utilidade vs. honestidade). O trabalho é apresentado como uma base para escalar o aprendizado de modelos de ranking para tarefas de alinhamento complexas e de múltiplos critérios.