Resumo Técnico: Otimização de Preferência Multiobjetivo (MOPO)

1. Definição do Problema

As abordagens atuais para alinhar Grandes Modelos de Linguagem (LLMs) com as preferências humanas, como o Aprendizado por Reforço com Feedback Humano (RLHF) e a Otimização de Preferência Direta (DPO), baseiam-se predominantemente na otimização de objetivo único. Esses métodos tipicamente colapsam múltiplas preferências humanas (ex: utilidade, inocuidade, veracidade, diversidade) em um único sinal de recompensa escalar via somas ponderadas ou escalonamento heurístico.

O artigo argumenta que essa abordagem é fundamentalmente limitada porque:

1. Objetivos Conflitantes: As preferências humanas são frequentemente multidimensionais e conflitantes (ex: maximizar a utilidade pode degradar a inocuidade).
2. Perda da Otimalidade de Pareto: O escalonamento esconde os trade-offs e falha em recuperar a fronteira de Pareto — o conjunto de soluções não dominadas onde nenhum objetivo pode ser melhorado sem piorar outro.
3. Rigidez de Inferência: Os métodos multiobjetivo existentes frequentemente exigem vetores de preferência explícitos do usuário no momento da inferência (ex: "0,6 útil, 0,4 seguro"), os quais os usuários raramente articulam explicitamente, ou dependem de retreinamento para cada configuração de peso.

O problema central abordado é o Alinhamento de Preferência Multiobjetivo: aprender uma política única que equilibra simultaneamente múltiplos objetivos, potencialmente conflitantes, com base em dados de preferência pareados, sem exigir escalonamento explícito ou pesos fornecidos pelo usuário na inferência.

2. Metodologia: MOPO

Os autores propõem a Otimização de Preferência Multiobjetivo (MOPO), um framework de otimização restrita offline que aprende diretamente de dados de preferência pareados.

2.1 Formulação

O MOPO enquadra o problema de alinhamento como um Problema de Otimização Constrangida Côncava (COP). Em vez de maximizar uma soma ponderada de recompensas, ele maximiza um objetivo primário enquanto impõe restrições de limite inferior em objetivos secundários.

Dada uma política de referência $\pi_{ref}$, uma função de preferência primária $p(\cdot)$, e um vetor de funções de preferência secundárias $q(\cdot)$, o problema é:
$$\begin{aligned} \max_{\pi} \quad & \mathbb{E}_{x, y, y'} [p(y \succ y' | x)] - \tau \text{KL}(\pi \parallel \pi_{ref}) \\ \text{sujeito a} \quad & \mathbb{E}_{x, y, y'} [q(y \succ y' | x)] \geq \mathbf{b} \end{aligned}$$
onde $\mathbf{b}$ representa limiares de segurança ajustáveis para os objetivos secundários, e $\tau$ é um parâmetro de regularização.

2.2 Componentes Algorítmicos

Para resolver isso sem recompensas ponto a ponto, o MOPO utiliza os seguintes mecanismos:

• Razão de Amostragem de Importância ($\rho$): A política é representada via a razão $\rho(y) = \pi(y) / \pi_{ref}(y)$. A otimização é realizada sobre $\rho$ para derivar uma solução de forma fechada para a política ótima.
• Formulação Dual Lagrangiana: O problema constrangido é convertido em um problema dual envolvendo multiplicadores de Lagrange $\lambda$. A $\rho^*$ ótima é derivada como:
  $$\rho^*_\lambda(y) = \exp\left( \tau^{-1} \mathbb{E}_{y' \sim \mu} [p(y \succ y') + \lambda^T q(y \succ y')] - 1 \right)$$
  Aqui, $\lambda$ atua como uma penalidade que aumenta se a política tiver um desempenho insuficiente nos objetivos secundários.
• Estimativa de Limite Inferior Robusta: Para lidar com erros de estimativa em conjuntos de dados finitos, o MOPO não restringe a expectativa empírica bruta diretamente. Em vez disso, ele restringe um limite inferior das estimativas de preferência. Isso é alcançado resolvendo um problema de otimização adversarial auxiliar para encontrar uma distribuição $\pi_k$ que minimize a preferência para o objetivo $k$ dentro de um orçamento de divergência KL ($\epsilon$). Isso gera uma estimativa de limite inferior robusta usada no loop de otimização principal.
• Atualizações Iterativas: O algoritmo alterna entre:
  1. Atualizar os parâmetros do limite inferior ($\chi$) para estreitar as estimativas das restrições.
  2. Atualizar os multiplicadores de Lagrange ($\lambda$) para equilibrar os objetivos.
  3. Atualizar os parâmetros da política ($\psi$) via clonagem comportamental ponderada por importância.

2.3 Implementação Prática

• Política de Referência com Atraso (Lagged Reference Policy): Para evitar o colapso e garantir a progressão estável em direção à fronteira de Pareto, a política de referência $\pi_{ref}$ é atualizada periodicamente (a cada $t_0$ passos) para a política atual $\pi^{(t-t_0)}$, em vez de permanecer fixa.
• Cronograma de Restrição Adaptativo: Como os limiares de restrição exatos $\mathbf{b}$ são desconhecidos, eles são definidos de forma adaptativa com base no desempenho da política otimizada anteriormente, escalados por um parâmetro de relaxação $\beta$.
• Arquitetura Multi-Head: Para inferência, o MOPO emprega um backbone Transformer compartilhado com múltiplas cabeças de política. No momento da inferência, o usuário seleciona um objetivo primário e a cabeça correspondente é utilizada, permitindo que um único modelo se adapte a diferentes prioridades de preferência sem retreinamento.

3. Principais Contribuições

1. Framework MOPO: Introdução de um algoritmo de otimização restrita offline que otimiza múltiplos objetivos simultaneamente, alcançando a otimalidade de Pareto sem colapsar as preferências em um único escalar.
2. Garantias Teóricas: Demonstração de que a formulação constrangida proposta recupera políticas que residem na verdadeira fronteira de Pareto, ao contrário dos métodos de escalonamento padrão (DPO, RLHF) que falham em cobrir toda a frente.
3. Robustez ao Erro de Estimativa: Desenvolvimento de um mecanismo de restrição de limite inferior que torna a política robusta ao ruído na estimativa de preferência, evitando violações de restrição em implantação.
4. Validação Empírica:
   • Benchmarks Sintéticos: O MOPO recupera exatamente a política ótima e a fronteira de Pareto em configurações sintéticas onde a verdade fundamental é conhecida.
   • LLMs do Mundo Real: Experimentos em modelos de 7 bilhões de parâmetros (ex: Zephyr-7b-beta, Llama-3.1-8B) em tarefas como "Assistente Útil" e "Resumo de Reddit" mostem que o MOPO alcança recompensas mais altas e domina a fronteira de Pareto em relação às bases (incluindo variantes de RiC, PARM, MODPO e DPO).
   • Estabilidade: Estudos de ablação confirmam a estabilidade do algoritmo através de variações de hiperparâmetros (relaxação de restrição $\beta$, atraso $t_0$ e regularização $\tau$).

4. Resultados

• Recuperação de Pareto: Em experimentos sintéticos, o MOPO aproxima com sucesso a fronteira de Pareto, enquanto o DPO treinado em objetivos únicos ou recompensas escalonadas perde partes significativas da frente.
• Desempenho em LLMs: Nas tarefas de Assistente Útil e Resumo de Reddit, o MOPO (especificamente a variante Lagrangiana, MOPO-Lag) supera consistentemente ou iguala as bases de estado da arte em múltiplos objetivos (utilidade, inocuidade, humor, fidelidade).
• Escalabilidade: O método escala de modelos pequenos (phi-1.5) para modelos maiores de 7B/8B.
• Satisfação de Restrições: Em tarefas com restrição de verbosidade (controle de comprimento de resposta), o MOPO consegue manter os comprimentos de resposta dentro dos limites especificados enquanto melhora a utilidade.

5. Significância e Alegações

O artigo afirma que o MOPO aborda uma lacuna crítica nos paradigmas de alinhamento atuais: a incapacidade de lidar com preferências humanas multidimensionais sem escalonamento arbitrário ou intervenção do usuário na inferência.

• Mudança de Paradigma: Ele vai além da suposição de "sinal de recompensa único" do RLHF/DPO padrão, oferecendo uma maneira fundamentada de navegar pelos trade-offs entre objetivos conflitantes (ex: segurança vs. utilidade).
• Utilidade Prática: Ao recuperar políticas Pareto-ótimas offline, o MOPO permite a implantação de modelos que são robustos e adaptáveis a diversas necessidades de usuários sem exigir vetores de preferência explícitos ou retreinamento para cada nova configuração de peso.
• Direções Futuras: Os autores observam modestamente que, embora os resultados empíricos sejam fortes, uma análise teórica rigorosa da convergência do MOPO e de suas garantias de otimalidade permanece como uma importante direção futura.

O trabalho sugere que, para modelos generativos complexos, tratar o alinhamento como um problema de otimização multiobjetivo constrangido é superior a tratá-lo como uma otimização de objetivo único com recompensas ponderadas.