Meet Dynamic Individual Preferences: Resolving Conflicting Human Value with Paired Fine-Tuning

Título: Atendendo a Preferências Individuais Dinâmicas: Resolvendo Conflitos de Valores Humanos com Ajuste Fino em Pares

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) avançaram significativamente na alinhamento com preferências humanas gerais (útil, inofensivo, honesto). No entanto, há uma lacuna crítica na adaptação a preferências individuais, que apresentam duas características principais:

1. Diversidade e Heterogeneidade: Diferentes usuários possuem valores e tendências comportamentais distintos.
2. Dinamismo e Conflito: As preferências de um único usuário não são estáticas; elas mudam dependendo do contexto, humor ou tarefa. Mais importante, um mesmo indivíduo pode ter preferências contraditórias (ex.: ser arriscado em investimentos, mas avesso ao risco em saúde).

Limitações das abordagens atuais:

• Alinhamento Universal: Modelos otimizados para consenso populacional falham em capturar nuances individuais.
• Métodos Adaptativos Atuais: Abordagens que lidam com preferências individuais frequentemente exigem modelos separados para cada preferência (alto custo de treinamento e implantação) ou dependem de dados explícitos que raramente existem na prática (os dados são geralmente implícitos, como histórico de navegação).
• Incapacidade de Lidar com Conflitos: Métodos existentes (como SFT ou DPO padrão) tendem a colapsar preferências ou falhar ao tentar aprender múltiplas direções opostas simultaneamente em um único modelo.

2. Metodologia: Preference-Paired Fine-Tuning (PFT)

Os autores propõem um novo paradigma de treinamento chamado Ajuste Fino em Pares de Preferência (PFT).

Conceito Central

Em vez de treinar o modelo apenas em exemplos positivos (ou apenas negativos) de uma preferência, o PFT utiliza pares de dados contraditórios para o mesmo cenário.

• Estrutura dos Dados: Para um cenário $x$, o modelo recebe duas respostas: $y^+$ (alinhada à preferência $p^+$) e $y^-$ (alinhada à preferência oposta $p^-$).
• Função de Perda: O modelo é otimizado simultaneamente para ambas as direções usando uma função de perda pareada:
  $$L_{PFT}(\theta) = \mathbb{E} [\lambda^+ \ell(\theta; x, p^+, y^+) + \lambda^- \ell(\theta; x, p^-, y^-)]$$
  Onde $\ell$ é a perda de entropia cruzada e $\lambda$ são pesos que equilibram a importância de cada preferência.

Fundamentação Teórica (Variedade de Preferências)

Os autores modelam as preferências do usuário como um manifold de baixa dimensão dentro de um espaço de preferências de alta dimensão.

• Hipótese: O treinamento em pares contraditórios $(p^+, p^-)$ cobre bidirecionalmente o segmento entre as preferências, reduzindo o "raio de cobertura" ($\epsilon$) necessário para generalizar.
• Resultado Teórico: Isso reduz a sensibilidade da perda em relação às preferências (constante de Lipschitz), permitindo que o modelo generalize melhor para preferências mistas ou não vistas, mesmo com dados limitados.

Adaptação Rápida (Rapid Customization)

O framework permite que o modelo infira um vetor de preferência a partir de um pequeno histórico de dados do usuário (ex: 3 exemplos) usando In-Context Learning (ICL). Esse vetor é então usado para orientar a geração do modelo para o estilo específico do usuário sem necessidade de re-treinamento pesado.

3. Contribuições Chave

1. Novo Dataset (VCD - Value Conflict Dilemma):

   • Um conjunto de dados criado especificamente para avaliar cenários com conflitos de valores.
   • Contém 4.652 exemplos cobrindo quatro dimensões de conflito: Risco vs. Avesso ao Risco, Competitivo vs. Colaborativo, Gratificação Imediata vs. Adiada, e Intuitivo vs. Analítico.
   • Suporta tarefas de múltipla escolha e geração aberta.

2. Novo Paradigma de Treinamento (PFT):

   • Permite que um único modelo aprenda e mantenha múltiplos modos comportamentais, inclusive contraditórios, com eficiência computacional similar ao SFT (Supervised Fine-Tuning).
   • Não requer recompensas explícitas ou modelos de recompensa complexos.

3. Eficiência de Dados:

   • Demonstra que o modelo pode alinhar-se a preferências específicas do usuário com poucos exemplos (few-shot), superando modelos treinados em preferência única.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos base (Qwen2.5-3B/7B, Llama-3.1-8B) nos datasets VCD e BQD (Behavioral Question Datasets).

• Desempenho em Classificação (Múltipla Escolha):

  • O PFT alcançou 96,67% de precisão em tarefas de classificação de múltipla escolha (no modelo Llama-3.1-8B), superando significativamente métodos de preferência única (SFT, DPO) e métodos de controle sem treinamento (CAA).
  • Em cenários de conflito, o PFT manteve alta precisão em ambas as direções ($p^+$ e $p^-$), enquanto métodos de preferência única tendiam a colapsar para uma direção.

• Desempenho em Geração Aberta:

  • O PFT obteve a maior pontuação de avaliação humana em geração aberta (8,69/10), indicando melhor alinhamento com a intenção do usuário em respostas textuais livres.

• Comparação com Baselines:

  • vs. SFT/DPO: O PFT superou o DPO e o SFT de preferência única, especialmente em cenários onde o usuário alterna entre preferências opostas.
  • vs. CAA (Contrastive Activation Addition): Métodos que não atualizam os pesos do modelo (como CAA) mostraram melhorias mínimas, destacando que a atualização de pesos via PFT é crucial para o controle robusto.

• Eficiência de Dados:

  • O PFT manteve desempenho superior mesmo com conjuntos de dados reduzidos (1.000 exemplos), enquanto modelos de preferência única exigiam mais dados para atingir desempenho similar.

5. Significância e Implicações

• Personalização Realista: O trabalho avança o estado da arte em personalização de LLMs, permitindo que modelos únicos atendam a usuários com valores complexos e mutáveis, sem a necessidade de manter múltiplos modelos especializados.
• Resolução de Conflitos: Oferece uma solução técnica para o problema de "colapso de preferência", onde modelos tendem a ignorar uma preferência ao aprender outra. O PFT prova que é possível aprender a navegar em tensões valorativas (ex.: ser arriscado em um contexto e conservador em outro).
• Aplicabilidade Prática: A capacidade de adaptação rápida com poucos dados de histórico do usuário torna a técnica viável para aplicações comerciais de recomendação, assistentes pessoais e agentes autônomos que precisam respeitar a individualidade do usuário.

Conclusão

O artigo "Meet Dynamic Individual Preferences" introduz uma abordagem robusta e teoricamente fundamentada para alinhar LLMs com preferências humanas dinâmicas e contraditórias. Ao combinar um novo dataset focado em dilemas de valor (VCD) com a técnica de Ajuste Fino em Pares (PFT), os autores demonstram que é possível criar modelos versáteis que entendem e respeitam a complexidade da psicologia humana, superando as limitações de métodos de alinhamento universal e de preferência única.