Resumo Técnico: Personalização de LLMs com Feedback Binário (C-BPO)

1. Declaração do Problema

A personalização de Modelos de Linguagem de Grande Escala (LLM) visa alinhar os comportamentos do modelo às preferências individuais dos usuários. Embora os métodos existentes utilizem prompts baseados em recuperação ou ajuste fino eficiente em parâmetros (PEFT) em históricos de usuários isolados, eles frequentemente negligenciam o papel crítico das diferenças interusuário. Insights recentes das ciências comportamentais sugerem que a individualidade é definida pela forma como um usuário se desvia da população geral.

Os atuais frameworks de otimização de preferências, como a Otimização Direta de Preferências (DPO), exigem pares contrastivos (completamentos preferidos vs. não preferidos para a mesma entrada), que não estão disponíveis em dados históricos brutos e não pareados de usuários. Embora avanços recentes permitam o alinhamento via feedback binário (por exemplo, "polegar para cima" ou "polegar para baixo" em pontos de dados individuais), aplicar esses métodos diretamente à personalização introduz uma falha fundamental: sobreposição de preferências.

Em um contexto personalizado, tratar dados de outros usuários puramente como sinais "negativos" (polegar para baixo) é problemático. Esses conjuntos de dados auxiliares inevitavelmente compartilham conhecimento genérico específico da tarefa e preferências estilísticas de toda a comunidade com o usuário-alvo. Penalizar ingenuamente esses dados força o modelo a suprimir erroneamente recursos compartilhados e úteis, degradando assim o desempenho geral enquanto tenta capturar nuances individuais.

2. Metodologia: Framework C-BPO

Os autores propõem o C-BPO (Otimização de Preferências com Feedback Binário Calibrado por Preferências), um framework que personaliza LLMs aproveitando a variabilidade interusuário como um sinal contrastivo natural, ao mesmo tempo que corrige a sobreposição de preferências.

2.1 Formulação Central

O C-BPO enquadra a personalização como um problema de otimização de feedback binário:

• Sinais Positivos ($D_+$): Dados de interação histórica do usuário-alvo ($H_{tar}$).
• Sinais Negativos Implícitos ($D_-$): Dados de um conjunto de usuários auxiliares ($H_{aux}$).

Diferentemente dos métodos padrão de Otimização de Preferências com Feedback Binário (BPO) (por exemplo, KTO, BCO) que assumem rótulos negativos "limpos", o C-BPO reconhece que $H_{aux}$ é uma mistura de sinais negativos verdadeiros (desgostos específicos do usuário) e sinais positivos (preferências compartilhadas da comunidade).

2.2 Objetivo Calibrado por Preferências via Aprendizado PU

Para abordar o problema da sobreposição de preferências, o C-BPO deriva um objetivo de otimização fundamentado na teoria de Aprendizado Positivo-Não Rotulado (PU). A ideia central é que os dados auxiliares atuam como um conjunto não rotulado contendo uma mistura de distribuições positivas e negativas.

Os autores reformulam a estimativa de risco para recuperar o risco negativo verdadeiro, subtraindo o "viés positivo" (o risco esperado das preferências do alvo encontrado dentro dos dados mais amplos dos usuários). A função objetivo final ($L_{C-BPO}$) é definida como:

$$L_{C-BPO} = L_{pos} + \frac{1}{1-\alpha} \max \{0, L_{pure\_neg}\}$$

Onde:

• $L_{pos}$: A perda nos dados do usuário-alvo (Alinhamento Positivo).
• $L_{pure\_neg}$: A Perda Negativa Purificada, calculada como $E_{H_{aux}}[l(g, -1)] - \alpha E_{H_{tar}}[l(g, -1)]$.
• $\alpha$: Um coeficiente de correção ($0 < \alpha < 1$) que representa o grau de sobreposição de características de preferência entre o usuário-alvo e os usuários auxiliares. Ele quantifica a proporção dos dados auxiliares que funcionalmente servem como um sinal positivo.

Essa formulação "purifica" explicitamente os sinais negativos, garantindo que o modelo foque em idiossincrasias individuais únicas, em vez de suprimir a utilidade geral.

2.3 Tratamento do Desequilíbrio de Dados

Em cenários personalizados, o volume de dados auxiliares frequentemente excede vastamente os dados do usuário-alvo. Os métodos BPO padrão estimam um ponto de referência ($\delta$) calculando a média das recompensas em um lote, o que pode desviar se o lote estiver desequilibrado. O C-BPO introduz uma estimativa de ponto de referência independente por Média Móvel Exponencial (EMA). Ele mantém estatísticas EMA separadas para recompensas positivas e auxiliares, calculando $\delta_{EMA}$ como sua média. Isso garante uma fronteira de decisão estável, invariante ao desequilíbrio de dados no nível do lote.

3. Contribuições Principais

1. Enquadramento Inovador: O artigo é o primeiro a enquadrar a personalização de LLMs como um problema de otimização de preferências com feedback binário, utilizando a variabilidade interusuário como um sinal contrastivo natural para alinhamento em nível individual sem exigir dados pareados.
2. Inovação Teórica: Os autores identificam o problema da "sobreposição de preferências" no BPO padrão para personalização e formulam um objetivo calibrado por preferências baseado na teoria de aprendizado PU para alcançar um alinhamento de preferências imparcial.
3. Validação Empírica: Extensos experimentos em cinco tarefas de geração personalizada (Manchete de Notícias, Título Acadêmico, Resumo, Resenha e Escrita de Tópicos) e vários LLMs base (LLaMA, Qwen, Mistral) demonstram que o C-BPO supera consistentemente bases fortes, incluindo adaptadores baseados em SFT e métodos existentes de feedback binário.

4. Resultados Experimentais

Os autores avaliaram o C-BPO nos benchmarks LaMP e LongLaMP utilizando as bases Mistral-7B, LLaMA-3 e Qwen2.5.

• Desempenho: O C-BPO alcançou consistentemente as melhores pontuações ROUGE-1 e ROUGE-L em todas as tarefas. Por exemplo, na tarefa de Manchete de Notícias, o C-BPO alcançou um ROUGE-L de 0,198, superando a melhor base (CoPE, um método baseado em DPO) em 0,184 e os métodos BPO padrão (BCO em 0,179).
• Comparação com Bases:
  • Métodos padrão de feedback binário (KTO, BCO) frequentemente tiveram desempenho inferior às bases baseadas em SFT (OPPU) quando aplicados ingenuamente à personalização, confirmando o efeito deletério da sobreposição de preferências não corrigida.
  • O C-BPO superou métodos baseados em DPO (CoPE), que exigem amostragem de rejeição complexa para construir pares negativos.
• Estudos de Ablação:
  • Volume de Dados Auxiliares: O aumento do volume de dados auxiliares não garante ganhos monotônicos; uma quantidade suficiente de dados do usuário-alvo é necessária para ancorar o processo de debiasing.
  • Unicidade do Usuário: O C-BPO mostrou as melhorias mais significativas em grupos de usuários "Únicos" (alta distância interusuário), enquanto os métodos BPO padrão não obtiveram ganhos em grupos "Não Únicos" (alta sobreposição).
  • Ponto de Referência: A estratégia independente de EMA foi crucial para a estabilidade, prevenindo quedas de desempenho quando as proporções de dados estavam desequilibradas.

5. Significado e Alegações

O artigo alega que o C-BPO oferece uma solução robusta, teoricamente fundamentada e escalável para alinhar LLMs com preferências individuais sutis. Seu significado reside em:

• Eficiência: Elimina a necessidade de construir pares contrastivos caros (como no DPO) ou depender de LLMs de alto recurso para comparações textuais.
• Utilização de Dados: Aproveita efetivamente dados históricos brutos e não pareados tanto do usuário-alvo quanto dos usuários auxiliares, transformando o "ruído" das preferências compartilhadas em um sinal calibrado.
• Generalização: O framework é agnóstico ao modelo e eficaz em diferentes arquiteturas base e tipos de tarefa.

Os autores reconhecem limitações, incluindo a sensibilidade ao coeficiente de calibração $\alpha$ (embora um método de estimativa seja fornecido) e a exigência de acesso a um conjunto de dados auxiliar centralizado, o que apresenta desafios de privacidade em configurações federadas ou em dispositivos. No entanto, o trabalho estabelece um novo paradigma para personalização que vai além da modelagem de histórico isolado para uma comparação explícita e calibrada por preferências entre usuários.