Users as Annotators: LLM Preference Learning from Comparison Mode

Resumo Técnico: Usuários como Anotadores: Aprendizado de Preferência de LLM a partir do Modo de Comparação

Declaração do Problema
O alinhamento de Modelos de Linguagem de Grande Escala (LLMs) com preferências humanas geralmente depende de dados de preferência em pares, onde anotadores selecionam a melhor resposta entre duas saídas do modelo. Tradicionalmente, esses dados são coletados por meio de anotadores humanos profissionais, um processo que é custoso e limitado em escala. Embora os usuários finais de plataformas de LLM (por exemplo, por meio de modos de comparação no ChatGPT) ofereçam uma fonte vasta e escalável de dados de preferência, essa abordagem sofre de uma falta crítica de controle de qualidade. Diferentemente dos anotadores profissionais, os usuários não são incentivados a fornecer julgamentos consistentes e podem rotular dados aleatoriamente. Técnicas existentes de controle de qualidade, como "questões de ouro" ou verificações de autoconsistência, são impraticáveis nesse cenário, pois as plataformas não podem controlar as consultas dos usuários nem forçar anotações repetidas. O desafio central é distinguir feedback de usuários atentos e de alta qualidade de entradas casuais e ruidosas, sem acesso a rótulos de verdade fundamental ou supervisão especializada.

Metodologia
O artigo propõe um framework para avaliar a qualidade da anotação do usuário e filtrar dados para tarefas de alinhamento subsequentes (especificamente, Otimização Direta de Preferência, ou DPO). A metodologia baseia-se em três componentes principais:

1. Geração Assimétrica de Respostas: Diferentemente dos pipelines de preferência padrão, onde duas respostas são geradas a partir do mesmo modelo, este framework gera duas respostas ($y_{i1}, y_{i2}$) a partir de dois LLMs diferentes ($P_A$ e $P_B$) com uma lacuna de desempenho conhecida. Essa assimetria cria uma alavanca estatística: espera-se que um usuário atento prefira o modelo mais forte com mais frequência, enquanto um usuário casual escolhe aleatoriamente.
2. Modelo Comportamental do Usuário: Os autores modelam o comportamento de anotação do usuário $j$ usando um parâmetro latente de "atenção" $\eta_j \in [0, 1]$.
   • Se $\eta_j = 1$, o usuário atua como um anotador perfeito, selecionando a resposta preferida pela população com probabilidade $p(x_i)$.
   • Se $\eta_j = 0$, o usuário seleciona aleatoriamente (50/50).
   • A probabilidade do usuário $j$ selecionar a resposta 1 é modelada como $P(z_{ij}=1|x_i) = 1/2 + \eta_j \cdot (p(x_i) - 1/2)$.
   • Aqui, $p(x_i)$ representa a probabilidade real de preferência da população (a probabilidade de que o Modelo A seja melhor que o Modelo B).
3. Algoritmo de Maximização de Expectativa (EM): Como $\eta_j$ não é observável, os autores desenvolvem um algoritmo EM para estimar os parâmetros do modelo de comportamento do usuário (incluindo a distribuição de $\eta_j$ e a probabilidade global de preferência $\mu$).
   • Passo E: Calcula a distribuição posterior da atenção de cada usuário $\eta_j$ dada sua história de anotação e as estimativas atuais dos parâmetros.
   • Passo M: Atualiza os parâmetros do modelo para maximizar a verossimilhança logarítmica esperada dos dados completos.
   • O algoritmo assume uma probabilidade global de preferência $\mu$ conhecida ou estimável (a taxa média de vitórias do Modelo A sobre o Modelo B) para garantir a identificabilidade, embora o artigo discuta extensões para $\mu$ desconhecido.
   • Uma vez inferido $\eta_j$, os usuários são filtrados com base em um limiar (por exemplo, retendo apenas aqueles com alta probabilidade posterior de serem atentos).

Contribuições Principais

• Framework de Anotação Inovador: O artigo introduz o primeiro modelo probabilístico especificamente projetado para capturar o comportamento do usuário em modos de comparação de LLM, aproveitando a assimetria da geração de respostas de dois modelos diferentes para inferir a qualidade dos dados.
• Inferência Estatística via EM: Desenvolve um algoritmo EM para estimar a atenção latente do usuário e a distribuição de preferência subjacente. Os autores fornecem garantias teóricas, mostrando que, sob condições de regularidade específicas, o algoritmo converge para os parâmetros verdadeiros à medida que o número de usuários e amostras aumenta.
• Filtragem de Dados para Alinhamento: O framework demonstra um pipeline prático onde a atenção inferida é usada para filtrar anotações de baixa qualidade antes do treinamento. Isso permite a utilização de dados massivos e não verificados de usuários, mitigando o ruído.

Resultados Experimentais
Os autores validam sua abordagem por meio de experimentos sintéticos e tarefas de DPO subsequentes:

• Convergência Sintética: Simulações confirmam que o algoritmo EM converge para os parâmetros verdadeiros independentemente da inicialização. O algoritmo também demonstra robustez à má especificação do modelo (por exemplo, estimar uma distribuição discreta quando a distribuição verdadeira é contínua).
• Desempenho do DPO: Em experimentos usando conjuntos de dados como UltraFeedback e HelpSteer3, os autores ajustaram finamente LLMs (por exemplo, Qwen2.5-7B) usando dados filtrados.
  • Filtrar para usuários atentos (retendo o top 80% pela atenção inferida) consistentemente melhorou o desempenho do DPO em comparação com o treinamento em dados não filtrados.
  • As melhorias incluíram pontuações de recompensa médias mais altas (aumento superior a 10% em alguns casos) e taxas de vitória mais altas contra modelos de base.
  • Os experimentos também destacaram uma compensação: embora a filtragem melhore a qualidade, a filtragem excessiva reduz o volume de dados. Existe um limiar ótimo dependendo da distribuição subjacente da atenção do usuário.
  • A lacuna de desempenho entre os dois modelos de geração (representada por $\mu$) foi encontrada como crítica; se $\mu$ estiver muito próximo de 0,5, usuários atentos e casuais tornam-se indistinguíveis, dificultando o processo de filtragem.

Significado e Alegações
O artigo alega oferecer uma solução escalável para o alinhamento de LLMs transformando usuários finais em anotadores eficazes. Ao formalizar o comportamento do usuário e introduzir um mecanismo estatístico para filtrar ruído, o trabalho permite o uso de vastas quantidades de dados de preferência gerados por usuários que anteriormente eram considerados muito ruidosos para treinamento. Os autores posicionam isso como uma abordagem complementar aos métodos de treinamento robustos existentes (como DPO robusto), focando na qualidade dos dados antes do treinamento, em vez de apenas na tolerância ao ruído durante o treinamento. O trabalho também abre caminho para futuros mecanismos de incentivo ao usuário, como recompensar usuários com base em seus níveis de atenção inferidos. A contribuição teórica reside nas garantias de convergência global do algoritmo EM proposto para este modelo comportamental específico, fornecendo uma base matemática sólida para a abordagem.