Resumo Técnico: Alinhamento de LLM usando Feedback Implícito de Usuários

Declaração do Problema

Os métodos atuais para alinhar Grandes Modelos de Linguagem (LLMs) com as preferências humanas dependem fortemente de feedback explícito (ex: avaliações de polegar para cima/baixo). Esta abordagem enfrenta duas limitações críticas:

1. Escassez e Custo: Apenas 1–3% dos usuários fornecem feedback explícito, tornando a anotação de preferências de alta qualidade cara e difícil de escalar.
2. Subutilização de Sinais Implícitos: Embora o feedback implícito (ex: taxas de cliques) tenha sido vital para mecanismos de busca e sistemas de recomendação, ele permanece subexplorado para LLMs. Os sistemas existentes muitas vezes carecem dos sinais de "clique" encontrados em outros domínios, e não está claro como interpretar as interações do usuário (como o comportamento de leitura) como sinais de treinamento confiáveis.

O artigo postula que as interações naturais dos usuários com as respostas dos LLMs — especificamente movimentos do mouse e padrões de movimento ocular — contêm sinais ricos e escaláveis de preferência que são atualmente ignorados.

Metodologia

1. Coleta de Dados: O Conjunto de Dados IFLLM

Os autores construíram o IFLLM (Implicit Feedback for Large Language Models), o primeiro conjunto de dados que captura trajetórias de mouse e de olhar junto com preferências explícitas em um cenário de conversação realista de múltiplos turnos.

• Participantes: 59 trabalhadores únicos do Amazon Mechanical Turk (MTurk).
• Tarefa: Os usuários participaram de sessões de perguntas e respostas de múltiplos turnos sobre 1.336 tópicos (derivados da Wikipedia). Eles interagiram com quatro LLMs (DeepSeek V3, GPT-4o Mini, Claude Sonnet 4.5, Llama 3.3 70B).
• Configurações:
  • Pareada (Pairwise): Comparando duas respostas lado a lado.
  • Ponto a ponto (Pointwise): Pontuando uma única resposta em uma escala Likert de 5 pontos.
• Instrumentação: Uma plataforma de crowdsourcing baseada na web customizada usando WebGazer.js para rastrear o olhar via webcams padrão (eliminando a necessidade de equipamentos especializados de laboratório) e registrando coordenadas do mouse a 10Hz (a cada 0,1s).
• Calibração: Os usuários passaram por um processo de calibração para garantir a precisão do rastreamento do olhar (limiar de 70%) antes da coleta de dados.

2. Análise do Comportamento do Usuário

Os autores analisaram as trajetórias coletadas para entender os padrões de leitura:

• Dependência do Comprimento da Resposta: Para respostas curtas, as trajetórias de mouse e olhar são fracamente correlacionadas. Para respostas médias e longas, elas se tornam fortemente correlacionadas porque os usuários precisam rolar a tela, forçando o movimento do mouse a acompanhar o progresso da leitura.
• Distribuição de Atenção: Os usuários tendem a focar mais no início das respostas, mas a atenção muda com base no layout (ex: colunas esquerda vs. direita em configurações pareadas).
• Variabilidade Individual: Os comportamentos de leitura são altamente diversos, variando de leitura linear a revisões extensas de ida e volta.

3. Treinamento do Modelo de Recompensa

Os autores treinaram um modelo de recompensa Random Forest (RF) para prever as preferências do usuário usando características extraídas do feedback implícito.

• Extração de Características: As características incluíram propriedades de texto (comprimento da consulta/resposta) e métricas de trajetória (tempo de leitura, índice máximo de caractere visualizado, tempo de revisão e a razão entre movimento ocular e de mouse).
• Seleção de Características: O modelo identificou que as características de feedback implícito (especialmente o movimento do mouse) eram mais preditivas do que as características baseadas apenas em texto ou mesmo a identidade do LLM gerador.
• Comparação: O modelo de feedback implícito foi comparado contra modelos padrão baseados apenas em texto (ModernBERT) e juízes de LLM zero-shot.

4. Alinhamento de LLM (DPO)

Os modelos de recompensa treinados foram usados para alinhar oito LLMs base diferentes (variando de 1B a 4B de parâmetros) usando Direct Preference Optimization (DPO) e rDPO (DPO regularizado com Negative Log Likelihood).

• Processo: Os modelos foram primeiro ajustados via Supervised Fine-Tuning (SFT) nas respostas, depois otimizados usando as preferências previstas pelos modelos de recompensa.
• Avaliação: A qualidade dos LLMs alinhados foi avaliada pelo GPT-4.1-mini e validada via um experimento humano de pequena escala onde trabalhadores verificaram afirmações factuais.

Principais Resultados

1. Precisão de Predição de Preferência

• Baseline: Um modelo de recompensa padrão baseado em texto (ModernBERT) alcançou uma precisão de aproximadamente 55%.
• Feedback Implícito: A incorporação de feedback implícito (mouse e olhar) via o modelo Random Forest elevou a precisão para 64%.
• Importância do Sinal: A remoção dos dados do mouse causou uma queda significativa no desempenho, enquanto a remoção dos dados do olhar teve um impacto menor. Isso sugere que o movimento do mouse é um sinal mais forte, particularmente para respostas longas, onde a rolagem é necessária.

2. Melhorias no Alinhamento de LLM

• Qualidade da Resposta: A aplicação de DPO com o modelo de recompensa de feedback implícito melhorou significativamente a qualidade da resposta em comparação ao SFT sozinho.
• Taxas de Vitória (Win Rates): A taxa de vitória "DPO vs. SFT" aumentou de 0,12 (usando recompensas apenas de texto) para 0,35 (usando recompensas de feedback implícito).
• Eficiência: A abordagem de feedback implícito produziu respostas de maior qualidade com comprimentos médios significativamente menores (202,5 tokens vs. 228,6 tokens para SFT), sugerindo melhor concisão e relevância.
• Agnosticismo de Modelo: As melhorias foram consistentes em vários modelos base, incluindo as séries recentes da Qwen.

Significância e Contribuições

O artigo reivindica três contribuições principais:

1. Conjunto de Dados IFLLM: A criação e o lançamento do primeiro conjunto de dados que pareia trajetórias de olhar via webcam e de mouse com preferências explícitas em um contexto de conversação de múltiplos turnos. Os autores também liberam o código-fonte do site de coleta de dados para facilitar pesquisas futuras.
2. Análise Sistemática: A primeira análise aprofundada de diversos comportamentos de leitura (olhar e mouse) e uma avaliação comparativa de sua eficácia para treinar modelos de recompensa. O estudo revela que as trajetórias do mouse são um sinal crítico, anteriormente subutilizado, para conteúdo de formato longo.
3. Alinhamento Escalável: Demonstração de que o feedback implícito pode melhorar substancialmente a precisão do modelo de recompensa e, consequentemente, a qualidade dos LLMs alinhados. Os autores argumentam que isso estabelece as bases para um alinhamento personalizado escalável, criando potencialmente um "flywheel de dados autorreforçável", onde as interações normais dos usuários melhoram continuamente o desempenho do sistema sem exigir rotulagem explícita cara.

Os autores mantêm um tom modesto em relação às limitações, observando que seu modelo de recompensa exige que os usuários visualizem as respostas para coletar dados (um pré-requisito para RLHF de qualquer maneira) e que simplificaram contextos de múltiplos turnos para sessões de turno único neste estudo. Eles também reconhecem considerações éticas relativas à privacidade e ao potencial de redução da diversidade nas escolhas de LLM se os flywheels de dados se tornarem dominantes.