WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback

1. O Problema

O alinhamento de Grandes Modelos de Linguagem (LLMs) com as preferências humanas é um desafio crítico. Os métodos tradicionais dependem de conjuntos de dados anotados manualmente por humanos ou gerados por outros LLMs. Essas abordagens apresentam limitações significativas:

• Custo e Escalabilidade: A anotação humana é intensiva em recursos e difícil de escalar.
• Subjetividade e Viés: As preferências dos anotadores podem não representar a diversidade real dos usuários, e dados sintéticos gerados por LLMs podem criar loops de feedback que amplificam vieses existentes em vez de capturar valores humanos autênticos.
• Desalinhamento: Dados estáticos pré-coletados muitas vezes não refletem as necessidades dinâmicas e evolutivas dos usuários em interações reais.

2. Metodologia: O Framework WILDFEEDBACK

Os autores propõem o WILDFEEDBACK, um novo framework que utiliza feedback de usuários in-situ (durante conversas reais com LLMs) para construir automaticamente conjuntos de dados de preferência. O processo é dividido em três etapas principais:

A. Identificação de Sinais de Feedback

O framework analisa conversas multi-turno (baseadas no dataset WildChat, com mais de 148.000 conversas) para identificar sinais de satisfação ou insatisfação.

• Utiliza-se uma adaptação do framework SPUR para classificar as falas dos usuários em SAT (Satisfação) e DSAT (Insatisfação).
• São definidas rubricas específicas (ex: gratidão, aprendizado, correção de fatos, estilo, revisão) para categorizar o feedback.
• O GPT-4 é utilizado para classificar automaticamente essas falas, com validação humana mostrando concordância substancial (Kappa de Cohen de 0,69 para SAT e 0,50 para DSAT).

B. Construção de Dados de Preferência

Após identificar conversas com sinais de feedback, o framework extrai pares de preferência:

• Prompt: O histórico da conversa até o ponto onde o sinal de feedback ocorre.
• Resposta Não Preferida (Dispreferred): A resposta do modelo que desencadeou o sinal de DSAT (insatisfação).
• Resposta Preferida (Preferred): Gerada por um modelo (GPT-4 ou o próprio modelo de política) guiado por um resumo das preferências do usuário extraído do feedback textual.
• Filtragem de Segurança: São aplicadas instruções de segurança para evitar a aprendizagem de preferências nocivas (ex: conteúdo explícito).
• O resultado é um dataset de 20.281 amostras de pares de preferência derivados de interações reais.

C. Avaliação Guiada por Checklist (Checklist-guided Evaluation)

Para superar os vieses dos benchmarks automáticos tradicionais (que muitas vezes favorecem respostas longas ou geradas pelo próprio avaliador), os autores propõem uma nova métrica de avaliação:

• Em vez de apenas pedir ao avaliador (GPT-4) para ranquear respostas, fornece-se um checklist baseado nas preferências reais extraídas do usuário para aquela tarefa específica.
• Isso alinha a avaliação do modelo com as expectativas reais do usuário, em vez de heurísticas pré-definidas.

3. Principais Contribuições

1. Framework WILDFEEDBACK: Uma abordagem inovadora para criar conjuntos de dados de preferência a partir de interações reais, superando as limitações de subjetividade e viés de dados sintéticos ou anotados manualmente.
2. Construção Robusta de Dados: Adaptação de técnicas de estimativa de satisfação para extrair preferências sutis e implícitas de conversas naturais, criando um dataset rico e matizado.
3. Método de Avaliação: Introdução da avaliação guiada por checklist, que utiliza preferências reais do usuário como critério de avaliação, oferecendo um benchmark mais preciso para o alinhamento de LLMs.

4. Resultados e Análise

Os modelos foram ajustados (fine-tuned) usando o dataset WILDFEEDBACK e comparados com modelos base e modelos ajustados no dataset ULTRAFEEDBACK (um dataset popular baseado em GPT-4).

• Desempenho em Benchmarks: Modelos treinados com WILDFEEDBACK superaram consistentemente os baselines e os modelos treinados com ULTRAFEEDBACK em benchmarks padrão como AlpacaEval 2, Arena-Hard e MT-Bench.
  • Exemplo: O modelo Phi 3 ajustado com a versão GPT-4 do WILDFEEDBACK aumentou sua taxa de vitória controlada por comprimento no AlpacaEval 2 de 24,3% para 34,9%.
• Alinhamento com Preferências Reais: Na avaliação específica do dataset WILDFEEDBACK (usando a avaliação guiada por checklist), os modelos ajustados demonstraram uma alinhação significativamente maior com as preferências dos usuários reais.
  • Quando o checklist de preferências do usuário era fornecido ao avaliador, a taxa de vitória dos modelos treinados com WILDFEEDBACK aumentou drasticamente em comparação aos modelos base ou treinados com ULTRAFEEDBACK.
• Análise de Feedback: A distribuição de categorias de DSAT mostrou que a insatisfação é frequentemente causada por necessidade de revisão (50,4%) e erros factuais (18,5%), enquanto a satisfação está ligada a uma variedade mais ampla de fatores positivos (elogios, gratidão, humor).

5. Significado e Conclusão

O trabalho WildFeedback representa um avanço significativo na direção de LLMs mais centrados no usuário. Ao aprender diretamente com interações do mundo real, o framework aborda os problemas de escalabilidade, subjetividade e viés que afetam as abordagens atuais.

A principal implicação é que o alinhamento de modelos não precisa depender exclusivamente de anotações humanas custosas ou de dados sintéticos potencialmente enviesados. Em vez disso, o feedback natural dos usuários pode ser minerado e estruturado para criar modelos que respondam melhor às necessidades diversificadas e em evolução dos usuários, estabelecendo um novo padrão para a avaliação e o desenvolvimento de sistemas de IA conversacional.

Limitações Notadas:

• Preferências Espúrias: O risco de aprender preferências maliciosas ou nocivas dos usuários (mitigado por instruções de segurança).
• Viés de Seleção: O dataset tende a super-representar o feedback negativo (usuários insatisfeitos são mais propensos a dar feedback do que os satisfeitos), o que pode exigir estratégias futuras para equilibrar a coleta de dados.