Learning from Natural Language Feedback for Personalized Question Answering

Resumo Técnico: Aprendizado a partir de Feedback em Linguagem Natural para Resposta a Perguntas Personalizada (VAC)

1. O Problema

A personalização é essencial para aumentar a satisfação do usuário em sistemas de busca e geração de texto. Atualmente, a personalização de Grandes Modelos de Linguagem (LLMs) baseia-se frequentemente em Geração Aumentada de Recuperação (RAG), onde o contexto do usuário é recuperado e inserido no prompt.

Para otimizar esse processo, métodos tradicionais utilizam Aprendizado por Reforço (RL) com recompensas escalares (um número único que indica se a resposta foi boa ou ruim). Os autores identificam três limitações críticas nesse modelo:

• Sinal de supervisão fraco: Recompensas escalares dizem se uma resposta é ruim, mas não explicam como melhorá-la (falta de feedback acionável).
• Ineficiência de aprendizado: O modelo precisa de uma exploração exaustiva para inferir ajustes, o que torna o treinamento lento e custoso.
• Subotimalidade: O treinamento supervisionado em uma única resposta "correta" (ground-truth) é limitado, pois ignora a diversidade de respostas aceitáveis para um mesmo usuário.

2. Metodologia (O Framework VAC)

Os autores propõem o VAC (Verbal-Alignment for Customization), um framework que substitui as recompensas escalares por Feedback em Linguagem Natural (NLF). O NLF é gerado condicionado ao perfil do usuário e à narrativa da pergunta, servindo como um sinal de supervisão rico e interpretável.

O método utiliza um processo de otimização iterativa entre dois modelos:

1. Modelo de Feedback ($\phi_\omega$): Aprende a gerar críticas construtivas e acionáveis. Ele é treinado para produzir feedbacks que, quando aplicados à resposta inicial, maximizam uma métrica de avaliação de personalização.
2. Modelo de Política ($\pi_\theta$): É o modelo que gera a resposta final. Durante o treinamento, ele recebe a resposta inicial e o feedback do modelo de feedback para gerar uma "resposta refinada".

O Ciclo de Treinamento:

• Passo A (Otimização do Feedback): O modelo de feedback gera vários candidatos de feedback. O que resultar na melhor melhoria da resposta (medida por métricas de aspectos personalizados) é selecionado para treinar o modelo de feedback via Supervised Fine-Tuning (SFT).
• Passo B (Otimização da Política): O modelo de política gera uma resposta, recebe o feedback otimizado e cria uma versão melhorada. O modelo de política é então treinado via SFT para aprender a gerar essa resposta melhorada diretamente, sem precisar do feedback no momento da inferência.

3. Principais Contribuições

• Novo Paradigma de Supervisão: Introdução do uso de NLF para personalização, movendo o campo de recompensas numéricas para supervisão semântica.
• Treinamento de Co-adaptação: Um loop iterativo onde o modelo de feedback aprende a guiar o modelo de política, e o modelo de política aprende a internalizar as estratégias de personalização sugeridas.
• Eficiência na Inferência: Diferente de outros métodos que usam feedback em tempo real (o que aumenta a latência), o VAC treina o modelo para ser personalizado "de fábrica", eliminando a necessidade de feedback durante o uso pelo usuário final.

4. Resultados

Os experimentos foram realizados no benchmark LaMP-QA em três domínios distintos. Os resultados demonstram:

• Desempenho Superior: O VAC superou todos os baselines, com uma melhoria relativa de 13,6% sobre a base não personalizada e 6,0% sobre o aprendizado por reforço com recompensas escalares.
• Eficiência de Tempo: O VAC foi 1,9x mais rápido na inferência do que o método PlanPers (que exige geração em dois estágios).
• Avaliação Humana: Em testes cegos, os humanos preferiram as respostas do VAC em 44% dos casos, enquanto o melhor baseline foi preferido em apenas 23%.
• Análise de Ablação: O estudo mostrou que modelos de feedback maiores (ex: 7B vs 1.5B) geram feedbacks mais informativos, e que o treinamento conjunto (feedback + política) é crucial para o sucesso do método.

5. Significância

Este trabalho demonstra que a linguagem natural é um sinal de supervisão muito mais poderoso do que números para tarefas subjetivas como a personalização. Ao transformar o feedback em um guia estruturado, o VAC permite que os LLMs aprendam nuances de preferência do usuário (como tom, detalhes específicos e contexto histórico) de forma mais profunda e eficiente, pavimentando o caminho para assistentes de IA verdadeiramente adaptáveis e centrados no ser humano.