Resumo Técnico: Treinamento de LLMs com Aprendizado por Reforço para Resposta a Perguntas Personalizada e Consciente de Intenção

Definição do Problema

A Resposta a Perguntas Personalizada (PQA) visa gerar respostas adaptadas ao usuário, uma tarefa que exige alinhar as respostas à intenção subjacente do usuário — o "porquê" implícito por trás de uma consulta, além de sua formulação explícita. Embora abordagens existentes utilizem contexto conversacional de múltiplas interações ou perfis de usuário ricos, elas frequentemente falham em modelar explicitamente a intenção do usuário durante o processo de raciocínio. Essa limitação é particularmente aguda em cenários de única interação, onde o modelo deve inferir um objetivo latente a partir de uma entrada mínima e integrá-lo ao processo de pensamento. Os métodos atuais geralmente dependem de prompts para inferir a intenção no momento da inferência, sem incorporá-la ao objetivo de treinamento ou à trajetória de raciocínio do modelo, e frequentemente negligenciam o papel das respostas livres de intenção, levando a saídas genéricas que podem ser coerentes, mas desalinhadas com as necessidades específicas do usuário.

Metodologia: Framework IAP

Os autores propõem o IAP (Personalização Consciente de Intenção), um framework de Aprendizado por Reforço (RL) projetado para treinar Modelos de Linguagem de Grande Escala (LLMs) a inferir intenções de usuário implícitas a partir de perguntas de única interação e incorporá-las ao processo de raciocínio antes de gerar as respostas.

1. Esquema de Raciocínio Estruturado

O IAP utiliza um esquema baseado em tags para estruturar o processo de geração, tornando os objetivos latentes explícitos antes da produção da resposta final. Para uma pergunta de entrada dada $x_i$, o modelo gera uma saída estruturada contendo:

• <thought>: Raciocínio interno sobre a pergunta.
• <intent>: Uma lista numerada de intenções latentes candidatas (por exemplo, buscar suporte emocional versus orientação prática).
• <thought>: Uma segunda fase de raciocínio condicionando explicitamente às intenções inferidas para planejar a resposta.
• <answer>: A resposta personalizada final.

2. Otimização via DAPO

O framework emprega Otimização de Política de Amostragem Dinâmica e Clip Desacoplado (DAPO). Para cada instância de treinamento, a política amostra um grupo de $G$ trajetórias (trajetórias de intenção latente). A política é otimizada usando uma função de recompensa personalizada que avalia a qualidade da trajetória da resposta.

3. Função de Recompensa Personalizada

A inovação central reside no design da recompensa, que consiste em três componentes ponderados:

• Recompensa Personalizada ($r_{pers}$): Baseada na métrica de avaliação LaMP-QA, esta pontua a resposta gerada contra aspectos de rubrica específicos do usuário (por exemplo, abordar necessidades e objetivos subjacentes) usando um juiz LLM congelado (Qwen2.5-32B-Instruct).
• Recompensa Contrastiva Livre de Intenção ($r_{contrast}$): Para desencorajar a geração genérica, o framework gera uma resposta livre de intenção ($\bar{y}_i$) usando um modelo de referência congelado. A recompensa penaliza a política se sua resposta consciente de intenção for semanticamente semelhante à resposta livre de intenção (via BERTScore) ou falhar em superar a qualidade de personalização desta última. Isso força o modelo a distinguir sua saída de uma base não contextualizada.
• Regularização de Comprimento de Intenção ($r_{length}$): Um termo de penalidade desencoraja descrições de intenção verbosas, incentivando representações concisas dentro da tag <intent>.

A recompensa total é calculada como:
$$r_{i,g} = \lambda_1 r_{pers} - \lambda_2 r_{contrast} - \lambda_3 r_{length}$$

Principais Contribuições

1. Framework IAP: Introdução de um framework baseado em RL que treina LLMs para inferir intenções de usuário implícitas a partir de entradas de única interação e integrá-las ao processo de raciocínio por meio de um esquema baseado em tags, em vez de depender exclusivamente de prompts no momento da inferência.
2. Mecanismo de Recompensa Contrastiva: Desenvolvimento de uma função de recompensa que contrasta explicitamente respostas conscientes de intenção com bases livres de intenção durante o treinamento. Este design desencoraja a geração genérica e impulsiona o modelo em direção a saídas sensíveis à intenção do usuário.
3. Avaliação Abrangente: Avaliação extensa em seis LLMs (Qwen2.5, Gemma3, Mistral-Small) no benchmark LaMP-QA, demonstrando melhorias consistentes sobre bases fortes.

Resultados Experimentais

Os autores avaliaram o IAP no conjunto de dados LaMP-QA, cobrindo três domínios: Arte e Entretenimento, Estilo de Vida e Desenvolvimento Pessoal, e Sociedade e Cultura.

• Ganhos de Desempenho: O IAP superou consistentemente todas as bases, incluindo Não Personalizado, Personalização de Intenção Implícita (prompting CoT), Personalização de Intenção Explícita e Ajuste Fino Supervisionado (SFT).
• Melhoria Quantitativa: Em todos os seis modelos, o IAP alcançou um ganho médio de pontuação macro de aproximadamente 7,5% sobre o competidor mais forte.
• Significância Estatística: As melhorias foram estatisticamente significativas ($p < 0,01$) em quase todos os modelos e domínios.
• Estudos de Ablação:
  • Qualidade da Intenção: Substituir a <intent> inferida por nenhuma intenção ou intenções aleatórias causou quedas substanciais de desempenho, confirmando que a qualidade do sinal de intenção inferido é crítica.
  • Recompensa Contrastiva: A remoção da recompensa contrastiva livre de intenção levou a uma degradação consistente de desempenho, validando a necessidade de penalizar respostas genéricas.
  • Contagem de Intenções: O desempenho foi mais alto quando o número de intenções inferidas era baixo (1–2), sugerindo que a geração excessiva de intenções pode complicar a qualidade da resposta.
  • Tamanho do Grupo: Um tamanho de grupo de 5 trajetórias por instância produziu o equilíbrio ideal para a otimização da política.

Significado e Alegações

O artigo alega que modelar a intenção implícita do usuário diretamente dentro do objetivo de treinamento é uma direção promissora para PQA. Os resultados sugerem que:

• Integrar a intenção ao processo de pensamento do modelo (por meio do esquema baseado em tags) é mais eficaz do que tratar a intenção como um sinal externo ou prompt.
• O aprendizado contrastivo contra bases livres de intenção é essencial para treinar modelos a produzir respostas genuinamente personalizadas, em vez de apenas contextualmente coerentes.
• O framework é eficaz mesmo em cenários de única interação, onde não há histórico conversacional rico, preenchendo a lacuna entre modelagem de intenção e QA personalizada prática e de tiro único.

Os autores concluem que o IAP treina com sucesso LLMs para modelar explicitamente o "porquê" implícito do usuário, resultando em respostas que se alinham melhor com os objetivos subjacentes do usuário.