Aligning Large Language Models with Searcher Preferences

Este artigo apresenta o SearchLLM, o primeiro modelo de linguagem grande para busca generativa aberta, que utiliza um sistema de recompensa hierárquico e a otimização GRPO para alinhar a síntese de respostas com as preferências dos usuários, garantindo segurança e robustez, com resultados validados por testes online no RedNote que demonstraram melhorias na qualidade de geração e no engajamento.

O essencial

Imagine que você está pedindo uma recomendação de viagem para um amigo que é um turista experiente, mas que às vezes se distrai, lê notícias velhas ou inventa fatos quando está nervoso.

O artigo que você leu apresenta uma solução chamada SearchLLM. Pense nele como um "turista super-esperto" que foi treinado especificamente para responder perguntas de busca na internet, não apenas listando links, mas contando uma história completa e útil.

Aqui está a explicação simples de como eles fizeram isso, usando analogias do dia a dia:

1. O Problema: O "Amigo" que Confunde as Coisas

Antes, os motores de busca funcionavam como um bibliotecário que só entrega livros. Você perguntava algo, e ele te dava uma lista de 10 links. Você tinha que clicar em todos, ler e montar a resposta sozinho. Isso cansa.

Com a Inteligência Artificial (LLM), o motor de busca virou um assistente que escreve a resposta. Mas, no começo, esse assistente tinha problemas:

• Alucinações: Ele inventava fatos (como dizer que um filme saiu em 2025 quando ainda nem foi lançado).
• Informação Velha: Ele usava dados antigos como se fossem novos.
• Respostas Confusas: Ele falava demais, repetia coisas ou não ia direto ao ponto.

2. A Solução: O Sistema de "Duas Camadas" (O Guarda-Costas e o Coach)

Os autores criaram um sistema de recompensas (um sistema de "nota") para treinar esse assistente. Eles dividiram as regras em duas camadas, como se fosse um jogo de vídeo com regras rígidas e objetivos opcionais:

Camada 1: O Guarda-Costas (Regras de "Não Pode Errar")

Imagine que o assistente tem um guarda-costas muito rigoroso. Antes de ele entregar a resposta para você, o guarda-costas verifica três coisas vitais. Se falhar em uma, a resposta é destruída e ele tenta de novo.

• Verdade: Ele não pode inventar nada. Tudo deve ser baseado em fatos reais ou no que ele leu.
• Segurança: Ele não pode dar conselhos perigosos (como em medicina).
• Formato: A resposta tem que estar organizada (com tópicos, negrito, etc.), não um bloco de texto bagunçado.

Camada 2: O Coach de Performance (Regras de "Ser Legal")

Se o guarda-costas aprovou a resposta, aí entra o coach. O coach não quer apenas que a resposta seja "segura", ele quer que ela seja excelente.

• Robustez: O assistente deve saber lidar com perguntas confusas ou informações ruins que ele encontrou na internet.
• Utilidade: A resposta deve ser direta, ir ao ponto e não enrolar.
• Diversidade: Deve trazer diferentes pontos de vista, não apenas repetir a mesma coisa.

3. O Truque Mágico: A "Porta de Entrada" (Gated Aggregation)

Aqui está a parte mais inteligente do papel. Como você treina um modelo para obedecer ao guarda-costas e ao coach ao mesmo tempo, sem que um anule o outro?

Eles usaram uma estratégia chamada Agregação com Portão (Gated Aggregation).

• Imagine que a nota final é uma fórmula matemática.
• Se o Guarda-Costas (Camada 1) der nota zero (porque o modelo inventou um fato), a nota final do coach vira zero, não importa o quão legal seja a resposta.
• Só se o Guarda-Costas der uma nota alta, a nota do Coach entra na conta.

Isso garante que o modelo nunca "trapaceie" para ficar mais rápido ou mais criativo se isso significar mentir ou ser perigoso.

4. O Treinamento: O "Treino de Elite"

Eles não apenas escreveram regras; eles treinaram o modelo usando milhões de buscas reais de usuários (no app RedNote, que é como o TikTok/Instagram da China).

• Eles usaram um método chamado GRPO (Otimização de Política Relativa em Grupo).
• Analogia: Imagine um time de futebol. Em vez de apenas dizer "você jogou bem", o treinador compara o jogador com 16 outros jogadores que fizeram a mesma jogada no mesmo dia. Se o seu jogador foi melhor que a média do grupo, ele ganha pontos. Se foi pior, perde. Isso faz o modelo aprender o que é "melhor" de forma muito rápida e eficiente.

5. O Resultado: O Assistente Perfeito

Quando colocaram esse novo "turista super-esperto" (SearchLLM) para trabalhar no mundo real:

• As pessoas leram mais: A taxa de consumo válido aumentou (as pessoas acharam a resposta útil e pararam para ler).
• As pessoas pesquisaram menos: A taxa de "re-pesquisa" caiu (elas não precisaram perguntar de novo porque a primeira resposta foi boa).
• Segurança: Não houve aumento de erros perigosos.

Resumo da Ópera:
O papel descreve como eles ensinaram uma IA a ser um bom buscador. Eles criaram um sistema onde a IA primeiro precisa ser honesta e segura (o guarda-costas), e só depois pode tentar ser inteligente e útil (o coach). O resultado é um buscador que não apenas lista links, mas entrega respostas confiáveis, seguras e que realmente ajudam o usuário a resolver o problema.

Resumo técnico

1. Problema e Contexto

O artigo aborda a transição paradigmática dos motores de busca tradicionais, baseados em listas de itens (ranking), para sistemas de busca generativa aberta (open-ended generative search). Enquanto avanços industriais recentes focaram em geração de itens em domínios fechados (como e-commerce), a aplicação de Grandes Modelos de Linguagem (LLMs) em plataformas de conteúdo aberto (como o RedNote, um app de estilo de vida similar ao Xiaohongshu) apresenta desafios únicos:

• Ruído na Recuperação: Os LLMs devem lidar com evidências recuperadas que podem ser ruidosas, desatualizadas, redundantes ou conflitantes.
• Garantias de Segurança e Confiabilidade: Em um ambiente aberto, a alucinação e a violação de políticas de segurança são inaceitáveis.
• Alinhamento com Necessidades Diversas: As respostas devem ser úteis, concisas e adaptadas à intenção do usuário, sem comprometer a precisão factual.

O trabalho identifica a necessidade de um modelo que não apenas gere texto, mas que seja robusto, seguro e alinhado às preferências do usuário em um fluxo de trabalho complexo de busca.

2. Metodologia: SearchLLM

Os autores introduzem o SearchLLM, o primeiro LLM dedicado à busca generativa aberta, e propõem uma arquitetura de treinamento baseada em três pilares principais:

A. Sistema de Recompensa Multidimensional Hierárquico

Para resolver o conflito entre garantir segurança (limites inferiores) e otimizar a utilidade (objetivos comportamentais), o sistema de recompensa é dividido em duas camadas:

1. Camada I: Restrições de Limite Inferior (Bottom-line Constraints - R2):

   • Focam em garantias não negociáveis: fundamentação factual (ausência de alucinações), qualidade básica (coerência lógica) e conformidade de formato.
   • São tratadas como restrições duras: se falharem, a resposta é considerada inutilizável.
   • Implementação: Verificações determinísticas (regras) e juízes LLM calibrados.

2. Camada II: Objetivos Comportamentais (Behavioral Objectives - R1 e R3):

   • Focam na robustez (lidar com queries ambíguas e evidências ruidosas) e alinhamento com o usuário (riqueza de informação, concisão, usabilidade).
   • São otimizados dentro da "zona segura" definida pela Camada I.

B. Pilha de Avaliação Híbrida e Calibração Humana

• O sistema combina verificadores baseados em regras (ex: estatísticas de n-gramas, regex) com juízes baseados em LLM.
• Para garantir a precisão dos juízes LLM, os autores implementam um ciclo de calibração "humano-no-loop" (Human-in-the-loop) com dois grupos de anotadores:
  • Grupo Cego: Avalia apenas o texto da resposta.
  • Grupo Assistido: Avalia a resposta com acesso ao raciocínio e evidências do modelo.
  • Discrepâncias entre os grupos são resolvidas por especialistas sênior para refinar os padrões.

C. Estratégia de Agregação Porteira (Gated Aggregation Strategy)

Para evitar o "efeito gangorra" (onde o modelo otimiza métricas fáceis em detrimento de restrições de segurança), os autores propõem uma função de recompensa composta:

• As pontuações da Camada I são combinadas via uma média geométrica suavizada (atuando como uma porta "Soft-AND"). Se qualquer restrição de segurança falhar, a recompensa global é drasticamente reduzida.
• As pontuações da Camada II são combinadas via uma média aritmética ponderada.
• A recompensa final é o produto da porta de segurança pela utilidade comportamental. Isso garante que melhorias na utilidade só ocorram se as restrições de segurança forem atendidas.

D. Otimização por RL (GRPO)

O modelo é treinado utilizando Group Relative Policy Optimization (GRPO). Diferente do PPO tradicional, o GRPO normaliza as vantagens dentro de um grupo de respostas geradas para a mesma query, eliminando a necessidade de um modelo de valor separado e sendo mais eficiente para escala industrial.

3. Contribuições Principais

1. Definição de Requisitos para Busca Aberta: Caracterização clara das demandas únicas de plataformas de conteúdo grande, separando garantias de segurança de objetivos de qualidade do usuário.
2. Sistema de Recompensa Híbrido: Proposta de uma arquitetura de duas camadas que desacopla restrições não negociáveis de objetivos comportamentais, validada por uma pilha de avaliação híbrida (regras + LLM calibrado).
3. Estratégia de Agregação Porteira: Uma técnica inovadora para RL que previne o reward hacking, garantindo que a otimização da utilidade do usuário nunca comprometa a segurança factual.
4. Implementação em Escala Industrial: Deploy do SearchLLM no motor de busca de IA do RedNote, com validação através de testes A/B online em grande escala.

4. Resultados

Os resultados foram validados através de avaliações offline, testes A/B online e análise de dinâmicas de treinamento:

• Alinhamento com Humanos: O sistema de recompensa proposto superou significativamente baselines de ponta (como GenRM e Rubric-based) em métricas de precisão (Accuracy) e AUC, tanto em critérios de segurança quanto em preferências subjetivas.
• Qualidade de Geração (Offline): O modelo GRPO-Gated (proposto) superou todas as outras estratégias (SFT, DPO, RFT, GRPO-Linear) em todas as dimensões, especialmente mantendo altas pontuações em segurança e factualidade enquanto melhorava a utilidade.
• Dinâmica de Treinamento: As curvas de treinamento mostraram que a estratégia de porta elimina o conflito entre "riqueza" e "concisão", permitindo que o modelo otimize a utilidade apenas após estabilizar as métricas de segurança.
• Desempenho Online (RedNote):
  • Taxa de Consumo Válido (VCR): Aumento de +1,03%, indicando que os usuários acharam as respostas mais úteis e leram por mais tempo.
  • Taxa de Re-busca (Re-search Rate): Redução de -2,81%, indicando que as respostas satisfizeram a necessidade do usuário na primeira tentativa.
  • Taxa de Skip e Bad Cases: Reduções significativas, mantendo a segurança e a confiabilidade do sistema.
  • O modelo demonstrou robustez em domínios fora da distribuição de treinamento (zero-shot).

5. Significância

Este trabalho é significativo por ser uma das primeiras implementações industriais bem-sucedidas de um LLM para busca generativa aberta em uma plataforma de conteúdo massiva. Ele demonstra que é possível alinhar modelos de linguagem complexos com requisitos rigorosos de segurança e factualidade sem sacrificar a utilidade para o usuário.

A metodologia proposta, especialmente a Estratégia de Agregação Porteira combinada com a calibração humana em loop, oferece um roteiro escalável para a indústria de IA, permitindo a transição de motores de busca baseados em listas para assistentes de IA confiáveis e centrados no usuário, capazes de sintetizar informações de fontes heterogêneas e ruidosas.