💬 NLP

Interactor: Agentic RL oriented Iterative Creation for Ad Description Generation in Sponsored Search

Este artigo apresenta o Interactor, um framework de aprendizado por reforço agêntico que refina iterativamente descrições de anúncios em buscas patrocinadas por meio de interações de múltiplos turnos com modelos de recompensa generativos, melhorando significativamente a riqueza de conhecimento e a consistência com a página de destino, ao mesmo tempo em que alcança uma implantação online bem-sucedida.

Autores originais: Penghui Wei, Jiayu Wu, Chao Ye, Zhi Guo, Shuanglong Li, Lin Liu

Publicado 2026-06-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Penghui Wei, Jiayu Wu, Chao Ye, Zhi Guo, Shuanglong Li, Lin Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está administrando uma banca de limonada, mas em vez de apenas gritar "Limonada!" (o que é como um título de anúncio), você tem um quadro de menu detalhado e longo onde pode explicar por que sua limonada é especial.

Este artigo apresenta um novo sistema chamado INTERACTOR que atua como um assistente de marketing superinteligente e autocorretivo para escrever essas descrições longas e detalhadas para anúncios de pesquisa.

Veja como ele funciona, dividido em conceitos simples:

1. O Problema: O Erro do "Tentativa Única"

A maioria das ferramentas de IA atuais tenta escrever uma descrição de anúncio de uma só vez, como um aluno fazendo uma prova sem rascunho. Elas acertam às vezes, mas frequentemente cometem dois grandes erros:

Elas inventam coisas: Elas podem dizer que sua limonada usa "limões orgânicos" quando seu fornecedor vende apenas limões comuns (isso é chamado de ser infiel à página de destino).
Elas são muito vagas: Elas podem apenas dizer "Tem um gosto bom" em vez de explicar que os limões são colhidos à mão ao amanhecer (perdendo o conhecimento de mundo).

Como a IA não consegue "ver" a reação do usuário imediatamente, ela continua cometendo os mesmos erros.

2. A Solução: O Ciclo "Treinador e Jogador"

O INTERACTOR muda o jogo. Em vez de um teste de tentativa única, ele transforma a escrita de anúncios em uma conversa de múltiplos turnos entre um Jogador (a IA escremendo o anúncio) e um Treinador (um conjunto de juízes de IA especializados).

Aqui está o passo a passo do ciclo:

O Jogador faz um rascunho: A IA escreve uma primeira versão do anúncio.
O Treinador o revisa: O Treinador não dá apenas uma nota (como "8/10"). Ele atua como um editor rigoroso com uma caneta vermelha. Ele diz:
- "Você afirmou 'frete grátis', mas seu site diz 'taxa de entrega aplicável'. Isso é uma mentira. Corrija."
- "Você não mencionou que o gergelim preto ajuda na saúde capilar, que é o que o usuário está realmente perguntando. Adicione isso."
O Jogador refina: A IA lê as notas do Treinador, reflete sobre elas e reescreve o anúncio para corrigir os erros específicos.
Repetição: Isso acontece várias vezes até que o anúncio esteja perfeito.

3. O Ingrediente Secreto: "RL Agêntica"

O artigo chama isso de Aprendizado por Reforço Agêntico (Agentic RL). Pense nisso como treinar um cachorro, mas o cachorro é inteligente o suficiente para entender por que recebeu um petisco ou uma correção.

RL Tradicional: A IA recebe um sinal de "Bom Trabalho!" ou "Mau Trabalho!". Ela adivinha o que fazer a seguir.
INTERACTOR (RL Agêntica): A IA recebe um feedback de raciocínio. Ela sabe exatamente qual frase estava errada e por quê. Isso permite que ela aprenda muito mais rápido e escreva descrições muito melhores.

4. Os Resultados: De "Encheção de Linguiça" para "Fatos"

O artigo testou isso com dados reais do mecanismo de busca Baidu.

Antes: Os anúncios de IA eram frequentemente "vazios" (cheios de palavras vazias) ou "alucinados" (inventavam fatos).
Depois: O sistema INTERACTOR produziu anúncios que eram:
- Ricos em Conhecimento: Eles realmente respondiam à pergunta do usuário com fatos reais.
- Fiéis: Eles seguiam estritamente o que o site do anunciante realmente oferecia.
- Mais Cliques: Como os anúncios eram melhores, mais pessoas clicaram neles e a empresa ganhou mais dinheiro.

5. Impacto no Mundo Real

O artigo afirma que, desde maio de 2026, este sistema está rodando ao vivo em um grande mecanismo de busca. Não é apenas uma teoria; ele está ajudando atualmente os anunciantes a escreverem anúncios melhores e ajudando os usuários a encontrarem informações mais relevantes, ao mesmo tempo em que aumenta a receita do mecanismo de busca.

Em resumo: O INTERACTOR é como dar a um escritor de IA uma equipe de editores especialistas que não apenas dão uma nota ao texto, mas sentam para ajudar o escritor a corrigir cada um dos erros até que o anúncio esteja perfeito.

<thought> tags, usados para entender o contexto e planejar.

Resposta: Envolvida em tags específicas, representando ações reais:
- <retrieve>: Solicita que um mecanismo de busca injete conhecimento relevante do mundo.
- <create>: Gera ou refina a descrição do anúncio.
- <reward>: Solicita avaliação de modelos de recompensa.

2. Ambiente Customizado

O ambiente fornece observações e recompensas através de dois componentes principais:

Modelos de Recompensa Generativa (GenRMs): Diferente dos modelos de recompensa escalares, estes são modelos baseados em rubricas (implementados como LLMs de fronteira de caixa-preta) que avaliam dimensões de qualidade específicas:
- Capacidade de Conhecimento: Verifica se a descrição contém conhecimento de mundo relevante para a intenção do usuário.
- Consistência com a Página de Destino (Landing Page): Verifica se todos os pontos de venda são estritamente implicados pelas informações da página de destino, evitando exageros infiéis.
- Saída: Os GenRMs fornecem tanto um sinal binário (passa/falha) quanto feedback de raciocínio detalhado (ex: explicando por que uma frase é infiel ou qual conhecimento está faltando).
Mecanismo de Busca: Recupera conhecimento relevante de um vasto corpus de páginas web enciclopédicas para aumentar o contexto, garantindo que o texto gerado esteja fundamentado em conhecimento externo.

3. Otimização de RL Agêntica

O framework otimiza a política usando Otimização de Política de Sequência de Grupo (GSPO), um método livre de crítico.

Rollouts: Cada episódio é uma sequência de rollout de múltiplos turnos $\tau$ .
Sinal de Recompensa: A recompensa total $r_t$ é uma soma ponderada dos sinais de qualidade binários dos GenRMs (Capacidade de Conhecimento e Consistência com a Página de Destino) e uma pontuação de CTR prevista, derivada de um modelo treinado em logs de feedback histórico de usuários.
Atualização de Política: A vantagem é estimada usando normalização baseada em grupo através de múltiplos rollouts por prompt. Durante o cálculo do gradiente, apenas os tokens gerados pela política são atualizados, enquanto os tokens fornecidos pelo ambiente (observações) e as entradas da tarefa são mascarados.

Principais Contribuições

Mudança de Foco: O artigo identifica a necessidade industrial de mudar da geração de títulos impulsionada por CTR para a geração de descrições informativas, enfatizando a modelagem explícita do conhecimento de mundo para satisfazer a intenção do usuário.
Framework Iterativo: Propõe o INTERACTOR, um framework de múltiplos turnos onde uma política de LLM é otimizada via RL agêntico. Isso permite a melhoria contínua na capacidade de conhecimento e na consistência com a página de destino através de feedback detalhado e baseado em raciocínio, em vez de apenas sinais escalares.
Validação Empírica: Experimentos em datasets industriais de larga escala demonstram que o INTERACTOR supera significativamente as abordagens de turno único de última geração em termos de geração de descrições ricas em conhecimento e fiéis.

Resultados Experimentais

O framework foi avaliado em um dataset proprietário de 1 milhão de pares usuário-anúncio de um importante mecanismo de busca chinês.

Métricas Offline: O INTERACTOR superou as baselines (incluindo CTOP, DIVER e um modelo de produção de RL de turno único) em todas as dimensões:
- Fidelidade (Faithfulness): Alcançou 0,872, significativamente superior à baseline de RL de turno único (0,726) e outros competidores.
- Informatividade: Pontuou 0,715, superando a baseline de RL de turno único (0,693).
- Atratividade (CTR Previsto): Alcançou 12,4%, superando ligeiramente a baseline de turno único (12,3%).
Estudos de Ablação:
- Remover o feedback de raciocínio dos GenRMs ("w/o reasoning") causou uma queda dramática de desempenho, confirmando que o feedback detalhado é o fator crítico para o processo iterativo.
- O turno final da iteração superou consistentemente o penúltimo turno, validando a capacidade de melhoria contínua.
Teste A/B Online: Implantado em um sistema de anúncios de busca líder, cobrindo mais de 140.000 anunciantes desde maio de 2026. Os resultados mostraram um aumento de +0,74% na receita de anúncios e um aumento de +7 pontos percentuais na taxa de nível superior para a qualidade geral do conteúdo em avaliações humanas.

Significância e Alegações

O artigo afirma que o framework INTERACTOR representa um avanço significativo na geração de textos de anúncios ao ir além das limitações da geração de passo único baseada em recompensa escalar. Ao alavancar o RL agêntico com iteração de múltiplos turnos e modelos de recompensa generativos, o sistema lida efetivamente com as complexas restrições de descrições de anúncios de formato longo, equilibrando a necessidade de conhecimento de mundo informativo com a adesão estrita aos fatos da página de destino. O sucesso da implantação online demonstra a viabilidade prática desta abordagem para melhorar tanto a receita do anunciante quanto a experiência do usuário em sistemas reais de busca patrocinada.