Resumo Técnico: Controlando Classificações de Saída em Motores Generativos para Busca Baseada em LLM

1. Definição do Problema

A ascensão da busca baseada em Grandes Modelos de Linguagem (LLM), ou "motores generativos", deslocou a interação do usuário de navegar por listas de links para receber recomendações de produtos sintetizadas diretamente. Embora isso melhore a eficiência do usuário, introduz uma vulnerabilidade crítica: a classificação final do output é fortemente dependente da ordem de recuperação inicial fornecida por mecanismos de busca externos (ex: Google, Amazon).

Essa dependência cria um "viés de posição", onde itens recuperados no final da lista de candidatos raramente são promovidos ao topo do resumo gerado pelo LLM, independentemente de sua relevância real. Essa dinâmica desfavorece pequenas empresas e criadores independentes cujos produtos podem ser enterrados nos resultados de recuperação. Tentativas existentes para abordar isso, como a Otimização de Motores Generativos (GEO) ou injeção de prompt, frequentemente dependem de acesso de caixa-branca aos internos do modelo ou utilizam ataques de injeção incoerentes e facilmente detectáveis. O desafio é controlar as classificações de saída em um cenário de caixa-preta (onde apenas a consulta e o output são acessíveis) sem comprometer a fluência ou a naturalidade do conteúdo gerado.

2. Metodologia: CORE

Os autores propõem o CORE (Controlling Output Rankings in gEnerative Engines), um método de otimização projetado para manipular a classificação final de um item alvo modificando o texto associado a esse item nos resultados de busca. O CORE trata a tarefa de classificação como um problema de otimização onde o objetivo é encontrar um texto modificado $T'(i^*)$ para um item alvo $i^*$ que maximize a probabilidade de ele aparecer nas primeiras $k$ posições do output do LLM.

O CORE oferece duas soluções distintas baseadas na disponibilidade de recursos computacionais:

A. Solução de Modelo de Sombra (Shadow-Model)

Esta abordagem assume o acesso a recursos computacionais suficientes para treinar um "modelo de sombra" ($\theta'$) que imita o comportamento do LLM de síntese alvo ($\theta$).

• Mecanismo: O modelo de sombra é alinhado com o LLM alvo usando few-shot prompting. Uma vez estabelecido, o CORE realiza a otimização baseada em gradiente diretamente na representação de embedding contínuo do texto do item alvo.
• Processo: Ele atualiza iterativamente o embedding para minimizar a função de perda de classificação, depois decodifica o embedding otimizado de volta para texto discreto.
• Tipos de Conteúdo: Este método utiliza primordialmente a otimização baseada em strings, anexando strings estrategicamente desenhadas à descrição do item.

B. Solução Baseada em Consulta (Query-Based)

Projetada para configurações sem acesso aos internos do modelo ou recursos suficientes para modelagem de sombra, esta solução opera através de um loop iterativo de gerador-otimizador interagindo com o LLM de caixa-preta.

• Gerador: Cria um rascunho inicial (raciocínio ou review) explicando por que o item alvo deve ser classificado alto.
• Otimizador: Avalia a classificação do output do LLM contra a classificação alvo desejada. Se a similaridade estiver abaixo de um limite, o otimizador revisa o rascunho.
• Estratégias:
  1. Baseada em Raciocínio (Reasoning-based): Constrói uma fundamentação lógica, passo a passo (estilo Chain-of-Thought), comparando o item alvo com alternativas.
  2. Baseada em Review (Review-based): Reescreve o rascunho como uma narrativa de review de cliente autêntica e em tempo passado (ex: "Depois de comprar este item..."), mimetizando experiências reais de usuários.

3. Benchmark: ProductBench

Para avaliar o CORE em cenários realistas, os autores construíram o ProductBench, um benchmark de larga escala composto por:

• Escopo: 15 categorias de produtos (ex: Eletrônicos, Beleza, Ferramentas) com 200 produtos por categoria.
• Fonte de Dados: As 10 principais recomendações de busca recuperadas da interface de busca da Amazon para cada produto.
• Estrutura: Inclui atributos estruturados (nome, preço, descrição, reviews) formatados para entrada em LLMs de síntese.

4. Resultados Experimentais

Os autores avaliaram o CORE em quatro LLMs habilitados para busca: GPT-4o, Gemini-2.5, Claude-4 e Grok-3.

• Taxa de Sucesso de Promoção (PSR): Sob a melhor estratégia de otimização, o CORE alcançou taxas de sucesso médias de:
  • 91,4% no Top-5
  • 86,6% no Top-3
  • 80,3% no Top-1
  • Nota: As taxas de sucesso de baseline para itens que começaram no final da lista foram efetivamente 0%.
• Eficácia das Estratégias:
  • Estratégias baseadas em raciocínio performaram excepcionalmente bem no GPT-4o e Claude-4.
  • Estratégias baseadas em review mostraram desempenho superior no Gemini-2.5 e Grok-3, sendo particularmente fortes em categorias como "Beleza e Cuidados Pessoais".
  • Métodos baseados em strings mostraram sucesso moderado, mas foram significativamente menos eficazes que as estratégias de raciocínio ou review.
• Fluência e Detectabilidade:
  • Perplexidade: Conteúdos baseados em strings tiveram perplexidade extremamente alta (1.000–2.000), tornando-os facilmente detectáveis. Conteúdos baseados em raciocínio tiveram perplexidade moderada, enquanto o conteúdo baseado em review permaneceu próximo ao baseline (~32), mantendo alta fluência.
  • Avaliação Humana: O conteúdo baseado em review foi classificado quase tão fluente quanto o baseline (4,6/5 vs 4,7/5) e teve uma baixa taxa de detecção (18,4%), enquanto o conteúdo baseado em strings foi quase universalmente marcado como não natural (98,5% de detecção).
• Comparação: O CORE superou métodos existentes de manipulação de classificação (STS, TAP, SRP, RAF), particularmente em transferibilidade cross-model e robustez.

5. Significância e Alegações

O artigo afirma que o CORE demonstra a vulnerabilidade dos sistemas de busca baseados em LLM à manipulação de conteúdo em cenções de caixa-preta. As principais alegações incluem:

1. A Classificação é Maleável: A classificação final de saída em motores generativos não é determinada unicamente pelo raciocínio interno do LLM, mas é fortemente restringida e manipulável via conteúdo dos itens recuperados.
2. Viabilidade de Caixa-Preta: O controle eficaz da classificação é possível sem acesso de caixa-branca aos gradientes ou internos do modelo, desafiando a suposição de que configurações de caixa-preta são seguras contra tal manipulação.
3. Sigilo (Stealthiness): Ao contrário de ataques anteriores de injeção de prompt, as estratégias de Review e Raciocínio do CORE mantêm alta coerência semântica e fluência, tornando-as difíceis de detectar via filtros de perplexidade padrão ou inspeção humana.
4. Desafios de Mitigação: Os autores testaram três estratégias de mitigação (filtragem de perplexidade, filtragem baseada em padrões e restrições de comprimento). Embora tenham reduzido a taxa de sucesso de ataques baseados em strings e raciocínio, foram amplamente ineficazes contra a estratégia baseada em Review, ressaltando a necessidade de mecanismos de defesa mais robustos.

O trabalho conclui que, embora o CORE forneça um mecanismo para melhorar a visibilidade de itens desfavorecidos, ele simultaneamente expõe um risco significativo de manipulação de classificação em sistemas de busca generativa, exigindo implantação responsável e mais pesquisas em estratégias de defesa.