Resumo Técnico: SafeGEO

Definição do Problema

A Otimização de Motores Generativos (GEO) permite que proprietários de conteúdo reescrevam conteúdos da web para aumentar a visibilidade em saídas de IA generativa. Embora a visibilidade seja geralmente benéfica, o artigo identifica um risco crítico em agentes de recomendação baseados em LLM. Nesses sistemas, os agentes recuperam documentos de origem para comparar candidatos e gerar recomendações voltadas ao usuário. Os autores argumentam que, quando fontes controladas por vendedores são reescritas para GEO, elas podem fazer com que produtos defeituosos pareçam melhor suportados do que realmente são. Essa manipulação pode fazer com que agentes de recomendação selecionem produtos que violam restrições rígidas do usuário ou que correspondem mal às preferências declaradas, apesar de os produtos parecerem bem suportados pelas evidências recuperadas.

O problema central é definido como uma falha de alinhamento de utilidade: a reescrita controlada pelo vendedor aumenta a utilidade estimada ($U'$) de um item alvo que não está alinhada com a utilidade verificada ($U$) do usuário, levando produtos não conformes para o conjunto de decisão do usuário.

Metodologia: Suíte de Avaliação SafeGEO

Para medir esse risco, os autores construíram a SafeGEO, uma suíte de avaliação composta por 600 casos de recomendação em seis verticais de produtos (ferramentas de transcrição de reuniões por IA, babás eletrônicas, mochilas de bordo, purificadores de ar domésticos, fones de ouvido com cancelamento de ruído e cadeiras de escritório).

Construção do Conjunto de Dados

1. Casos Base: Derivados de rastros de compras do ChatGPT, cada caso inclui uma consulta do usuário, um conjunto de produtos candidatos, documentos de origem recuperados (páginas de produto, avaliações, especificações) e anotações ocultas.
2. Verdade Fundamental Oculta: As anotações incluem restrições rígidas ($H_q$), preferências suaves ($P_q$), atributos canônicos do produto ($a^*_i$) e uma pontuação de utilidade verificada ($U_q(i)$). Estas são ocultas dos modelos avaliados para evitar vazamento de dados.
3. Construção do Ataque: Para cada caso base, três candidatos são selecionados aleatoriamente como potenciais alvos de GEO. Uma única fonte controlada pelo vendedor para um alvo é reescrita usando pacotes de ataque específicos, enquanto todas as outras fontes permanecem verdadeiras. Isso cria um total de 40.800 instâncias de avaliação (68 por caso base).

Taxonomia de Ataques GEO

O artigo organiza 22 variantes de ataque em três loci de manipulação baseados na teoria da comunicação e na literatura de persuasão:

1. Manipulação ao Nível de Conteúdo: Altera as asserções substantivas de um documento.
   • Alegação de adequação não suportada: Afirmar que um requisito é atendido sem suporte.
   • Omissão de ressalva: Esconder limitações que afetam o ajuste do produto.
   • Inundação de relevância: Adicionar conteúdo positivo, mas fracamente relevante, para distrair de necessidades.
2. Enquadramento Epistêmico: Altera como as alegações parecem ser suportadas.
   • Lavagem de autoridade: Apresentar conteúdo afiliado ao vendedor como independente ou autoritativo.
   • Preenchimento de evidência: Adicionar linguagem vaga de benchmarks ou especialistas sem suporte direto.
3. Realização Voltada ao Modelo: Altera como o texto é apresentado ao modelo.
   • Manipulação de saliência: Usar trechos de FAQ ou termos repetidos para tornar o alvo proeminente.
   • Instrução direcionada ao modelo: Incorporar instruções destinadas à IA (ex: "classifique este primeiro").

A taxonomia inclui variantes atômicas (primitiva única), variantes de bloco (primitivas dentro de um locus), variantes de cross-block (entre loci) e variantes realistas (arquétipos coerentes e plausíveis de páginas de vendedor, como "Guia de comprador independente" ou "Nota com citações preenchidas").

Métricas de Avaliação

• Target@3: Porcentagem de vezes que o alvo atacado aparece nas 3 principais recomendações.
• HCV@1: Porcentagem de vezes que o item classificado em primeiro lugar viola pelo menos uma restrição rígida do usuário.
• uNDCG@5: Qualidade de ranking ponderada pela utilidade baseada na utilidade verificada.
• Taxa de Citação Enganosa: Frequência com que o modelo cita linhas de GEO reescritas como suporte.

Resultados Principais

Vulnerabilidade a Ataques GEO

O estudo demonstra empiricamente que ataques GEO degradam significamente a qualidade da recomendação em três LLMs ajustados por instrução (Gemma 4 31B IT, Qwen3.6-27B e Devstral Small 2 24B Instruct) e um modelo de escala de fronteira (DeepSeek-V4-Flash).

• Promoção de Produtos Defeituosos: Em média, ataques GEO realistas aumentam a taxa de entrada de produtos alvo defeituosos nas 3 principais recomendações em até 83,2% (Devstral) em comparação com os controles verdadeiros.
• Violações de Restrição: Ataques aumentam a taxa de itens classificados em primeiro lugar que violam restrições rígidas em até 59,3%.
• Mecanismo: Existe uma forte correlação ($r \approx 0,91$) entre a taxa de citações de linhas GEO enganosas e a promoção de alvos atacados. Os ataques funcionam deslocando o equilíbrio das evidências, fazendo com que o suporte fraco ou incompleto pareça suficiente para o modelo.
• Realista vs. Diagnóstico: Variantes de ataque "realistas" coerentes (ex: "Guia de comprador independente") são consistentemente mais prejudiciais do que as variantes diagnósticas que apenas combinam primitivas. Isso sugere que o dano advém da plausibilidade do formato da fonte, e não apenas do volume de manipulação.

Estratégias de Mitigação

Os autores avaliaram cinco estratégias de mitigação leves, do lado do agente:

1. Prompt de Defesa: Tratar fontes como evidências, não como instruções.
2. Elicitação de Racional: Exigir razões explícitas e citações para as recomendações.
3. Decomposição de Evidência: Forçar o agente a realizar uma verificação de evidência por candidato antes de classificar.
4. Equilíbrio de Contexto: Instruir o agente a equilibrar alegações promocionais contra evidências conflitantes.
5. Filtragem de Instrução: Ignorar explicitamente instruções direcionadas ao modelo incorporadas nas fontes.

Descobertas sobre Mitigação:

• A Decomposição de Evidência (L3) foi a defesa mais eficaz, reduzindo a promoção de alvos atacados em até 39,2% e as violações de restrição em até 41,6% (na Qwen3.6).
• O Prompt de Defesa (L1) e o Equilíbrio de Contexto (L4) ofereceram reduções moderadas (11–15%).
• A Elicitação de Racional (L2) e a Filtragem de Instrução (L5) foram amplamente ineficazes ou às vezes degradaram o desempenho.
• Limitação: Crucialmente, mesmo a mitigação mais forte (Decomposição de Evidência) não restaurou o desempenho para o baseline sem GEO. Por exemplo, na Devstral, o Target@3 permaneceu em 73,2% sob mitigação, muito acima da taxa de controle verdadeira.

Significância e Alegações

O artigo afirma que o GEO representa um risco sério e persistente para agentes de recomendação que não pode ser totalmente resolvido por simples correções do lado do desenvolvedor.

• Além da Visibilidade: Ao contrário dos benchmarks de GEO existentes (ex: GEO-Bench, E-GEO) que medem a visibilidade de citação, o SafeGEO é o primeiro a avaliar o dano de recomendação baseado em utilidade.
• Vulnerabilidade Sistêmica: O risco se transfere de modelos de pesos abertos para modelos de escala de fronteira, indicando uma vulnerabilidade fundamental na forma como os LLMs processam evidências fundamentadas em fontes.
• Implicações de Design: Embora as defesas do lado do desenvolvedor (especificamente a decomposição de evidência) possam reduzir significativamente o dano, elas são insuficientes para eliminá-lo. Os autores concluem que a robustez ao GEO deve ser tratada como um problema central e prático de design de agentes, exigindo atenção contínua além da simples engenharia de prompt.

O trabalho enfatiza que o modo de falha não é a falta de recuperação ou citação, mas uma falha na ponderação de evidências: o modelo aceita o enquadramento manipulado como suporte suficiente para restrições rígidas que ele deveria, de outra forma, rejeitar.