Resumo Técnico: MAXSHAPLEY

Declaração do Problema

Os motores de busca generativos, que utilizam Modelos de Linguagem de Grande Escala (LLMs) para recuperar documentos e sintetizar respostas diretas, estão perturbando as estruturas de incentivos tradicionais para provedores de conteúdo. Diferentemente da busca tradicional, que direciona os usuários para sites de origem, a busca generativa frequentemente responde a consultas dentro da própria interface, reduzindo o tráfego e a receita dos criadores de conteúdo originais. Além disso, os métodos existentes para atribuir respostas geradas a fontes específicas são frequentemente pouco confiáveis, facilmente manipuláveis ou opacos.

O desafio central abordado é definir um mecanismo justo e compatível com incentivos para atribuir crédito às fontes de informação com base em sua contribuição para uma resposta gerada. Essa atribuição deve satisfazer axiomas padrão de justiça (Eficiência, Simetria, Jogador Nulo, Aditividade) enquanto permanece computacionalmente viável para pipelines de busca sensíveis à latência. Soluções existentes baseadas no valor de Shapley, o padrão-ouro para alocação justa, são computacionalmente intratáveis neste contexto porque tipicamente exigem enumeração exponencial de subconjuntos de fontes ou ensaios repetidos de ablação, levando a custos de tokens e latência proibitivos.

Metodologia: MAXSHAPLEY

Os autores propõem o MAXSHAPLEY, um algoritmo inovador que computa a atribuição justa de crédito modelando a interação entre fontes recuperadas e a resposta gerada como um jogo cooperativo. O método opera em um cenário de caixa-preta, exigindo apenas a consulta, as fontes recuperadas e a resposta final gerada como entrada, sem necessidade de acesso aos logits internos ou probabilidades do LLM de busca.

A metodologia consiste em três etapas principais:

1. Decomposição em Pontos-Chave: Um LLM de atribuição ($\Psi_A$) decompõe a resposta gerada $a$ em um conjunto de $n$ pontos-chave $P = \{p_1, \dots, p_n\}$ com pesos associados $w_j$.
2. Avaliação de Suporte: O LLM de atribuição avalia o quão bem cada fonte $s_i$ suporta cada ponto-chave $p_j$, produzindo uma pontuação de suporte $v_{i,j}$. Esta etapa requer $n \times m$ avaliações (ou menos via agrupamento), onde $m$ é o número de fontes.
3. Utilidade de Soma-Máxima e Cálculo Exato de Shapley:
   • Os autores definem uma nova função de utilidade $U_{MAXSHAPLEY}$ baseada em uma estrutura de soma-máxima. Para um subconjunto de fontes $I$, a utilidade é a soma ponderada da máxima pontuação de suporte para cada ponto-chave fornecida por qualquer fonte naquele subconjunto:
     $$U_{MAXSHAPLEY}(I) = \sum_{j=1}^{n} w_j \cdot \max_{i \in I} v_{i,j}$$
   • Esta função de utilidade modela a natureza cooperativa das fontes (fornecendo informações complementares) e a natureza competitiva das informações sobrepostas (apenas a melhor fonte para um ponto específico contribui para a utilidade).
   • Crucialmente, essa estrutura permite o cálculo exato do valor de Shapley em tempo polinomial. O problema se decompõe em $n$ "jogos de máximo" independentes. Para cada ponto-chave, os valores de Shapley são computados ordenando as pontuações de suporte e realizando uma varredura linear, uma operação de $O(m \log m)$. Isso evita o custo exponencial $O(2^m)$ do Shapley de força bruta ou a variância de amostragem das aproximações de Monte Carlo.

Contribuições Principais

1. Inovação Algorítmica: O artigo apresenta o MAXSHAPLEY, um algoritmo de atribuição baseado em Shapley especificamente projetado para busca generativa. Ele fornece um algoritmo exato e eficiente de $O(m \log m)$ para o subproblema de Shapley de função máxima, derivado de uma classe geral de jogos de cobertura.
2. Eficiência de Caixa-Preta: Diferentemente de métodos anteriores de atribuição de contexto (por exemplo, ContextCite, KernelSHAP) que dependem de ablação de contexto repetida ou acesso a verossimilhança logarítmica, o MAXSHAPLEY requer apenas acesso de caixa-preta a um LLM de atribuição e evita ensaios de geração repetidos.
3. Validação Empírica: Os autores demonstram que o MAXSHAPLEY alcança qualidade de atribuição comparável ao cálculo exato de Shapley (FullShapley) e forte alinhamento com anotações humanas, enquanto consome uma fração dos recursos computacionais.
4. Recursos Abertos: Os autores lançam código de código aberto, subconjuntos reanotados manualmente de HotPotQA, MuSiQUE e MS-MARCO, e uma demonstração educacional.

Resultados Experimentais

Os autores avaliaram o MAXSHAPLEY em três conjuntos de dados de QA multi-hop: HotPotQA, MuSiQUE e MS-MARCO.

• Compromisso entre Eficiência e Qualidade: O MAXSHAPLEY alcança um índice Jaccard de 0,88 no MuSiQUE (comparável ao FullShapley) enquanto utiliza apenas 5,4% dos tokens exigidos pelo FullShapley. Em comparação com o KernelSHAP, a linha de base de aproximação de Shapley mais forte, o MAXSHAPLEY alcança alinhamento similar com anotações humanas a menos de 7% do custo de tokens.
• Correlação com Verdade Terrena: O MAXSHAPLEY mostra forte correlação ordinal (Kendall's $\tau_b$) com o FullShapley no HotPotQA e MuSiQUE. No MS-MARCO, alcança correlação moderada, embora todos os métodos de Shapley tenham mostrado degradação neste conjunto de dados, provavelmente devido à natureza mais ruidosa do conteúdo da fonte.
• Estabilidade: Ao usar julgamentos semânticos localizados (pontuando pares fonte-ponto-chave) em vez de ablações repetidas de respostas inteiras, o MAXSHAPLEY mitiga a instabilidade de pontuação frequentemente observada em avaliações de LLM como juiz, onde respostas semanticamente equivalentes recebem pontuações diferentes com base na redação ou na ordem das fontes.
• Escalabilidade: O consumo de tokens para o MAXSHAPLEY escala linearmente com o número de fontes, enquanto o KernelSHAP exibe escalonamento superlinear.

Significado e Alegações

O artigo afirma que o MAXSHAPLEY oferece um caminho prático em direção à busca generativa compatível com incentivos. Ao fornecer um método justo, computacionalmente eficiente e de caixa-preta para atribuir crédito, ele aborda o "evento de extinção" enfrentado pelos provedores de conteúdo na era das respostas geradas por IA.

Os autores posicionam seu trabalho como uma evolução necessária no ecossistema, indo além dos leilões de busca patrocinada (que beneficiam anunciantes, não provedores orgânicos) para um modelo onde provedores de conteúdo são compensados com base em sua contribuição real para a utilidade da resposta gerada. O método satisfaz os requisitos axiomáticos de justiça (valores de Shapley) enquanto supera as barreiras computacionais que anteriormente tornavam tal atribuição inviável em configurações de busca em tempo real. Os autores permanecem modestos, observando que, embora o método seja robusto, ele opera sob uma suposição de caixa-preta e que trabalhos futuros poderiam explorar atribuição de caixa-branca ou funções de utilidade que recompensem explicitamente evidências corroborativas de múltiplas fontes independentes.