Sumário Técnico: Do Estocástico ao Estável

Declaração do Problema

A medição de visibilidade de IA em mecanismos de busca generativa é fundamentalmente um exercício comparativo que visa determinar quais domínios são citados com mais frequência e se as diferenças observadas são estatisticamente significativas o suficiente para informar uma estratégia competitiva. No entanto, a indústria carece de um método fundamentado para determinar quando dados suficientes foram coletados para suportar essas comparações. As práticas atuais dependem de orçamentos de coleta fixos ou limiares de correlação arbitrários, que falham em considerar a natureza estocástica da busca generativa.

Mecanismos de busca generativa produzem saídas variáveis para a mesma consulta, tornando a participação de citações (citation share) uma estatística amostral sujeita à variabilidade de amostragem, em vez de uma quantidade fixa. Essa variabilidade cria dois desafios distintos:

1. Instabilidade de Rank: No início da coleta de dados, a ordenação dos domínios muda significamente à medida que os domínios mais citados ainda não acumularam citações suficientes para estabelecer uma liderança consistente.
2. Incerteza de Medição: Mesmo após um rank de ordenação estabilizar, os intervalos de confiança (ICs) em torno das participações de citações podem ser muito amplos para distinguir domínios adjacentes. Um rank de ordenação estável não é necessariamente um rank preciso; se o "sinal" (dispersão das participações) for menor que o "ruído" (incerteza das estimativas), a ordenação não pode suportar inferência confiável.

A dificuldade central é que a densidade de citações e a estrutura distributiva variam significamente entre plataformas e tópicos. Consequentemente, nenhum número fixo de consultas ou um limiar de correlação de rank fixo (ex: $\rho \ge 0,95$) pode ser justificado universalmente.

Metodologia

O artigo introduz um framework de convergência sequencial baseado em dois critérios complementares derivados diretamente da distribuição de citações observada, sem exigir alvos externamente especificados para contagem de consultas, nível de correlação ou largura de IC.

1. Dados e Estimativa

• Conjunto de Dados: O framework foi aplicado a 30 combinações de plataforma-tópico em três mecanismos de busca generativa: Google Gemini, OpenAI SearchGPT e Perplexity. Dez tópicos diversos foram utilizados, com 125 consultas geradas por tópico por plataforma.
• Reamostragem Bootstrap: Para quantificar a incerteza, os autores utilizam reamostragem bootstrap multinomial ao nível da consulta (não ao nível da citação) para preservar o agrupamento de citações dentro da resposta. As participações de citações são recalculadas para cada iteração de bootstrap, e intervalos de confiança BCa de 95% (corrigidos para viés e acelerados) são calculados.
• Domínios Estabelecidos vs. Observados: Faz-se uma distinção entre domínios "observados" (citados pelo menos uma vez) e domínios "estabelecidos" (aqueles cujo IC de 95% da participação de citação exclui o zero). A suficiência estrutural é avaliada apenas sobre o conjunto de domínios estabelecidos.

2. Critério I: Estabilidade de Rank

A estabilidade de rank é determinada pela detecção de um platô estrutural na trajetória de correlação de rank, em vez de cruzar um limiar fixo.

• Métrica: A correlação de rank de Spearman ponderada ($\rho$) é computada entre janelas cumulativas sucessivas de respostas. Os pesos são a média das participações de citações entre as duas janelas, garantindo que mudanças entre domínios de alta participação contribuam mais para a correlação do que mudanças na cauda longa.
• Detecção: Um ajuste de modelo segmentado (usando o Algoritmo de Pool-Adjacent-Violators para regressão isotônica) é aplicado à trajetória de correlação. O modelo testa para uma "fase de ascensão" seguida por uma "cauda plana".
• Regra de Decisão: A estabilidade é declarada quando o Critério de Informação Bayesiano (BIC) seleciona um modelo com uma cauda plana sobre um modelo de ascensão pura, e essa cauda plana abrange pelo menos 15 respostas consecutivas. Esta abordagem detecta quando a ordenação parou de mudar, independentemente do valor absoluto da correlação (que pode ser inferior a 0,95 em ambientes de baixa densidade de citação).

3. Critério II: Suficiência Estrutural

A suficiência estrutural avalia se a dispersão das participações de citações entre os domínios estabelecidos é grande o suficiente em relação à sua incerteza de medição para suportar a inferência.

• Métrica: Uma Razão Sinal-Ruído (SNR) Estrutural é calculada:
  $$\text{SNR} = \frac{\sigma(s_d : d \in D_{est})}{\bar{h}_{CI}}$$
  Onde $\sigma$ é o desvio padrão das participações de citações entre os domínios estabelecidos (sinal), e $\bar{h}_{CI}$ é a meia semi-largura de seus intervalos de confiança de bootstrap de 95% (ruído).
• Regra de Decisão: A suficiência é alcançada quando $\text{SNR} \ge 1$. Isso indica que a dispersão das participações excede a incerteza típica de medição. A série de SNR bruta é suavizada usando uma Média Móvel Exponencialmente Ponderada (EWMA) para evitar que flutuações transitórias acionem uma interrupção prematura.

4. Convergência Conjunta

Uma combinação plataforma-tópico é considerada "convergida" apenas quando tanto a estabilidade de rank quanto a suficiência estrutural são satisfeitas simultaneamente. O ponto de parada é o mais tardio dos dois disparos individuais.

Principais Resultados

O framework foi aplicado a 30 combinações plataforma-tópico (10 tópicos $\times$ 3 plataformas).

• Taxas de Convergência: Dentro de uma janela de coleta de 125 respostas, 27 das 30 combinações convergiram. Os três casos não convergentes ocorreram todos no SearchGPT para tópicos específicos ("proteção de identidade", "destinos de viagem", "chili caseiro"), onde as participações de citações eram muito próximas em relação ao ruído de medição para que o SNR atingisse 1.
• Restrições Limitantes (Binding Constraints):
  • Em 16 dos que convergiram, a estabilidade de rank foi a restrição limitante (a última condição a ser atendida).
  • Em 11 dos que convergiram, a suficiência estrutural foi a restrição limitante.
  • Isso demonstra que a estabilidade sozinha é insuficiente; a precisão frequentemente fica aquém da estabilidade.
• Falha de Limiares Fixos: Um limiar de correlação fixo de $\rho \ge 0,95$ sustentado por 15 respostas foi atingido por apenas 19 das 30 combinações. O método de detecção baseado em platô identificou com sucesso a estabilidade em todos os 30 casos, incluindo aqueles onde a densidade de citação era baixa demais para que o $\rho = 0,95$ fosse alcançado.
• Validação: Os autores compararam a ordenação no ponto de parada contra a ordenação na janela completa de 125 respostas.
  • Parar baseando-se apenas na estabilidade de rank resultou em baixo acordo em alguns casos (ex: SearchGPT/"proteção de identidade" teve uma correlação de apenas 0,364 com a ordenação final).
  • O critério conjunto melhorou o "piso" de concordância, com o pior caso de acordo certificado subindo para 0,717.
  • A mediana de concordância entre as ordenações de parada e finais para os casos convergidos foi de 0,844.
• Diferenças de Plataforma: A velocidade de convergência não foi determinada pela identidade da plataforma, mas pela densidade de citação e pelo agrupamento dentro da consulta (Efeito de Design). O SearchGPT, apesar de citar menos domínios por resposta, apresentou menor agrupamento, o que significa que cada resposta contribuiu com mais dados "efetivos" do que uma resposta do Gemini ou Perplexity.

Significância e Contribuições

O artigo traz três contribuições primárias para o campo da otimização e avaliação de visibilidade de IA:

1. Estabilidade de Rank como Critério de Convergência: Estabelece que a estabilidade de rank deve ser detectada via um platô estrutural na trajetória de correlação (usando seleção de modelo) em vez de cruzar um limiar de correlação fixo. Isso resolve o problema onde a baixa densidade de citação impede que limiares fixos sejam atingidos, mesmo quando a distribuição subjacente já se estabilizou.
2. Suficiência Estrutural como Regra de Parada: Introduz um critério de parada baseado em dados baseado na razão entre sinal (dispersão de participação) e ruído (largura de IC). Isso vai além da simples estimativa de tamanho de amostra para garantir que os dados coletados sejam precisos o suficiente para distinguir entre competidores.
3. Rejeição de Orçamentos Fixos: Os resultados demonstram que nenhum orçamento de coleta fixo (contagem de consultas) é universalmente suficiente. A quantidade de dados necessária depende inteiramente da distribuição de citação específica da plataforma e do tópico. O framework fornece um mecanismo prático e autocalibrável para determinar quando uma medição está pronta para análise comparativa.

O framework é apresentado como uma base prática para determinar quando as medições de visibilidade de IA transitaram do ruído estocástico para um sinal estável e confiável, permitindo que profissionais tomem decisões competitivas com limites de incerteza conhecidos.