=== RESUMO TÉCNICO ===

Resumo Técnico: Abstenção Calibrada para Predição de Testes A/B Baseados em LLM

Declaração do Problema

O artigo investiga se Modelos de Linguagem de Grande Escala (LLMs) multimodais podem prever o vencedor de testes A/B do mundo real baseando-se apenas em capturas de tela de variantes de páginas web. Os autores desafiam a narrativa predominante da indústria de que os LLMs podem servir como "oráculos pré-teste" para otimização de taxa de conversão (CRO). Eles identificam um modo de falha crítico nas avaliações existentes: catálogos curados de testes A/B são fortemente enviesados para vitórias de variantes (frequentemente 75–85% de vitórias da variante B), permitindo que um modelo simples que prefere a página alterada alcance uma acurácia bruta elevada, enquanto contribui com zero valor de decisão. O problema central é distinguir entre um modelo que genuinamente prevê resultados experimentais e um que meramente explora artefatos de taxa base ou compartilha "sabedoria popular" (priors) com os curadores dos rótulos.

Metodologia

Os autores conduziram um programa experimental pré-registrado de seis semanas contra um corpus proprietário de 546 testes A/B reais de uma importante agência de CRO. O estudo empregou um suporte estatístico rigoroso projetado para evitar o overfitting e o viés de marketing:

• Corpus e Verdade Fundamental (Ground Truth): O conjunto de dados incluiu 330–332 testes decisivos com capturas de tela renderizáveis. Crucialmente, os autores recomputaram a significância estatística ($p < 0,05$) a partir das contagens brutas por braço, revelando que 44% dos rótulos de "verdade fundamental" no catálogo provinham de testes não significativos.
• Métrica de Avaliação: A métrica primária é o $\kappa$ de Cohen (kappa), uma medida de concordância corrigida pelo acaso, em vez da acurácia bruta. Intervalos de confiança foram gerados via bootstrapping de percentis ($B=10.000$).
• Rigor Estatístico:
  • Pré-registro: Hipóteses, gatilhos de decisão e análias de poder foram travados antes da coleta de dados.
  • Gatilho-no-Reamostragem (Gate-on-Resample): Para métricas com gatilho (onde o modelo se abstém), o gatilho de confiança foi reaplicado dentro de cada réplica de bootstrap para propagar a incerteza de cobertura no intervalo de confiança do $\kappa$.
  • Teste de Equivalência: O TOST (Two One-Sided Tests) foi usado para provar que modelos mais caros eram estatisticamente equivalentes a modelos mais baratos, em vez de apenas falhar em mostrar uma diferença.
  • Verificação Adversária: Os resultados principais passaram por derivações independentes e passagens de falsificação antes da publicação.
• Design Experimental: O estudo utilizou um painel de votação contrabalanceado de 16–20 juízes Gemini 3 Flash. Testou vários "alavancamentos" (levers), incluindo capacidade do modelo (Gemini 3.1 Pro), mecanismos de prompt, fidelidade do estímulo (capturas de tela reais vs. reconstruídas) e priors de tipo de mudança.

Principais Resultados

1. A Predição Incondicional Falha no "Teste da Honestidade"

No conjunto de dados completo, um juiz Gemini 3 Flash alcançou $\kappa = 0,141$ [0,034, 0,248], que é detectavelmente acima do acaso, mas fraco. No entanto, quando restrito a rótulos estatisticamente significativos (a metade confiável dos dados), a evidência tornou-se inconclusiva ($\kappa = 0,108$ [−0,049, 0,264]).

• Artefato de Prior Compartilhado: O juiz concordou mais com rótulos não confiáveis (não significativos) do que com os confiáveis. Isso sugere que o modelo e os curadores dos rótulos compartilham um prior de "sabedoria popular" sobre o que deveria vencer, em vez de o modelo prever o que de fato venceu.
• Capacidade do Modelo: Um modelo de fronteira (Gemini 3.1 Pro) foi estatisticamente equivalente ao Flash ($\Delta\kappa = -0,037$ dentro de um limite TOST de $\pm0,20$), apesar de ser 2,8x mais caro.
• Prompt e Fidelidade: Redesenhar prompts, aumentar a fidelidade do estímulo e usar priors de tipo de mudança falharam em produzir melhorias estatisticamente significativas.

2. A Abstenção Calibrada Revela Sinal

O único ponto operacional que sobreviveu à auditoria de validade de rótulos dos autores foi o chamada-confiante-ou-abstenção (confident-call-or-abstain).

• Mecanismo: Ao filtrar predições com base na concordância interna do painel (especificamente uma margem de voto $\ge 0,6$), o modelo se abstém de ~51% dos testes.
• Performance: No subconjunto de testes onde o modelo faz uma chamada confiante (49% de cobertura), o $\kappa$ nos rótulos de apenas significativos sobe para 0,311 [0,025, 0,555]. Este é o único ponto de estudo onde o intervalo de confiança exclui o zero para rótulos confiáveis.
• Replicação vs. Validade: Os autores demonstraram que, embora as chamadas do modelo sejam perfeitamente reproduzíveis (acordo de 31/31 em execuções independentes), a reprodutibilidade não é igual à validade. Uma confirmação em um grupo retido (held-out) de um coorte menor (33 chamadas) retornou $\kappa = -0,100$ [−0,200, 0,000], um resultado inconclusivo que não refutou o achado, mas falhou em confirmá-lo, destacando a fragilidade dos ganhos de predição seletiva.

3. O Teto Humano e a Ilusão de Consenso

O artigo compara o LLM com especialistas humanos:

• Baseline Humano: Um estudo com 15 profissionais de CRO não-naïve (source-naïve) no mesmo instrumento pontuou ao nível do acaso contra resultados reais ($\kappa \approx -0,03$).
• Prior Compartilhado em Humanos: Assim como os LLMs, os humanos concordaram fortemente entre si (inter-rater $\kappa = 0,53$), mas falharam em prever a realidade. Isso confirma que o artefato de "prior compartilhado" não é uma patologia específica de LLM, mas uma limitação fundamental da tarefa: a aparência visual de uma página subdetermina seu resultado experimental tanto para humanos quanto para máquinas.
• Tamanho de Amostra Efetivo: Um painel de LLM de 16 votos carrega apenas $\approx 2$ votos independentes efetivos ($n_{eff} \approx 1,9–2,6$). Da mesma forma, 15 especialistas humanos atuaram estatisticamente como menos de dois julgamentos independentes. O consenso entre juízes correlacionados (ou humanos) é persuasivo, mas não é evidência de habilidade.

4. Economia e Implementação

• Eficiência de Custo: Um painel de 9 votos preserva o ponto operacional de gatilho ($\kappa \approx 0,27$) a aproximadamente metade do custo de inferência do painel completo.
• Entregáveis: O artigo apoia a implementação de um instrumento de triagem calibrado em vez de um oráculo de taxa de vitória. Isso inclui:
  • Leituras de vencedor de chamada-confiante-ou-abstenção.
  • Auditorias de UX fundamentadas em screenshots com verificação adversária (12/13 achados verificados).
  • Um registro de reivindicações em camadas onde cada número carrega um nível de evidência (ex: CONFIRMADO, EXPLORATÓRIO, REFUTADO).

Significância e Alegações

A principal contribuição do artigo é uma disciplina de calibração para avaliação baseada em LLM, afastando-se de alegações "maximais" em direção a afirmações "honestas".

• Alegações Refutadas: O artigo refuta explicitamente a possibilidade de predição incondicional de vencedores, acurácia validada para dispositivos móveis (devido à falta de corpora rotulados renderizados para mobile) e porcentagens de aumento de conversão previstas.
• Alegações Suportadas: Os autores apoiam a implementação de um instrumento de triagem calibrado que se abstém em aproximadamente metade dos inputs. A proposta de valor não é um oráculo de alta acurácia, mas uma ferramenta que identifica uma pequena minoria de casos onde existe um sinal e se abstém no restante para evitar confiança alucinada.
• Integridade Científica: O artigo serve como um contraponto aos whitepapers de fornecedores ao publicar resultados negativos, gatilhos travados e testes de controle "inconclusivos". Argumenta-se que um sistema de medição que não consegue matar as alegações de seu dono é publicidade, não medição.

Os autores concluem que, na tarefa de prever vencedores de testes A/B a partir de screenshots, o consenso — seja humano ou de modelo — é reproduzível e persuasivo, mas não é evidência. O único caminho viável à frente é um sistema que saiba quando sabe, e que admita explicitamente quando não sabe.