=== RESUMEN ===

Resumen Técnico: Abstención Calibrada para la Predicción de A/B-Tests Basada en LLM

Planteamiento del Problema

El artículo investiga si los Modelos de Lenguaje de Gran Escala (LLM) multimodales pueden predecir el ganador de pruebas A/B del mundo real basándose únicamente en capturas de pantalla de las variantes de una página web. Los autores desafían la narrativa predominante en la industria de que los LLM pueden servir como "oráculos de pre-test" para la optimización de la tasa de conversión (CRO). Identifican un modo de fallo crítico en las evaluaciones existentes: los catálogos curados de pruebas A/B están fuertemente sesgados hacia victorias de la variante B (a menudo un 75–85% de victorias de B), lo que permite que un modelo simple que prefiere la página modificada logre una alta precisión bruta mientras aporta un valor de decisión nulo. El problema central es distinguir entre un modelo que predice genuinamente los resultados experimentales y uno que simplemente explota los artefactos de la tasa base o comparte "sabiduría popular" (folk wisdom) con los curadores de las etiquetas.

Metodología

Los autores llevaron a cabo un programa experimental pre-registrado de seis semanas contra un corpus propietario de 546 pruebas A/B reales de una agencia líder de CRO. El estudio empleó un armazón estadístico riguroso diseñado para prevenir el sobreajuste y el sesgo de marketing:

• Corpus y Verdad de Campo (Ground Truth): El conjunto de datos incluyó 330–332 pruebas decisivas con capturas de pantalla renderizables. Crucialmente, los autores recomputaron la significancia estadística ($p < 0.05$) a partir de los conteos brutos por brazo, revelando que el 44% de las etiquetas de "verdad de campo" en el catálogo provenían de pruebas no significativas.
• Métrica de Evaluación: La métrica principal es el $\kappa$ de Cohen (kappa), una medida de acuerdo corregida por el azar, en lugar de la precisión bruta. Los intervalos de confianza se generaron mediante bootstrapping de percentiles ($B=10,000$).
• Rigor Estadístico:
  • Pre-registro: Las hipótesis, las compuertas de decisión y los análisis de potencia se bloquearon antes de la recolección de datos.
  • Gate-on-Resample (Compuerta sobre Remuestreo): Para las métricas con compuerta (donde el modelo se abstiene), la compuerta de confianza se volvió a aplicar dentro de cada réplica de bootstrap para propagar la incertidumbre de la cobertura al intervalo de confianza de $\kappa$.
  • Pruebas de Equivalencia: Se utilizó TOST (Two One-Sided Tests) para demostrar que los modelos más costosos eran estadísticamente equivalentes a los más económicos, en lugar de simplemente no mostrar una diferencia.
  • Verificación Adversaria: Los resultados principales pasaron por procesos independientes de rederivación y falsificación antes de la publicación.
• Diseño Experimental: El estudio utilizó un panel contrapesado de 16–20 jueces Gemini 3 Flash. Probó varias "palancas", incluyendo la capacidad del modelo (Gemini 3.1 Pro), mecanismos de prompting, fidelidad del estímulo (capturas de pantalla reales vs. reconstruidas) y priors de tipo de cambio.

Resultados Clave

1. La Predicción Incondicional Falla la "Barra de la Honestidad"

En el conjunto de datos completo, un juez Gemini 3 Flash logró un $\kappa = 0.141$ [0.034, 0.248], que es detectablemente superior al azar pero débil. Sin embargo, cuando se restringió a etiquetas estadísticamente significativas (la mitad confiable de los datos), la evidencia fue inconclusa ($\kappa = 0.108$ [−0.049, 0.264]).

• Artefacto de Prior Compartido: El juez estuvo de acuerdo más con las etiquetas no confiables (no significativas) que con las confiables. Esto sugiere que el modelo y los curadores de las etiquetas comparten un prior de "sabiduría popular" sobre lo que debería ganar, en lugar de que el modelo prediga lo que ganó.
• Capacidad del Modelo: Un modelo de frontera (Gemini 3.1 Pro) fue estadísticamente equivalente a Flash ($\Delta\kappa = -0.037$ dentro de un límite TOST de $\pm0.20$) a pesar de ser 2.8 veces más caro.
• Prompt y Fidelidad: Rediseñar los prompts, aumentar la fidelidad del estímulo y usar priors de tipo de cambio no lograron producir mejoras estadísticamente significativas.

2. La Abstención Calibrada Revela Señal

El único punto de operación que sobrevivió a la auditoría de validez de etiquetas de los autores fue llamada-confidente-o-abstención (confident-call-or-abstain).

• Mecanismo: Al filtrar las predicciones basándose en el acuerdo interno del panel (específicamente un margen de voto $\ge 0.6$), el modelo se abstiene en aproximadamente el 51% de las pruebas.
• Desempeño: En el subconjunto de pruebas donde el modelo realiza una llamada de confianza (49% de cobertura), el $\kappa$ en etiquetas de solo significancia aumenta a 0.311 [0.025, 0.555]. Este es el único celda del estudio donde el intervalo de confianza excluye el cero para las etiquetas confiables.
• Replicación vs. Validez: Los autores demostraron que, si bien las llamadas del modelo son perfectamente reproducibles (acuerdo de 31/31 en ejecuciones independientes), la reproducibilidad no es igual a la validez. Una confirmación en un grupo externo (held-out) sobre una cohorte más pequeña (33 llamadas) devolvió un $\kappa = -0.100$ [−0.200, 0.000], un resultado inconcluso que no refutó el hallazgo, pero que no logró confirmarlo, resaltando la fragilidad de las ganancias de la predicción selectiva.

3. El Techo Humano y la Ilusión de Consenso

El artículo compara al LLM con expertos humanos:

• Línea Base Humana: Un estudio con 15 profesionales de CRO ajenos a la fuente, utilizando el mismo instrumento, puntuó al nivel del azar contra los resultados reales ($\kappa \approx -0.03$).
• Prior Compartido en Humanos: Al igual que los LLM, los humanos estuvieron de acuerdo fuertemente entre sí (inter-rater $\kappa = 0.53$) pero fallaron en predecir la realidad. Esto confirma que el artefacto del "prior compartido" no es una patología específica de los LLM, sino una limitación fundamental de la tarea: la apariencia visual de una página subdetermina su resultado experimental tanto para humanos como para máquinas.
• Tamaño de Muestra Efectivo: Un panel de LLM de 16 votos conlleva solo $\approx 2$ votos independientes efectivos ($n_{eff} \approx 1.9–2.6$). Del mismo modo, 15 expertos humanos actuaron estadísticamente como menos de dos juicios independientes. El consenso entre jueces correlacionados (o humanos) es persuasivo pero no es evidencia de habilidad.

4. Economía y Despliegue

• Eficiencia de Costos: Un panel de 9 votos preserva el punto de operación con compuerta ($\kappa \approx 0.27$) a aproximadamente la mitad del costo de inferencia del panel completo.
• Entregables: El artículo respalda el despliegue de un instrumento de cribado calibrado en lugar de un oráculo de tasa de victoria. Esto incluye:
  • Lecturas de ganador de "llamada de confianza o abstención".
  • Auditorías de UX basadas en capturas de pantalla con verificación adversaria (12/13 hallazgos verificados).
  • Un registro de afirmaciones por niveles donde cada número lleva un nivel de evidencia (ej. CONFIRMADO, EXPLORATORIO, REFUTADO).

Significancia y Reivindicaciones

La contribución principal del artículo es una disciplina de calibración para la evaluación de LLM, alejándose de las afirmaciones "máximas" hacia unas "honestas".

• Afirmaciones Refutadas: El artículo refuta explícitamente la posibilidad de la predicción incondicional de ganadores, la precisión validada en móviles (debido a la falta de corpora etiquetados con renderizado móvil) y la predicción de porcentajes de aumento de conversión.
• Afirmaciones Soportadas: Los autores respaldan el despliegue de un instrumento de cribado calibrado que se abstiene en aproximadamente la mitad de las entradas. La propuesta de valor no es un oráculo de alta precisión, sino una herramienta que identifica una pequeña minoría de casos donde existe una señal y se abstiene en el resto para evitar la confianza alucinada.
• Integridad Científica: El artículo sirve como un contra-relato a los whitepapers de proveedores al publicar resultados negativos, compuertas bloqueadas y pruebas "inconclusas". Argumenta que un sistema de medición que no puede matar las afirmaciones de su dueño es publicidad, no medición.

Los autores concluyen que, en la tarea de predecir ganadores de pruebas A/B a partir de capturas de pantalla, el consenso —ya sea humano o de modelos— es reproducible y persuasivo, pero no es evidencia. El único camino viable hacia adelante es un sistema que sepa cuándo sabe, y que admita explícitamente cuando no lo sabe.