📊 statistics

Bayesian Inference Procedures for A/B Testing: An Overview

Este artículo proporciona una jerarquía sistemática de tres niveles de configuraciones de pruebas A/B bayesianas, demostrando que mientras muchas plataformas comerciales utilizan métodos no calibrados, la selección adecuada de los priors y las reglas de parada —específicamente la parada por factor de Bayes y el Bayes empírico— es esencial para controlar riesgos distintos como las tasas de falsos positivos, el error de estimación y el arrepentimiento.

Autores originales: Mårten Schultzberg, Mattias Frånberg

Publicado 2026-08-14

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mårten Schultzberg, Mattias Frånberg

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective tratando de resolver un misterio: "¿Realmente resolvió este nuevo indicio el caso, o fue solo un golpe de suerte?". En el mundo de la ciencia y los negocios, esto se llama pruebas A/B. Es una forma de comparar dos versiones de algo (como un botón rojo frente a un botón azul) para ver cuál funciona mejor. Pero aquí está la parte truculenta: si sigues revisando los resultados mientras el experimento está en curso, podrías dejarte engañar por el ruido aleatorio. Es como lanzar una moneda y detenerse en el momento en que ves tres caras seguidas; podrías pensar que la moneda es mágica, pero es solo suerte. Esto es el peligro de "echar un vistazo" (peeking).

Para resolver esto, los científicos utilizan la inferencia bayesiana, un método que actualiza las creencias a medida que llegan nuevos datos, de forma similar a cómo actualizas tu opinión sobre una película a medida que ves más escenas. Sin embargo, no hay un solo modo de hacer esto. Algunos métodos son como adivinar basándose en una corazonada, mientras que otros son como usar un libro de reglas estricto para evitar falsas alarmas. La gran pregunta es: ¿qué método realmente te mantiene a salvo de tomar malas decisiones, y cuál solo parece seguro? Este artículo se sumerge en la realidad desordenada de estos diferentes métodos para descubrir cuáles son realmente fiables y cuáles son solo formas sofisticadas de ser engañados por el azar.

Los Tres Niveles de la Verdad

Los autores, Mårten Schultzberg y Mattias Frånberg de Spotify, se dieron cuenta de que la gente suele hablar de las "pruebas A/B bayesianas" como si fueran una única herramienta mágica. Descubrieron que en realidad es una familia de herramientas diferentes con superpoderes (y debilidades) muy distintos. Para dar sentido a esto, organizaron estas herramientas en una jerarquía de tres niveles, como un videojuego con tres niveles de dificultad y seguridad.

Nivel 1: El nivel de la "Corazonada" (Coherencia Posterior)

Imagina que estás jugando un juego en el que solo quieres sentirte seguro de tu suposición. Miras los datos y dices: "¡Estoy 95% seguro de que el botón azul es mejor!". Esto es el Nivel 1. Es matemáticamente consistente, lo que significa que tus actualizaciones de creencias tienen sentido internamente. Pero aquí está el truco: ofrece cero protección contra las falsas alarmas si sigues revisando los resultados.

El artículo muestra que si usas una distribución previa "plana" (básicamente empezar sin ninguna opinión) y simplemente te detienes cuando te sientes un 95% seguro, estás haciendo exactamente lo mismo que un "observador simple". Es como revisar tu lanzamiento de moneda cada segundo y detenerte en el momento en que ves tres caras. El artículo confirma mediante simulaciones que este método tiene una tasa de falsos positivos de aproximadamente el 30% (muy superior al 5% que la gente suele desear). Se siente bien, pero es peligroso. Incluso si intentas usar un enfoque "teórico de la decisión" (calculando el costo de un error), si no tienes una regla estricta para detenerte, podrías terminar implementando una mala función la mitad de las veces.

Nivel 2: El nivel "Protegido" (Parada por Factor de Bayes)

Ahora, añadamos un guardia de seguridad. El Nivel 2 utiliza algo llamado Factor de Bayes. Piensa en esto como una puntuación que compara cuánto apoyan los datos la idea de que "la Versión B es mejor" frente a "la Versión B es igual a la A".

El artículo encuentra que si utilizas una distribución previa adecuada (una suposición inicial razonable) y te detienes solo cuando esta puntuación cruza una línea específica, obtienes una garantía. No importa cuántas veces eches un vistazo, la probabilidad de una falsa alarma se mantiene por debajo de tu límite (normalmente el 5%). Esto es algo enorme. Los autores muestran que para muchos costos comerciales del mundo real, este método es casi la mejor forma posible de decidir cuándo detenerse. Es como tener un portero que revisa tu identificación cada vez que intentas entrar, asegurando que solo los verdaderamente afortunados (o verdaderamente hábiles) entren.

Curiosamente, el artículo argumenta que la elección entre "Bayesiano" y "Frecuentista" (la otra escuela principal de estadística) a menudo no importa tanto como la gente cree. Si configuras una prueba bayesiana con un modelo de costo específico, a menudo termina pareciéndose exactamente a una prueba frecuentista. La matemática es diferente, pero el resultado suele ser el mismo.

Nivel 3: El nivel "Maestro" (Bayes Empírico)

Esta es la sección VIP. El Nivel 3 añade un arma secreta: la historia. En lugar de adivinar cuál sería un punto de partida "razonable", este método observa cientos de experimentos pasados de la misma empresa para aprender la verdad sobre qué tan grandes suelen ser los efectos.

Imagina que eres un chef. En el Nivel 2, adivinas cuánta sal añadir basándote en un libro de recetas. En el Nivel 3, miras un registro de cada plato que has cocinado en el último año para ver exactamente cuánta sal les gustó realmente a los clientes. Esto se llama una distribución previa de Bayes Empírico.

El artículo muestra que cuando utilizas esta distribución previa basada en la historia, obtienes dos beneficios asombrosos:

Corrección Automática: Corrige naturalmente el problema de revisar demasiadas cosas a la vez (multiplicidad). Si pruebas 10 botones, no necesitas hacer matemáticas adicionales para evitar falsas alarmas; la historia hace el trabajo por ti.
Contracción Calibrada (Calibrated Shrinkage): Tira de los resultados extremos hacia la realidad. Si una prueba muestra una mejora masiva del 50%, pero tu historia dice que las mejoras suelen ser diminutas, este método dice: "Eso probablemente sea un error", y reduce la estimación. Esto evita la "Maldición del Ganador", donde celebras una gran victoria que en realidad fue solo ruido.

Pero hay una trampa. El artículo advierte que esta magia del Nivel 3 solo funciona si tu historia es honesta y representativa.

Si solo miras tus victorias pasadas (ignorando los fracasos), tu historia está rota y el método falla.
Si mezclas datos de dos tipos diferentes de experimentos (como mezclar recetas de pasteles con pruebas de motores de coches), la historia se confunde y la protección desaparece.
Necesitas una cantidad decente de historia (alrededor de 200 experimentos pasados) para que esto funcione de manera fiable.

El Veredicto: Se Trata del Riesgo, No de la Etiqueta

Los autores realizaron simulaciones para probar estos niveles entre sí y contra los métodos frecuentistas estándar. Esto es lo que encontraron:

Nivel 1 (Distribución Plana + Peeking): Es un desastre para el control de errores. Produce falsos positivos aproximadamente el 30% de las veces, igual que el simple hecho de echar un vistazo.
Nivel 2 (Factor de Bayes): Mantiene los falsos positivos bajos (por debajo del 5%) y es muy flexible. No requiere que decidas de antemano cuánto durará el experimento.
Nivel 3 (Bayes Empírico): Cuando la historia es buena, produce las estimaciones más precisas (menor error) de todos los métodos. Contrae las suposiciones salvajes hacia la realidad mejor que nadie.
La trampa de la "Pérdida Esperada": Algunas personas intentan detenerse basándose en "cuánto dinero podríamos perder". El artículo muestra que esto solo funciona si implementar una mala función es gratis. Si hay cualquier costo al implementar una mala función (como arreglar el código o molestar a los usuarios), este método empieza a implementar funciones malas con demasiada frecuencia.

El artículo concluye que el "mejor" método no se trata de ser Bayesiano o Frecuentista. Se trata de qué riesgo estás tratando de controlar.

Si necesitas estar absolutamente seguro de que no estás haciendo afirmaciones falsas, necesitas el Nivel 2 o 3.
Si tienes mucha historia y quieres los números más precisos, el Nivel 3 es el rey.
Si no tienes suficiente historia, quédate con el Nivel 2 y usa reglas estrictas para evitar falsas alarmas.

Al final, el artículo sugiere que el paso más importante no es elegir un nombre estadístico elegante. Es preguntar: "¿Qué pasa si me equivoco?". Si el costo de equivocarse es alto, necesitas las protecciones del Nivel 2 o 3. Si tratas el método como una varita mágica sin entender las reglas, podrías terminar celebrando una victoria que fue solo un golpe de suerte.

Resumen Técnico: Procedimientos de Inferencia Bayesiana para Pruebas A/B

1. Planteamiento del Problema

La inferencia bayesiana para las pruebas A/B se trata frecuentemente en la literatura y en la práctica como un método monolítico. Sin embargo, es en realidad una familia de configuraciones definidas por diferentes combinaciones de priors (distribuciones a priori) y reglas de parada, las cuales poseen propiedades estadísticas fundamentalmente distintas. Esta confusión conduce a afirmaciones erróneas donde las propiedades que son ciertas para configuraciones específicas (por ejemplo, el control de la tasa de error) se atribuyen incorrectamente al marco de trabajo en su totalidad. Además, muchas plataformas comerciales de experimentación operan, por defecto, en el "nivel más bajo" de garantías estadísticas, fallando a menudo en el control de las tasas de falsos positivos (FPR) bajo monitoreo continuo o en la calibración de las estimaciones de efecto. Existe una falta de una visión sistemática que organice estas configuraciones, sus garantías y su relación con los métodos frecuentistas.

2. Metodología y Marco de Trabajo

El artículo organiza las configuraciones bayesianas comunes en una jerarquía de tres niveles de garantía, ordenadas por la fuerza de su control de la tasa de error. El análisis se basa en un modelo normal estándar de dos grupos donde el efecto de tratamiento promedio $\delta = \mu_T - \mu_C$ se estima a partir de datos secuenciales.

La Jerarquía de Tres Niveles

Nivel 1: Coherencia de la Posterior (Sin Control de Error)

Definición: Cualquier procedimiento que produzca una posterior propia (proper posterior). La posterior representa una actualización válida de creencias independientemente de la regla de parada (Principio de Verosimilitud).
Mecanismos: Incluye el paro por probabilidad posterior (por ejemplo, $P(B > A) > \gamma$ ) y el paro por pérdida esperada (minimización del arrepentimiento esperado).
Limitaciones: Estas configuraciones no proporcionan garantías de tasa de error frecuentista. Bajo un prior plano, el paro por probabilidad posterior es algebraicamente idéntico al "vistazo simple" (simple peeking; detenerse cuando un p-valor < 0.05), lo que resulta en tasas de error Tipo I infladas. El paro por pérdida esperada optimiza para una función de pérdida específica, pero no limita la FPR.

Nivel 2: FPR Acotada mediante Paro por Factor de Bayes (BF)

Definición: Logra el control incondicional de la Tasa de Falsos Positivos ( $FPR \le \alpha$ ) incluso bajo un paro opcional (continuo).
Mecanismo: Combina un prior propio con una regla de umbral de Factor de Bayes ( $BF_{10} > 1/\alpha$ ).
Base Teórica: Bajo la hipótesis nula, la secuencia de Factores de Bayes forma una martingala no negativa. Mediante la desigualdad de Ville, la probabilidad de que el BF supere alguna vez $1/\alpha$ está acotada por $\alpha$ , independientemente de cuándo se detenga el experimento.
Optimidad: Para funciones de costo con pagos terminales afines en la posterior, el paro por BF es casi óptimo para la toma de decisiones secuenciales. La elección entre una formulación decisionista y una formulación frecuentista es, en gran medida, una cuestión de parametrización.

Nivel 3: FDR Acotado y Contracción Calibrada mediante Bayes Empírico (EB)

Definición: Añade el control sobre la Tasa de Descubrimientos Falsos (FDR) a través de múltiples métricas y proporciona una contracción (shrinkage) calibrada de las estimaciones de efecto.
Mecanismo: Requiere un prior de Bayes Empírico estimado a partir de un corpus de experimentos históricos. Este prior es típicamente una mezcla de dos componentes: una masa puntual en cero (que representa efectos nulos) y una distribución normal (que representa efectos no nulos).
Garantías:
- Control de FDR: El prior de mezcla codifica la tasa histórica de no nulos ( $p$ ). Al combinarse con el paro por BF, el piso $(1-\hat{p})$ en las probabilidades (odds) de la posterior acota el FDR bayesiano sin requerir correcciones de multiplicidad explícitas (por ejemplo, Bonferroni).
- Contracción Calibrada: La media de la posterior se contrae hacia cero basándose en la distribución real del tamaño del efecto del programa, corrigiendo el "sesgo del ganador" (winner's curse o error Tipo M) y reduciendo la varianza de la estimación.
Restricciones: Las garantías del Nivel 3 dependen enteramente de la calidad y representatividad del corpus histórico. Los modos de falla incluyen: corpora de "ganadores seleccionados" (que excluyen nulos), programas agrupados con distribuciones de efecto heterogéneas, o un tamaño de corpus insuficiente (la estabilización requiere $\approx 200$ experimentos históricos).

3. Contribuciones Clave

Taxonomía Sistemática: El artículo proporciona la primera visión sistemática que organiza las configuraciones de pruebas A/B bayesianas en una jerarquía de tres niveles basada en las garantías de tasa de error, aclarando que "Bayesiano" no es un único método, sino un espectro de propiedades estadísticas.
Equivalencia de Marcos: Demuestra que, para muchas configuraciones prácticas, la distinción entre los enfoques bayesianos y frecuentistas es superficial.
- La inferencia de la posterior con un prior plano es numéricamente idéntica a las pruebas z frecuentistas.
- El Factor de Bayes es idéntico al estadístico de la prueba de razón de verosimilitud secuencial de mezcla (mSPRT).
- Las reglas de parada motivadas por costos suelen converger a los umbrales de BF, vinculando las tasas de error decisionistas y frecuentistas.
Validación Empírica de Riesgos: A través de simulaciones, el artículo cuantifica los riesgos de diferentes configuraciones:
- Nivel 1 (Prior Plano + Paro por Posterior): Reproduce el "vistazo simple" con una FPR de $\approx 0.30$ (para $\alpha=0.05$ ).
- Nivel 2 (Paro por BF): Controla la FPR estrictamente por debajo de $\alpha$ , pero puede tener menor potencia que las Pruebas Secuenciales de Grupo (GST) para señales marginales debido a los umbrales que aumentan logarítmicamente.
- Nivel 3 (EB + BF): Logra el Menor Error Cuadrático Medio (MSE) entre todas las configuraciones debido a la contracción calibrada, pero esta ventaja desaparece si el prior está mal especificado (por ejemplo, de un corpus de ganadores seleccionados).
Compensaciones Decisionistas: El artículo analiza el "arrepentimiento" (regret) de diferentes métodos. El paro por pérdida esperada minimiza el arrepentimiento solo cuando el costo de implementar una variante de efecto nulo es efectivamente cero. Una vez que la implementación incurre en cualquier costo no métrico (mantenimiento, complejidad), los métodos que requieren evidencia estadística (paro por BF) logran un arrepentimiento total menor.

4. Resultados de la Simulación

Los autores presentan cuatro entornos de simulación para validar la jerarquía:

Configuración A (Control de FPR): Confirma que el paro por la posterior con prior plano no controla la FPR (FPR $\approx 0.30$ ), mientras que el paro por BF con priors propios mantiene la FPR $\le 0.05$ .
Configuración B (Comparación Secuencial): Compara el paro por BF contra GST frecuentista y secuencias de confianza siempre válidas (WS-R).
- Todos los métodos secuenciales válidos controlan la FPR.
- El GST logra la mayor potencia pero requiere un tamaño de muestra pre-comprometido ( $n_{max}$ ).
- El paro por BF ofrece flexibilidad (sin $n_{max}$ ) y, al combinarse con un prior de EB Oráculo, logra el menor MSE.
- Los priors de EB mal especificados (por ejemplo, de datos de ganadores seleccionados) pierden la ventaja de MSE y pueden inflar las tasas de error.
Configuración C (Calidad del Corpus): Demuestra que las propiedades del Nivel 3 (control de FDR, contracción) son altamente sensibles a la calidad del corpus. Se requiere un corpus de $\approx 200$ experimentos para la estabilidad. Los corpora de "ganadores seleccionados" o "agrupados" conducen a una inflación persistente de FPR/FDR que no converge con más datos.
Configuración D (Análisis de Arrepentimiento): Muestra que el paro por pérdida esperada es óptimo solo cuando los costos de implementación son cero. A medida que los costos de implementación aumentan, el paro por BF (incluso con una calibración laxa) es superior para minimizar el arrepentimiento esperado.

5. Significación y Reivindicaciones

El artículo argumenta que el método apropiado para un programa de experimentación debe estar dictado por los riesgos que el programa necesita controlar, no por una preferencia por un marco estadístico específico.

Configuración Basada en el Riesgo:
- Si el objetivo es minimizar el costo esperado por decisión y enviar variantes nulas es barato, las reglas decisionistas (de pérdida esperada) pueden ser apropiadas.
- Si el objetivo es limitar la Tasa de Falsos Positivos o la Tasa de Descubrimientos Falsos a través de un programa, se requiere el Nivel 2 (Paro por BF) o el Nivel 3 (EB + BF).
La Necesidad de la Calibración: El artículo enfatiza que los beneficios atribuidos a menudo a los "métodos bayesianos" (corrección automática de multiplicidad, contracción, bajo error de estimación) no son inherentes al uso de una posterior. Son específicos del Nivel 3, que requiere un prior de Bayes Empírico calibrado derivado de un corpus histórico representativo. Sin esto, una configuración bayesiana no ofrece más protección contra la multiplicidad que una frecuentista.
Guía Práctica: Muchas plataformas operan actualmente en el Nivel 1, replicando inadvertidamente los errores de "vistazo" (peeking) frecuentistas. Los autores sugieren que los programas que no cuentan con un corpus histórico grande y representativo deben operar en el Nivel 2 (usando paro por BF con un prior débilmente informativo) y aplicar correcciones de multiplicidad explícitas, en lugar de intentar el Nivel 3 con un prior subajustado.

En conclusión, el artículo sostiene que la elección de la configuración (prior y regla de parada) es más crítica que la elección del marco (Bayesiano vs. Frecuentista). La etiqueta "Bayesiano" por sí sola no garantiza el control de errores; solo configuraciones específicas dentro de la jerarquía proporcionan las garantías rigurosas necesarias para la experimentación a gran escala.