📊 statistics

Balancing Evidentiary Value and Sample Size of Adaptive Designs with Application to Animal Experiments

Este artículo propone el Índice de Información de la Unidad Experimental (EUII), una métrica novedosa que equilibra las tasas de error estadístico y el tamaño de la muestra para cuantificar el valor probatorio de las unidades experimentales individuales, demostrando su utilidad en la optimización de experimentos animales adaptativos para reducir los tamaños de muestra manteniendo inferencias fiables.

Autores originales: Leonhard Held, Fadoua Balabdaoui, Saverio Fontana, Samuel Pawel

Publicado 2026-05-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Leonhard Held, Fadoua Balabdaoui, Saverio Fontana, Samuel Pawel

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un científico realizando experimentos con animales. Tu objetivo es descubrir si un nuevo tratamiento funciona. Pero también tienes un deber moral y práctico: quieres utilizar el menor número posible de animales (el principio de "Reducción") y, al mismo tiempo, estar absolutamente seguro de que tus resultados son reales y no solo un accidente afortunado.

Por lo general, los científicos realizan un delicado acto de equilibrio. Si utilizan demasiados pocos animales, podrían pasar por alto un efecto real. Si utilizan demasiados, están desperdiciando recursos. Tradicionalmente, comparan diferentes diseños experimentales observando dos números: con qué frecuencia generan una falsa alarma (error de Tipo I) y con qué frecuencia encuentran con éxito un efecto real (Potencia).

Pero este artículo introduce una nueva forma de abordar el problema. Pregunta: "¿Cuánta información útil nos proporciona realmente un solo animal?"

Aquí tienes el desglose de su idea utilizando analogías simples:

1. El problema con la vieja forma

Imagina que estás tratando de adivinar si una moneda es justa o está trucada.

Método A: Lanzas la moneda 100 veces. Obtienes una respuesta clara.
Método B: Lanzas la moneda 10 veces, pero haces un poco de trampa echando un vistazo a los resultados con antelación y deteniéndote si ves un patrón. Obtienes una respuesta más rápido, pero tu "trampa" hace que tu tasa de error sea ligeramente más alta.

Tradicionalmente, comparar el Método A y el Método B es difícil porque tienen reglas diferentes para "hacer trampa" (tasas de error) y costos diferentes (número de lanzamientos). No se puede decir fácilmente cuál es "mejor" solo mirando los números crudos.

2. La nueva herramienta: El "Índice de Información de la Unidad Experimental" (EUII)

Los autores crearon una nueva puntuación llamada Índice de Información de la Unidad Experimental (EUII). Piensa en esto como una puntuación de "Valor por Animal".

Para entender esto, tomaron prestado un concepto de los diagnósticos médicos llamado Odds Ratio Diagnóstico.

Imagina una prueba médica para una enfermedad. Una prueba "buena" es aquella donde un resultado positivo sugiere fuertemente que tienes la enfermedad, y un resultado negativo sugiere fuertemente que estás sano.
Los autores se dieron cuenta de que un experimento estadístico es exactamente como una prueba médica. La "enfermedad" es la hipótesis de que el tratamiento funciona.
Calcularon una puntuación que te dice: "Si añado un animal más a mi experimento, ¿cuánto mejora mi capacidad para distinguir la verdad de la mentira?"

Si la puntuación es alta, cada animal que utilizas está trabajando muy duro para darte una respuesta clara. Si la puntuación es baja, estás desperdiciando animales en datos que no ayudan mucho.

3. El truco de "Parada Temprana" (Diseños Adaptativos)

El artículo se centra fuertemente en los Diseños Adaptativos. Esto es como un detective que no se adhiere a un plan rígido.

El Plan: "Entrevistaré a 100 testigos".
El Giro Adaptativo: "Entrevistaré a los testigos uno por uno. Si encuentro una prueba concluyente en el testigo nº 20, me detengo inmediatamente (Parada por Eficacia). Si me doy cuenta de que la historia no tiene sentido en el testigo nº 30, me detengo inmediatamente porque es una pérdida de tiempo (Parada por Futilidad)".

Esto ahorra animales (o testigos) porque no entrevistas al resto si ya conoces la respuesta. Sin embargo, detenerse temprano cambia las matemáticas. Hace que el cálculo del "Valor por Animal" sea complicado porque el número de animales utilizados ya no es fijo.

4. Lo que descubrieron

Los autores tomaron esta nueva puntuación de "Valor por Animal" y la aplicaron a miles de experimentos con animales reales del pasado (aproximadamente 2.700) para ver qué habría sucedido si hubieran utilizado estas reglas de "Parada Temprana".

La Gran Victoria: Descubrieron que utilizar reglas de "Parada Temprana" (especialmente un tipo específico llamado diseño de Pocock) podría ahorrar un número masivo de animales. En su simulación, habrían podido ahorrar más de 13.000 animales en esos estudios al detenerse temprano cuando los resultados eran obvios.
La Compensación: A veces, detenerse temprano significa que rechazas la "hipótesis nula" (decir que el tratamiento funciona) ligeramente menos a menudo que con un diseño rígido. Pero los autores argumentan que esto está bien porque la calidad de la información por animal restante es mayor.
El Ganador: Entre las diferentes estrategias de "Parada Temprana", el método de Pocock (que utiliza un umbral consistente y ligeramente más flexible para detenerse temprano) generalmente dio la puntuación más alta de "Valor por Animal". Fue el más eficiente para exprimir información de cada animal utilizado.

5. La controversia de "N-Hacking"

El artículo también examinó un método llamado "N-hacking" (o "Aumento de Muestra Restringido"), propuesto por otro investigador llamado Reinagel.

La Idea: Si los resultados parecen "casi significativos", añade unos pocos animales más para ver si cruza la línea. Si parece desesperado, detente.
El Problema: Este método técnicamente aumenta la probabilidad de una falsa alarma (error de Tipo I).
El Veredicto: Los autores descubrieron que, incluso con esta tasa de error más alta, el método de Reinagel era muy eficiente para ahorrar animales y tenía una puntuación alta de "Valor por Animal". Sin embargo, señalaron que el método de Pocock (que controla los errores estrictamente) seguía siendo un contendiente muy fuerte y a menudo funcionaba tan bien o mejor dependiendo de la situación.

La Conclusión

Este artículo no dice simplemente "utiliza menos animales". Proporciona una regla matemática para medir exactamente cuánta información contribuye cada animal.

Al utilizar esta regla, demostraron que detener los experimentos temprano (cuando la respuesta es clara o cuando está perdido) es una forma inteligente de seguir el principio de "Reducción". Permite a los científicos obtener respuestas fiables utilizando menos animales, sin tener que sacrificar la fiabilidad de la ciencia. El diseño de Pocock surgió como una recomendación principal para lograr este equilibrio en la investigación con animales.

Resumen Técnico: Equilibrio entre el Valor Probatorio y el Tamaño Muestral de Diseños Adaptativos con Aplicación a Experimentos con Animales

Planteamiento del Problema
En la investigación con animales, el pilar "Reduce" de los principios 3R (Reemplazar, Reducir, Refinar) aboga por minimizar el número de unidades experimentales manteniendo inferencias estadísticas fiables. Las pruebas de hipótesis estadísticas estándar se centran típicamente en controlar la tasa de error de Tipo I ( $\alpha$ ) y maximizar la potencia, ignorando a menudo el tamaño muestral esperado o tratándolo como una restricción fija. Esto genera un desafío al comparar diferentes diseños experimentales, particularmente los diseños adaptativos (por ejemplo, diseños secuenciales grupales) que permiten la detención anticipada por eficacia o futilidad. Tales diseños resultan en tamaños muestrales aleatorios, lo que dificulta las comparaciones directas de potencia y tasas de error, especialmente cuando los diseños tienen diferentes tasas de error de Tipo I o tamaños muestrales esperados. Las puntuaciones de rendimiento existentes a menudo no tienen en cuenta las variaciones en el tamaño muestral o requieren una ponderación arbitraria de los componentes. El artículo aborda la necesidad de una métrica unificada que equilibre el error de Tipo I, la potencia y el tamaño muestral para cuantificar el valor probatorio de una sola unidad experimental.

Metodología
Los autores proponen una nueva medida denominada Índice de Información de la Unidad Experimental (EUII). La metodología se basa en los siguientes pasos lógicos:

Razones de Verosimilitud Diagnóstica: Los autores adaptan conceptos de pruebas diagnósticas a las pruebas de hipótesis estadísticas. Definen las razones de verosimilitud positiva y negativa ( $LR_+$ y $LR_-$ ) para un resultado de prueba:
- $LR_+ = \text{Potencia} / \text{Tasa de error de Tipo I}$
- $LR_- = (1 - \text{Potencia}) / (1 - \text{Tasa de error de Tipo I})$
  Estas razones relacionan las probabilidades de que la hipótesis alternativa ( $H_1$ ) sea cierta dado un resultado significativo o no significativo.
Razón de Probabilidades Diagnóstica (DOR): La DOR se define como la relación de estas razones de verosimilitud ( $DOR = LR_+ / LR_-$ ). Cuantifica la capacidad de una prueba para discriminar entre $H_1$ y $H_0$ , interpretable tanto como la relación de las probabilidades de significación bajo $H_1$ versus $H_0$ (frecuentista) como la relación de las probabilidades posteriores de $H_1$ dado un resultado significativo versus no significativo (bayesiano).
Normalización para el Tamaño Muestral (EUII): Para tener en cuenta el número de unidades experimentales ( $n$ ), los autores proponen tomar la raíz $n$ -ésima de la DOR:
$EUII = DOR^{1/n} = \frac{(LR_+)^{1/n}}{(LR_-)^{1/n}}$
Esto representa la contribución promedio geométrica de una sola unidad experimental al valor probatorio general. Una prueba útil tiene un $EUII > 1$.
Extensión a Diseños Adaptativos: Para diseños adaptativos donde el tamaño muestral $N$ es aleatorio, los autores generalizan el EUII. Dado que las razones de verosimilitud actúan multiplicativamente sobre las probabilidades, el índice se define utilizando los tamaños muestrales inversos esperados para hallazgos significativos ( $N_+$ ) y no significativos ( $N_-$ ):
$EUII = (LR_+)^{E(1/N_+)} / (LR_-)^{E(1/N_-)}$
Esta formulación tiene en cuenta la variabilidad en el tamaño muestral (a través del coeficiente de variación) y requiere un valor de entrada para la probabilidad a priori de la hipótesis alternativa, $Pr(H_1)$ , para ponderar los tamaños muestrales inversos esperados bajo las hipótesis nula y alternativa.

Contribuciones y Resultados Clave

Propiedades Teóricas: El artículo deriva el valor asintótico del EUII para tamaños muestrales fijos. Para una prueba $z$ de una muestra, $\lim_{n \to \infty} EUII = \exp(\delta^2/2)$ , donde $\delta$ es el tamaño del efecto estandarizado. Para una prueba de dos muestras, el límite es $\exp(\delta^2/8)$ . Esto demuestra que el valor probatorio asintótico depende únicamente del tamaño del efecto asumido bajo la alternativa.
Estudio de Caso Motivador (Bonapersona et al., 2021): Los autores reanalizaron 2.738 experimentos con animales en neurociencia y metabolismo. Mediante la simulación de análisis interinos, demostraron que los diseños secuenciales grupales con detención por futilidad podían ahorrar un número sustancial de animales (por ejemplo, el diseño de Pocock con detención por futilidad ahorró ~13.500 animales en el conjunto de datos) manteniendo tasas de rechazo razonables.
Comparación de Diseños Secuenciales Grupales: En simulaciones que comparaban los diseños de Pocock, O'Brien-Fleming y Haybittle-Peto (con y sin detención por futilidad), el EUII reveló que:
- Los diseños adaptativos generalmente producen valores de EUII más altos que los diseños de tamaño muestral fijo.
- El método de Pocock demostró consistentemente el EUII más alto, particularmente cuando se combina con detención por futilidad. Esto se atribuye a sus niveles de significación nominales constantes, que permiten una detención más temprana bajo la hipótesis nula, reduciendo así el tamaño muestral esperado para hallazgos no significativos.
- El EUII es sensible a la probabilidad a priori $Pr(H_1)$ , aunque la clasificación relativa de los métodos a menudo permanece estable.
Evaluación de la "Ampliación de Muestra Restringida" (N-hacking): El artículo evaluó el método de "ampliación de muestra restringida" de Reinagel (2023), que consiste en añadir datos si se observa una "tendencia a la significación", siempre que se aplique una parada por futilidad si $p > 0.1$ $p > 0.1$ .
- Aunque este método infla la tasa de error de Tipo I, el análisis del EUII mostró que puede lograr un alto valor probatorio por unidad, a menudo superando a los métodos secuenciales grupales estándar sin detención por futilidad.
- Sin embargo, cuando los métodos secuenciales grupales estándar (como Pocock) también se equipan con detención por futilidad (basada en la potencia predictiva), a menudo igualan o superan el EUII del enfoque de Reinagel, particularmente para tamaños de efecto más grandes.

Significado y Afirmaciones
El artículo afirma que el EUII proporciona una "medida del valor probatorio de una unidad experimental" que permite la comparación directa de diseños estadísticos con diferentes tasas de error de Tipo I, niveles de potencia y tamaños muestrales esperados.

Utilidad Práctica: Los autores argumentan que el EUII es particularmente útil para la investigación con animales donde el objetivo es maximizar la información por animal. Ofrece una métrica única para equilibrar las compensaciones entre las tasas de error y la eficiencia del tamaño muestral.
Selección de Diseño: Los resultados sugieren que, para experimentos con animales, los diseños secuenciales grupales con umbrales de significación constantes (como Pocock) combinados con detención por futilidad son a menudo óptimos, ya que minimizan el tamaño muestral esperado bajo la hipótesis nula sin sacrificar el valor probatorio.
Alcance Moderado: Los autores reconocen que el EUII depende de la especificación de la probabilidad a priori $Pr(H_1)$ y del tamaño del efecto asumido. Señalan que, en la práctica, el EUII a menudo requiere estimación mediante simulación. El artículo no afirma que el EUII sea un reemplazo para los cálculos de potencia, sino más bien una métrica complementaria para la selección y optimización de diseños, particularmente en el contexto de los principios 3R.

El artículo concluye que el EUII integra con éxito las tasas de error frecuentistas y las probabilidades posteriores bayesianas en una métrica ajustada por tamaño muestral, ofreciendo un marco robusto para evaluar y optimizar diseños experimentales adaptativos en investigación preclínica.