Global Sequential Testing for Multi-Stream Auditing

Resumen Técnico: Pruebas Secuenciales Globales para Auditoría de Múltiples Flujos

Formulación del Problema
El artículo aborda el desafío de auditar continuamente sistemas de aprendizaje automático (ML) a través de múltiples flujos de datos (por ejemplo, diferentes grupos demográficos, ubicaciones geográficas o modalidades de imagen). El objetivo es detectar lo antes posible si el sistema está funcionando de manera subóptima en cualquiera de los $k$ flujos. Esto se formaliza como un problema de prueba de hipótesis secuencial con una hipótesis nula global, $H_{global}^0$, que afirma que el sistema opera según lo previsto en todos los $k$ flujos (es decir, la media de la variable de desviación es cero para todos los flujos). La hipótesis alternativa, $H_{global}^1$, plantea que al menos un flujo tiene una media distinta de cero.

Los autores se centran en la eficiencia de estas pruebas, específicamente en el tiempo de parada esperado ($E[\tau]$), que mide qué tan rápido puede una prueba rechazar la hipótesis nula cuando la alternativa es cierta. El enfoque estándar utiliza una corrección de Bonferroni, que rastrea la riqueza máxima (evidencia) a través de los flujos y ajusta el umbral de significancia. Si bien este método garantiza una prueba de nivel-$\alpha$, el artículo argumenta que es ineficiente en escenarios "densos" donde muchos flujos se desvían de la hipótesis nula, ya que no logra agregar la evidencia de múltiples flujos de manera efectiva.

Metodología
Los autores utilizan el marco de "testing-by-betting" (pruebas mediante apuestas), construyendo procesos de supermartingalas no negativas (procesos de riqueza) para cada flujo. Para un flujo individual $i$, emplean el algoritmo Online Newton Step (ONS) para actualizar las fracciones de apuesta, asegurando que el proceso de riqueza crezca exponencialmente bajo la hipótesis alternativa mientras permanece como una martingala bajo la hipótesis nula.

Para probar la hipótesis nula global, el artículo investiga tres estrategias para fusionar la evidencia de los $k$ procesos de riqueza individuales ($W_i$):

1. Bonferroni ($\phi_{bonf}$): Rastrea la riqueza máxima, $\max_i W_i$, con un umbral de $k/\alpha$.
2. Producto ($\phi_{prod}$): Fusiona la evidencia mediante el producto de los procesos de riqueza, $W_t^{prod} = \prod_{i=1}^k W_{i,t}$.
3. Promedio ($\phi_{ave}$): Fusiona la evidencia mediante la media aritmética, $W_t^{ave} = \frac{1}{k} \sum_{i=1}^k W_{i,t}$.

Los autores derivan nuevos límites teóricos para los tiempos de parada esperados de las pruebas de fusión bajo tanto alternativas dispersas (pocos flujos no nulos) como alternativas densas (muchos flujos no nulos).

Contribuciones Clave y Resultados Teóricos
El artículo proporciona garantías rigurosas de tiempo de parada para las pruebas basadas en la fusión, destacando sus fortalezas complementarias:

• Prueba de Producto ($\phi_{prod}$): En regímenes densos (donde muchos flujos son no nulos), la prueba de producto logra un tiempo de parada esperado de $O(\frac{1}{k} \ln \frac{1}{\alpha})$. Esto es significativamente más rápido que la tasa de Bonferroni de $O(\ln k / \alpha)$. Sin embargo, en regímenes dispersos, su rendimiento se degrada a $O(k \ln k)$, lo que la hace ineficiente cuando solo unos pocos flujos son no nulos.
• Prueba de Promedio ($\phi_{ave}$): En regímenes dispersos, la prueba de promedio iguala la tasa de Bonferroni de $O(\ln k / \alpha)$. En regímenes densos, mejora a $O(\ln 1/\alpha)$, aunque no logra la aceleración de $O(1/k)$ de la prueba de producto.
• Prueba Balanceada ($\phi_{balance}$): Para abordar la incertidumbre de si la alternativa es dispersa o densa, los autores proponen una prueba balanceada simple que promedia los procesos de riqueza de producto y promedio ($W_t^{balance} = \frac{1}{2}W_t^{ave} + \frac{1}{2}W_t^{prod}$).
  • El Teorema 4.3 establece que esta prueba balanceada logra lo mejor de ambos mundos: alcanza la tasa de $O(\ln k / \alpha)$ en regímenes dispersos y la tasa de $O(\frac{1}{k} \ln \frac{1}{\alpha})$ en regímenes densos, sin requerir conocimiento previo del nivel de dispersión.

Validación Experimental
Los autores validan su teoría utilizando datos tanto sintéticos como del mundo real:

• Datos Sintéticos: Experimentos con $k=250$ flujos demuestran que $\phi_{prod}$ falla en rechazar en entornos dispersos (1% no nulo) pero sobresale en entornos densos (75% no nulo). Por el contrario, $\phi_{ave}$ y $\phi_{bonf}$ funcionan bien en entornos dispersos, pero son más lentas en los densos. La prueba balanceada coincide consistentemente con el rendimiento de la mejor estrategia en cada régimen.
• Datos del Mundo Real: Los métodos se aplicaron para auditar ConceptCLIP, un modelo de visión-lenguaje médico, a través de 10 grupos definidos por modalidades de imagen y regiones anatómicas.
  • En un escenario de zero-shot (donde el modelo mostró sesgo en la mayoría de los grupos), las pruebas de producto y la balanceada rechazaron la hipótesis nula más rápido.
  • En un escenario de post-procesamiento (que simula una alternativa dispersa donde el sesgo existía en un solo grupo), las pruebas de promedio y la balanceada rechazaron más rápido, confirmando la adaptabilidad teórica del enfoque balanceado.

Significancia
El artículo sostiene que, si bien la corrección de Bonferroni es un enfoque estándar y simple para la auditoría secuencial global, no siempre es eficiente, particularmente cuando la evidencia contra la hipótesis nula está distribuida en muchos flujos. Al aprovechar la fusión de martingalas mediante reglas de promedio y producto, los autores demuestran que es posible construir pruebas con tiempos de parada significativamente mejorados. La contribución principal es la prueba balanceada, que proporciona una solución robusta que se adapta a la dispersión desconocida de la alternativa, ofreciendo una detección más rápida del comportamiento erróneo del modelo en escenarios de auditoría de múltiples flujos, manteniendo al mismo tiempo un control estricto sobre el error de Tipo I.