🤖 machine learning

Actions Have Consequences: Detecting Outcome Performativity using Intervention Testing

Este artículo introduce la Detección A/B de Performatividad de Resultados (OPAB, por sus siglas en inglés), un marco formal que utiliza pruebas de intervención para detectar cuándo las predicciones influyen causalmente en sus propios resultados, mientras deriva y valida límites de complejidad de muestra para identificar configuraciones donde dicha detección es factible o imposible debido a las restricciones de los datos.

Autores originales: Brandon Gower-Winter, Georg Krempl

Publicado 2026-07-30

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Brandon Gower-Winter, Georg Krempl

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un pronosticador del tiempo. Normalmente, solo miras las nubes y dices: "Va a llover". Tu predicción no cambia el clima; el cielo hace lo que quiere independientemente de lo que digas. Pero, ¿qué pasaría si tu predicción pudiera cambiar el clima? ¿Qué pasaría si, en el momento en que gritas "¡Lluvia!" a la multitud, las nubes se agruparan porque la gente empieza a abrir paraguas y el viento cambia de dirección? En el mundo de la Inteligencia Artificial, este extraño fenómeno es real. Se llama Performatividad de Resultado (Outcome Performativity). Ocurre cuando la suposición de una computadora sobre el futuro ayuda a crear ese mismo futuro. Piensa en la IA de un banco prediciendo quién incumplirá un préstamo. Si la IA dice: "Esta persona es riesgosa", y el banco le niega el préstamo, esa persona podría realmente caer en la quiebra debido a que se le negó el dinero. La predicción causó el resultado.

Este es un problema complicado para los científicos porque crea un bucle de retroalimentación. Si una IA aprende de datos donde sus propias predicciones cambian los resultados, podría confundirse, pensando que es una genia cuando en realidad es solo una profeta autocumplida. La gran pregunta es: ¿Cómo detectamos este comportamiento antes de dejar suelta a la IA en el mundo real? Necesitamos una forma de probar si nuestras predicciones están secretamente moviendo los hilos. Aquí es donde un nuevo método llamado OPAB (Detección de Performatividad de Resultado A/B) entra en juego, actuando como un detective científico para ver si la IA está controlando secretamente el juego.

El kit de herramientas del detective: OPAB

El artículo presenta un método llamado OPAB, que es esencialmente un experimento de "¿qué pasaría si?" para las predicciones de la IA. Para entender cómo funciona, imagina que diriges la cafetería de una escuela. Quieres saber si decirle a los estudiantes "La pizza es mala" realmente hace que coman menos pizza.

En un experimento normal, podrías simplemente preguntar a los estudiantes qué piensan de la pizza y ver cuánto comen. Pero eso es defectuoso porque los estudiantes que piensan que la pizza es mala podrían ser ya de por sí comedores selectivos. La predicción (su opinión) y el resultado (comer) están enredados.

OPAB desenreda este nudo utilizando una técnica llamada Prueba de Intervención. En lugar de dejar que los estudiantes decidan qué piensan, el gerente de la cafetería lanza una moneda por cada estudiante. Cara, les dices: "¡La pizza es increíble!". Cruz, les dices: "¡La pizza es terrible!". Fuerza la predicción, ignorando completamente lo que el estudiante realmente piensa o quién es. Luego, observas qué sucede. Si el grupo al que se le dijo "La pizza es increíble" come significativamente más que el grupo al que se le dijo "La pizza es terrible", has atrapado a la IA (o al gerente de la cafetería) en el acto de la Performatividad de Resultado. La predicción causó el cambio de comportamiento.

Las reglas del juego: ¿Cuándo podemos atraparlo?

Los autores no solo construyeron el detector; también determinaron exactamente cuántos estudiantes (o puntos de datos) necesitas realizar este experimento para estar seguro de que no estás viendo un simple caso fortuito. Ellos lo llaman Complejidad de Muestra (Sample Complexity).

Piensa en esto como intentar escuchar un susurro en una habitación ruidosa. Si el susurro es muy fuerte (un efecto potente), solo necesitas a unas pocas personas para escucharlo. Pero si el susurro es apenas audible (un efecto diminuto), es posible que necesites un estadio lleno de gente para estar seguro de que lo escuchaste y que no lo imaginaste.

El artículo explora tres diferentes "escenarios" o reglas sobre cómo la IA podría estar influyendo en el mundo:

La Regla Simple: La predicción cambia el resultado directamente, como un interruptor mágico.
La Regla del Modelo: La predicción cambia el resultado basándose en los detalles específicos de la persona (como su edad o ubicación).
La Regla del Error: La predicción solo cambia el resultado si la IA comete un error (como decirle a una persona sana que está enferma).

Para cada uno de estos, los autores derivaron fórmulas matemáticas para calcular el número mínimo de "lanzamientos de moneda" (intervenciones) necesarios. Encontraron que si el efecto es muy pequeño, el número de personas que necesitas probar se dispara hasta el infinito. Esto crea lo que ellos llaman Regiones de Indistinguibilidad. Estas son configuraciones donde el efecto es tan sutil, o el costo de probar es tan alto, que es prácticamente imposible distinguir si la IA está siendo performativa o no. Es como intentar escuchar la caída de un alfiler en medio de un huracán; no importa a cuánta gente le preguntes, no puedes estar seguro.

La prueba del mundo real: La tienda de moda

Para ver si su teoría se mantenía, los autores probaron OPAB con un conjunto de datos real de un sitio web de moda llamado ZOZOTOWN. Este conjunto de datos rastreaba qué artículos de ropa se mostraban a los usuarios y si hacían clic en ellos. Crucialmente, para algunos usuarios, la posición del artículo (izquierda, centro o derecha) se elegía de forma aleatoria, al igual que el lanzamiento de la moneda en nuestra historia de la cafetería.

Dividieron los datos en hombres y mujeres. Cuando aplicaron OPAB a los datos de los hombres, el detector se activó: la posición del artículo sí cambió si la gente hacía clic (Performatividad de Resultado). Pero cuando probaron los datos de las mujeres, el detector permaneció en silencio. Esto sugiere que para las mujeres, el orden de los artículos no importaba, pero para los hombres, sí lo hacía. Esto demuestra que OPAB puede detectar estas influencias ocultas en el mundo real.

Los límites y el futuro

El artículo señala cuidadosamente que esto no es una solución mágica que lo resuelve todo. El método funciona mejor cuando tienes suficientes datos. Si el efecto es minúsculo, o si los datos están muy desequilibrados (como tener muchísimos más clics en un artículo que en otro), el detector podría fallar. Los autores también señalan que este método es una herramienta offline, lo que significa que es mejor usarlo antes de lanzar un nuevo sistema de IA, durante la fase de prueba, en lugar de intentar arreglarlo cuando ya está en funcionamiento.

Compararon su método con un método antiguo, de tipo online, que espera a que la IA funcione y luego comprueba si los resultados cambiaron. Encontraron que su método de "lanzamiento de moneda" (OPAB) era mucho más eficiente y confiable, detectando el problema con muchos menos puntos de datos.

Al final, este artículo nos brinda una nueva forma de mirar detrás de la cortina. Nos dice que, si bien no siempre podemos atrapar cada influencia sutil que una IA pueda tener, tenemos un mapa matemático que nos muestra exactamente dónde están las zonas de peligro y cuántos datos necesitamos para estar seguros. Es un paso crucial hacia asegurar que nuestras herramientas de IA nos ayuden en lugar de, accidentalmente, engañarnos para que creemos los mismos problemas que se suponía debían resolver.

Resumen Técnico: Detección de la Performatividad del Resultado mediante Pruebas de Intervención

Definición del Problema

En muchos dominios críticos como los cuidados paliativos, la asignación de crédito y los sistemas de recomendación, las predicciones generadas por modelos de Aprendizaje Automático (ML) pueden influir causalmente en los resultados que pretenden predecir. Este fenómeno, conocido como Performatividad del Resultado (Outcome Performativity), ocurre cuando el resultado realizado $Y$ de una instancia $X$ depende no solo de las características $X$ , sino también de la predicción $\hat{Y}$ asignada a esa instancia. Por ejemplo, asignar tasas de interés altas a deudores de alto riesgo puede aumentar la probabilidad de impago, o asignar cuidados paliativos en lugar de cuidados curativos puede influir en la supervivencia de un paciente.

Mientras que la investigación existente sobre la Predicción Performativa asume que la presencia de tales bucles de retroalimentación es conocida a priori, este artículo aborda la brecha en la detección de la Performatividad del Resultado, particularmente en entornos offline (durante la recolección de datos o antes del despliegue del modelo). La performatividad no detectada puede llevar a modelos que exacerban el sesgo o sufren una degradación del rendimiento. Los métodos actuales para identificar estos efectos en entornos online existen, pero hay un trabajo limitado sobre su identificación en entornos offline, lo cual es crucial por razones éticas y financieras antes de desplegar un modelo.

Metodología: Detección A/B de la Performatividad del Resultado (OPAB)

Los autores proponen la Detección A/B de la Performatividad del Resultado (OPAB), un método de prueba de intervención offline inspirado en los Ensayos Controlados Aleatorizados (RCT) y las pruebas A/B.

Mecanismo Central

Las pruebas de hipótesis estándar que comparan distribuciones de resultados condicionadas a las predicciones de un clasificador ( $P(Y|\hat{Y}=0)$ vs. $P(Y|\hat{Y}=1)$ ) son insuficientes porque las propias predicciones $\hat{Y}$ dependen de las características $X$ , creando variables de confusión. Para romper esta dependencia, OPAB realiza una intervención do sobre las predicciones.

Asignación Aleatoria: En lugar de utilizar un predictor entrenado $\phi(X)$ , OPAB asigna aleatoriamente predicciones $\hat{y} \in \{0, 1\}$ a las instancias $X$ con una probabilidad igual (Bernoulli(0.5)). Esto desacopla $\hat{Y}$ de $X$ .
Observación: El sistema observa los resultados $Y$ resultantes para estas predicciones asignadas aleatoriamente.
Prueba de Hipótesis: OPAB realiza una prueba estadística de la disimilitud entre las distribuciones de los resultados de los dos grupos de intervención:
$H(P(Y | \text{do}(\hat{Y}=0)), P(Y | \text{do}(\hat{Y}=1))) \leq \delta$
Si las distribuciones son significativamente diferentes (donde $H$ es una prueba como Chi-cuadrado o Exacta de Fisher, y $\delta$ es el umbral de significancia), se detecta la Performatividad del Resultado.

Clases de Supuestos

El artículo deriva límites de complejidad de muestra (el número mínimo de intervenciones $N$ requerido) bajo tres clases distintas de supuestos de Performatividad del Resultado:

Performatividad del Resultado Simple: La probabilidad del resultado depende únicamente de la predicción $\hat{y}$ , abstrayendo el espacio de características $X$ .
Performatividad del Resultado Basada en Modelos: El resultado depende de la posición de la instancia en el espacio de características y de la predicción, modelado como un desplazamiento lineal en el espacio de características basado en pesos de predicción.
Performatividad del Resultado Basada en la Clasificación Errónea: La Performatividad del Resultado ocurre solo cuando la predicción $\hat{y}$ no coincide con un resultado "deseable" $\bar{y}$ . La probabilidad de que el resultado deseado se realice a pesar de la clasificación errónea está gobernada por los parámetros $\gamma_0$ y $\gamma_1$ .

Principales Contribuciones

Formalización de la Detección Offline: El artículo formaliza el uso de pruebas de intervención (OPAB) para detectar la Performatividad del Resultado antes del despliegue del modelo, contrastando con los métodos que requieren un modelo desplegado para observar los bucles de retroalimentación.
Límites de Complejidad de Muestra: Los autores derivan límites teóricos para el número de muestras ( $N$ ) requeridas para detectar la Performatividad del Resultado para las tres clases de supuestos. Estos límites revelan que la detección se vuelve cada vez más difícil (requiriendo $N \to \infty$ ) a medida que la diferencia en la respuesta performativa entre los grupos de predicción se acerca a cero.
Regiones de Indistinguibilidad: Un concepto clave introducido es la "región de indistinguibilidad". Estas son configuraciones de parámetros donde el número de intervenciones asignado es insuficiente para detectar la Performatividad del Resultado de manera fiable. Esto resalta las limitaciones prácticas en escenarios donde las muestras son escasas, costosas o están restringidas éticamente.
Validación Empírica: El método se valida con datos sintéticos imputados con performatividad en seis conjuntos de datos de clasificación binaria del mundo real (Cáncer de Mama, Diabetes, Adult Census, Kickstarter, Titanic, Loan) y un estudio de caso real sobre el Open Bandits Dataset (OBD).

Resultados

Eficacia de la Detección: OPAB detecta con éxito la Performatividad del Resultado en varios entornos. Las tasas de detección aumentan con el número de intervenciones ( $N$ ).
Indistinguibilidad: Los experimentos confirman la existencia de regiones de indistinguibilidad. Por ejemplo, en la Performatividad del Resultado Simple, si los parámetros de respuesta performativa $\alpha_0$ y $\alpha_1$ son casi idénticos, incluso tamaños de muestra grandes ( $N=10,000$ ) fallan en detectar la performatividad.
Especificidades de los Datasets:
- En el Open Bandits Dataset, OPAB detectó la Performatividad del Resultado en el subconjunto de "hombres" (donde la colocación de artículos influyó en los clics), pero no en el subconjunto de "mujeres".
- Desequilibrio de Clases: Los resultados indican que el desequilibrio de clases impacta significativamente la detección. Los conjuntos de datos equilibrados permiten una detección más eficiente, mientras que los conjuntos de datos altamente desequilibrados (por ejemplo, las tasas de clics de OBD) requieren exponencialmente más muestras para detectar efectos sutiles.
Comparación con Métodos Online: Una comparación con un método de detección online (Detección Adam, basada en el monitoreo de cambios en la Tasa de Verdaderos Positivos) muestra que OPAB logra tasas de detección más altas y consistentes utilizando solo el 10% de las muestras requeridas por el método online. OPAB también es inmune a los problemas de deriva de concepto (concept drift) que afectan a los métodos online.

Significado y Reivindicaciones

El artículo afirma que OPAB proporciona una herramienta práctica y eficiente en términos de muestras para que los profesionales identifiquen la Performatividad del Resultado antes de desplegar modelos, evitando potencialmente el despliegue de sistemas que inadvertidamente dañen los resultados o refuercen el sesgo.

La derivación de los límites de complejidad de muestra ofrece una visión crítica: existen configuraciones donde detectar la Performatividad del Resultado es prácticamente inviable debido al número prohibitivo de intervenciones requeridas. Esto tiene implicaciones significativas en dominios de alto riesgo (como la atención médica) donde las pruebas de intervención pueden ser poco éticas o demasiado costosas. En tales casos, si un entorno cae dentro de una "región de indistinguibilidad", los profesionales pueden necesitar confiar en métodos no intervencionistas (que se señalan como menos eficientes en muestras) o aceptar el riesgo de una performatividad no detectada.

Los autores concluyen que, si bien OPAB es efectivo, depende del supuesto de uniformidad en todo el espacio de características y no tiene en cuenta la latencia de verificación ni las etiquetas ruidosas. El trabajo futuro pretende abordar estas limitaciones.