🤖 machine learning

Optimal Regularization for Performative Learning

Este artículo demuestra que en el aprendizaje performativo, donde las distribuciones de datos cambian en respuesta a los modelos desplegados, la regularización óptima escala con la fuerza de estos efectos y puede, de hecho, mejorar el riesgo de prueba en regímenes sobreparametrizados, ofreciendo una estrategia para anticipar y mitigar los cambios distributivos.

Autores originales: Edwige Cyffers, Alireza Mirrokni, Marco Mondelli

Publicado 2026-06-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Edwige Cyffers, Alireza Mirrokni, Marco Mondelli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un entrenador entrenando a un equipo de atletas. En un escenario de entrenamiento normal, los atletas permanecen iguales y tú solo ajustas tu estrategia de entrenamiento para obtener los mejores resultados basados en su rendimiento actual. Así es como funciona la mayor parte del aprendizaje automático hoy en día: entrenas un modelo con datos y esperas que funcione bien con datos nuevos y similares.

Pero en el Aprendizaje Performativo (Performative Learning), la situación es un poco como un juego de "Piedra, Papel o Tijera" donde los jugadores cambian su estrategia porque saben cuál es tu movimiento.

El Problema: El Efecto de "Engañar al Sistema"

Imagina que eres una IA que decide quién recibe un préstamo.

La forma antigua: Miras sus ingresos y su puntuación crediticia. Si tienen ingresos bajos, dices "No".
El giro performativo: Los solicitantes son inteligentes. Se dan cuenta de que si simplemente pretenden tener unos ingresos ligeramente superiores (o manipulan sus datos), tú dirás "Sí". Por lo tanto, cambian su comportamiento para "engañar" a tu modelo.
El resultado: Los datos que ves mañana serán diferentes a los que viste hoy. La distribución de los solicitantes ha cambiado porque tu modelo causó que ellos cambiaran. Si sigues entrenando con estos nuevos datos manipulados sin darte cuenta de lo que está sucediendo, tu modelo podría empeorar con el tiempo, o podría empezar a tomar decisiones injustas.

La Solución: Las "Ruedas de Entrenamiento" (Regularización)

La investigación plantea: ¿Cómo evitamos que el modelo se confunda por estos jugadores que cambian?

Los autores sugieren utilizar una técnica llamada Regularización. Piensa en la regularización como "ruedas de entrenamiento" o una "restricción" para tu modelo. Evita que el modelo se obsesione con detalles específicos y ruidosos de los datos. Obliga al modelo a mantenerse "simple" y "constante" en lugar de reaccionar exageradamente a cada pequeño truco que los datos intentan ejecutar.

El Gran Descubrimiento: Depende de Cuántos Datos Tengas

El artículo encuentra que la "cantidad perfecta" de ruedas de entrenamiento depende de cuántos datos tengas. Estudiaron dos escenarios principales:

1. El Escenario del "Océano de Datos" (Régimen de Población)

Imagina que tienes un suministro infinito de datos (como un océano).

Qué sucede: El efecto performativo (los jugadores engañando al sistema) hace que las predicciones del modelo empeoren. Es como si el viento estuviera desviando el bote de su curso.
La solución: Necesitas más ruedas de entrenamiento (regularización) para contrarrestar este viento. Cuanto más fuerte intenten los jugadores engañar al sistema, más fuertes deberán ser las ruedas de entrenamiento para mantener el modelo estable.
La analogía: Si el viento es fuerte, necesitas un ancla pesada para evitar que el bote derive.

2. El Escenario del "Charco Diminuto" (Régimen Sobreparametrizado)

Imagina que tienes muy pocos puntos de datos, pero tu modelo es enorme y complejo (como intentar encajar un rompecabezas gigante en una caja pequeña). Esto es común en el aprendizaje profundo moderno (como el Deep Learning).

Qué sucede: Sorprendentemente, cuando los jugadores intentan engañar al sistema aquí, ¡puede que esto realmente ayude al modelo en algunos casos! Si los jugadores todos cambian su comportamiento en la misma dirección (reforzando una tendencia), el modelo puede aprender esa tendencia más rápido.
El giro: Sin embargo, la cantidad "perfecta" de ruedas de entrenamiento cambia según qué tan "ruidosos" sean los datos.
- Si los datos están limpios (bajo ruido): El modelo debe inclinarse con la tendencia que los jugadores están creando. Las ruedas de entrenamiento deben ajustarse para seguir al viento.
- Si los datos son desordenados (alto ruido): El modelo debe inclinarse en contra de la tendencia. Las ruedas de entrenamiento deben presionar hacia atrás para evitar que el modelo se confunda por el ruido.
La analogía: Si estás caminando en una multitud que se mueve toda hacia la izquierda, y el suelo es liso, puedes simplemente caminar hacia la izquierda con ellos. Pero si el suelo es resbaladizo y desordenado, necesitas agarrarte a una barandilla (regularización) para no caerte, incluso si todos los demás se inclinan hacia la izquierda.

La Conclusión Principal

El artículo demuestra que no necesitas saber exactamente cómo los jugadores están cambiando su comportamiento para solucionar el problema. Solo necesitas saber qué tan fuerte es la presión.

¿Presión más fuerte para engañar al sistema? Aumenta la regularización (añade más ruedas de entrenamiento).
¿Presión más débil? Puedes relajar las ruedas de entrenamiento.

Los autores probaron esto con datos del mundo real (como precios de la vivienda y admisiones en facultades de derecho) y descubrieron que, aunque el mundo real es desordenado y no es perfectamente matemático, la regla se mantiene: Ajustar la "restricción" de tu modelo basándose en la fuerza del efecto performativo ayuda a que funcione mejor.

En resumen: Cuando las predicciones de tu modelo cambian el mundo, y el mundo cambia de vuelta para engañar a tu modelo, la mejor defensa es un simple "freno" ajustable (regularización) que aprietas o aflojas dependiendo de qué tan fuerte te empuje el mundo.

Resumen Técnico: Regularización Óptima para el Aprendizaje Performativo

Planteamiento del Problema
En el aprendizaje performativo, la distribución de los datos reacciona al modelo desplegado, creando un bucle de retroalimentación donde los usuarios estratégicos adaptan sus características para manipular el sistema o donde las profecías autocumplidas alteran los resultados (por ejemplo, en aprobaciones de préstamos o vigilancia predictiva). Esta dinámica complica el aprendizaje supervisado estándar, ya que optimizar para la distribución de datos actual puede dirigir la distribución hacia un nuevo estado, potencialmente peor. Los métodos existentes intentan estimar y optimizar estos efectos performativos, pero a menudo dependen de despliegues repetidos y de una caracterización precisa del cambio en la distribución, lo cual es inviable en entornos de alta dimensionalidad o cuando el despliegue se limita a una única instancia tras el entrenamiento (Minimización de Riesgo Repetido, o RRM). El artículo aborda el desafío de mitigar estos efectos sin estimar explícitamente el cambio en la distribución, centrándose en cambio en el papel de la regularización.

Metodología
Los autores investigan el impacto de la regularización de Ridge en la regresión lineal bajo efectos performativos, analizando dos regímenes distintos:

Régimen de Población: Un entorno con suficientes datos para recuperar exactamente los coeficientes de regresión en cada despliegue. Los autores modelan el efecto performativo como un desplazamiento lineal en la etiqueta ( $y = x^\top \theta^*_{pop} + x^\top D\theta + w$ ), donde $D$ codifica la performatividad. Derivan el punto fijo de la secuencia RRM y analizan el exceso de riesgo como una función del parámetro de regularización $\lambda$ .
Régimen Sobreparametrizado: Un entorno de alta dimensionalidad donde el número de características $p$ supera al número de muestras $n$ ( $p/n = \kappa > 1$ ). Aquí, los autores emplean herramientas de la estadística de alta dimensionalidad para establecer un equivalente determinista del riesgo en el punto fijo performativo. Este equivalente depende únicamente de la covarianza de la población, los parámetros reales, la matriz performativa $D$ y la fuerza de la regularización, efectivamente promediando la aleatoriedad de las muestras finitas.

El análisis distingue entre características predictivas (que correlacionan con la etiqueta real) y características espurias (que no lo hacen), examinando cómo la performatividad interactúa con ambas, particularmente cuando están correlacionadas a través de la matriz de covarianza.

Contribuciones Clave y Resultados

Hallazgos del Régimen de Población:
- Se demuestra que el parámetro de regularización óptimo $\lambda^*_{pop}$ es proporcional a la fuerza del efecto performativo ( $\bar{b}$ ).
- La regularización mitiga la pérdida de rendimiento causada por la performatividad. Específicamente, se puede lograr un exceso de riesgo cero si la covarianza es isotrópica y el efecto performativo es uniforme en todas las características.
- En presencia de estructuras de covarianza complejas o efectos performativos altamente variables, el riesgo sigue siendo significativo, pero la regularización óptima sigue proporcionando la mejor mitigación posible.
- El artículo señala que, en algunos casos, la regularización óptima puede ser negativa (es decir, "anti-regularización"), un fenómeno observado previamente en entornos sobreparametrizados pero que aquí se muestra que ocurre en el entorno de población debido a la performatividad.
Hallazgos del Régimen Sobreparametrizado:
- Los autores derivan un equivalente determinista para el riesgo, revelando una fenomenología matizada respecto a la dirección de la regularización óptima:
  - Ruido Bajo: Cuando la varianza del ruido es pequeña, la regularización óptima se mueve en la misma dirección que el efecto performativo sobre las características predictivas.
  - Ruido Alto: Cuando la varianza del ruido es grande, la regularización óptima se mueve en la dirección opuesta al efecto performativo. Esto se interpreta como el modelo retornando a su "prior" cuando el ruido predomina.
- Mejora del Riesgo: Contrario al entorno de población donde la performatividad empeora el riesgo, el artículo encuentra que en el régimen sobreparametrizado, si la performatividad refuerza las tendencias existentes ( $\bar{b}$ positivo), el riesgo optimizado por la regularización puede incluso mejorar en comparación con el caso no performativo.
- Características Espurias: El efecto de la performatividad sobre las características espurias es generalmente atenuado por el factor $\rho^2$ (la correlación entre las características predictivas y las espurias), lo que hace que su impacto en la regularización óptima y en el riesgo sea menos pronunciado que en las características predictivas.
Validación Empírica:
- Experimentos con datos sintéticos y conjuntos de datos del mundo real (Housing y LSAC) confirman las predicciones teóricas.
- En el entorno similar al de población (gran $n$ ), la regularización óptima aumenta con la fuerza performativa, y el riesgo aumenta con la performatividad.
- En el entorno sobreparametrizado (pequeño $n$ ), el comportamiento se alinea con la predicción teórica de ruido alto: la regularización óptima disminuye a medida que la fuerza performativa aumenta, y el riesgo mejora.
- Los hallazgos se extienden más allá de la regresión de Ridge hacia otros regularizadores (Dropout, Lasso, Elastic Net) e incluso a redes neuronales en un escenario de clasificación estratégica, lo que sugiere la robustez del fenómeno.

Significancia y Reivindicaciones
El artículo afirma ser el primero en utilizar herramientas estadísticas de alta dimensionalidad para estudiar el aprendizaje performativo. Su principal significancia radica en demostrar que la regularización es un mecanismo principled, tratable y agnóstico para lidiar con los efectos performativos, incluso cuando la naturaleza exacta del cambio en la distribución es desconocida.

Los autores argumentan que, mientras que los métodos basados en la estimación están limitados a ejemplos de baja dimensionalidad o de juguete, la regularización ofrece una solución práctica para escenarios del mundo real donde el despliegue es costoso y repetido. El trabajo sugiere que los profesionales pueden anticipar los cambios performativos y ajustar la regularización en consecuencia (escalándola con la fuerza esperada del efecto) para mejorar la robustez y el rendimiento del modelo. El artículo mantiene un tono modesto, reconociendo que, aunque la teoría se centra en modelos lineales y datos aleatorios, los resultados empíricos en datos del mundo real y redes neuronales sugieren que estos conocimientos se generalizan, aunque se necesita más trabajo para explorar datos y modelos más complejos.