When Individually Calibrated Models Become Collectively Miscalibrated

Resumen Técnico: Cuando los Modelos Calibrados Individualmente se vuelven Colectivamente Mal Calibrados

Planteamiento del Problema
Los sistemas de predicción probabilística frecuentemente agregan estimaciones de múltiples modelos (agentes) en una única decisión, una práctica común en el aprendizaje federado, la detección de intrusiones de múltiples proveedores y la predicción crowdsourced. Una suposición predominante en la predicción probabilística es que si los modelos individuales están bien calibrados, su predicción agregada también estará bien calibrada. Este trabajo desafía dicha suposición, demostrando que en entornos multiagente donde los modelos se entrenan independientemente sobre datos superpuestos o correlacionados, los predictores calibrados individualmente pueden volverse colectivamente mal calibrados.

El problema central no surge de una colusión deliberada ni de un juego adversarial, sino de la interacción estratégica en el sentido de la teoría de juegos: cuando los agentes optimizan sus propios objetivos locales (por ejemplo, minimizar la puntuación Brier) basándose en creencias correlacionadas, sus informes individualmente racionales distorsionan sistemáticamente el resultado agregado. Específicamente, bajo creencias positivamente correlacionadas, los informes óptimos según la puntuación Brier de los agentes tienden a subestimar sistemáticamente la probabilidad de la clase positiva, lo que conduce a un aumento significativo en las tasas de falsos negativos.

Metodología
Los autores formalizan este fenómeno utilizando diseño de mecanismos y teoría de juegos. Analizan el sistema como un juego multiagente donde:

1. Agentes: $n$ modelos predictivos reportan estimaciones de probabilidad $m_i$ para un resultado binario $y$.
2. Correlación: Las creencias privadas de los agentes $b_i$ están positivamente correlacionadas ($\text{Cov}(b_i, b_j) > 0$) debido a señales de entrenamiento compartidas o conjuntos de características superpuestos.
3. Mecanismos de Agregación: El trabajo compara varias reglas de agregación:
   • Mecanismo de Puntuación Brier: Los agentes están incentivados a reportar su verdadera esperanza condicional $E[y|s_i]$. Sin embargo, bajo correlación, este informe óptimo $m^*_i = E[y|b_i]$ difiere de la creencia privada $b_i$, lo que conduce a una subnotificación sistemática.
   • Mecanismo VCG (Vickrey-Clarke-Groves): Los agentes son recompensados en función de su contribución marginal al bienestar social (precisión agregada). Esto alinea los incentivos individuales con el objetivo global.
   • Líneas Base: Incluye mecanismos de externalidad, votación mayoritaria, promedios ponderados por confianza y apilamiento (con meta-aprendices de regresión logística o MLP).

El análisis teórico demuestra que bajo la puntuación Brier, el Precio de la Anarquía (PoA) —la relación entre la pérdida en el equilibrio de Nash y la pérdida bajo informes veraces— es estrictamente mayor que 1 siempre que las creencias estén correlacionadas y la tasa base sea baja. Por el contrario, se demuestra que el mecanismo VCG es compatible con incentivos de estrategia dominante (DSIC), asegurando que el informe veraz sea óptimo independientemente de las estrategias de los demás agentes.

Para manejar entornos dinámicos, los autores proponen una extensión de aprendizaje de pesos en línea para VCG utilizando actualizaciones de pesos multiplicativos, logrando un límite de arrepentimiento de $O(\sqrt{T})$ frente a la ponderación fija óptima a posteriori.

Contribuciones Clave

1. Descubrimiento Teórico de la Mal Calibración Colectiva: El trabajo establece que la calibración individual no garantiza la calibración colectiva en entornos estratégicos. Proporciona un análisis de forma cerrada (para $n=2$) y una ley de escalado conjeturada para $n$ general, mostrando que el sesgo agregado persiste incluso a medida que aumenta el número de agentes.
2. VCG como Mecanismo de Agregación Robusto: Los autores demuestran que la agregación basada en VCG logra compatibilidad con incentivos de estrategia dominante, eliminando efectivamente la distorsión estratégica que afecta a las reglas de puntuación estrictas como la puntuación Brier en entornos multiagente.
3. Validación Empírica en Datos del Mundo Real: El estudio evalúa los mecanismos en tres conjuntos de datos del mundo real (NSL-KDD, UNSW-NB15, Fraude con Tarjeta de Crédito) y conjuntos de datos médicos (Enfermedad Cardíaca UCI, Diabetes Pima), utilizando agentes con partición de características para simular silos de datos realistas.
4. Aprendizaje Adaptativo: La introducción de actualizaciones de pesos adaptativas permite que el sistema mantenga la robustez bajo cambios de distribución, reduciendo los falsos negativos entre un 20% y un 22% en comparación con las líneas base estáticas.

Resultados

• Precio de la Anarquía: En un escenario canónico ($n=5$, correlación $\rho=0.5$, tasa base $\mu=0.3$), el mecanismo de puntuación Brier produce un PoA de 7.25× en la tasa de falsos negativos en comparación con el informe veraz. En contraste, VCG logra un PoA de aproximadamente 1.0×.
• Eficiencia de Datos: En regímenes de bajos datos ($n_{train} \le 500$), VCG supera consistentemente al apilamiento y a la votación mayoritaria. Por ejemplo, en NSL-KDD con 100 muestras etiquetadas, VCG logra una recuperación de 0.923 frente a 0.915 para el apilamiento.
• Detección de Eventos Raros: En un conjunto de datos de intrusiones de 12 clases con desequilibrio severo de clases, VCG mejora la recuperación de clases raras en un 70% en comparación con la votación mayoritaria.
• Robustez Adversarial: Bajo condiciones adversarias (por ejemplo, agentes que reportan probabilidades bajas para suprimir la detección), VCG mantiene una tasa de falsos negativos de 0.016, mientras que líneas base robustas como la Media Recortada y la Mediana se degradan a tasas $>0.4$.
• Cambio de Distribución: VCG adaptativo reduce los falsos negativos en un 22% bajo deriva de distribución repentina, manteniendo un crecimiento sublineal del arrepentimiento.
• Despliegue en el Borde: La sobrecarga computacional de VCG es mínima (por ejemplo, <0.23 ms para 5 agentes), lo que lo hace factible para el despliegue en tiempo real en el borde en dispositivos como NVIDIA Jetson Orin Nano.

Significado y Afirmaciones
El trabajo concluye que cómo se agregan las predicciones probabilísticas importa tanto como qué tan bien están calibrados los modelos individuales. La elección del mecanismo de agregación puede dominar la fiabilidad a nivel del sistema.

Los autores afirman que VCG proporciona las garantías de robustez más fuertes entre los mecanismos estudiados:

• Alineación de Incentivos Demostrable: El informe veraz es una estrategia dominante.
• Resiliencia: Mantiene el rendimiento bajo interacción estratégica, agentes adversarios y regímenes con escasez de datos.
• Practicidad: Es computacionalmente eficiente y efectivo en conjuntos de datos del mundo real con agentes de características particionadas.

El trabajo destaca que en entornos como la salud federada o la seguridad de múltiples proveedores, confiar en reglas de puntuación estrictas estándar (como Brier) sin tener en cuenta la interacción estratégica puede conducir a predicciones agregadas sistemáticamente sesgadas e inseguras. VCG ofrece una alternativa de diseño de mecanismos que alinea la optimización individual con la seguridad colectiva.