Resumen Técnico: Equidad Procedimental en Bandidos Multi-Agente

Planteamiento del Problema

En los Bandidos de Múltiples Brazos Multi-Agente (MA-MAB, por sus siglas en inglés), la equidad se define tradicionalmente a través de métricas basadas en resultados, como maximizar el bienestar utilitario, minimizar la desigualdad u optimizar el Bienestar Social de Nash (NSW). Estos enfoques se centran en los resultados agregados de las decisiones (por ejemplo, la utilidad total o la distribución de recompensas). Sin embargo, los autores argumentan que esta perspectiva pasa por alto la equidad procedimental: el principio de que la equidad es inherente al proceso de toma de decisiones, específicamente en lo que respecta a la igualdad de voz y la representación.

La literatura existente suele tratar la equidad como un criterio externo impuesto al sistema (consecuencialismo), ignorando la agencia de los participantes. En contraste, la equidad procedimental postula que una decisión es legítima solo si no puede ser rechazada razonablemente por aquellos a quienes afecta, lo que requiere que cada agente tenga una participación igual en la influencia sobre la política, independientemente de si esa influencia conduce a su resultado óptimo.

Metodología

Formalización de la Equidad Procedimental

El artículo introduce una definición formal de equidad procedimental para MA-MAB basada en la igualdad de representación dentro de una política.

• Cuota de Decisión: Para un agente $i$, la cuota de decisión $\beta_i(P)$ es la masa de probabilidad total asignada a sus brazos favoritos (aquellos con la media de recompensa más alta $\mu^*_{i,k}$).
• Definición de Equidad Procedimental: Una política $P$ es procedimentalmente justa si la distribución de probabilidad sobre los brazos puede descomponerse en $N$ cuotas iguales ($1/N$), donde la cuota de cada agente se asigna exclusivamente a sus brazos favoritos.
• Puntuación de Equidad Procedimental (PF): Los autores formulan un problema de optimización para medir qué tan cerca está una política dada de ser procedimentalmente justa. La puntuación representa la fracción máxima de la cuota de decisión de $1/N$ que puede asignarse a los brazos favoritos de cada agente sin violar las restricciones de probabilidad total de la política. Una puntuación de 1 indica una equidad procedimental perfecta.

Enfoque Algorítmico

Para aprender una política procedimentalmente justa en un entorno online donde las medias de recompensa son desconocidas:

1. Objetivo: Los autores maximizan el Bienestar de Nash basado en la Cuota de Decisión ($NW_\beta$), definido como el producto de las cuotas de decisión de los agentes: $\prod_{i=1}^N \beta_i(P)$.
2. Garantía Teórica: Demuestran (Teorema 1) que maximizar $NW_\beta$ produce una política que es procedimentalmente justa (es decir, que se encuentra en el Núcleo Procedimental).
3. Algoritmo de Aprendizaje (Algoritmo 1):
   • Utiliza límites de concentración de tipo Límite Superior de Confianza (UCB) para estimar los conjuntos de brazos favoritos ($\hat{F}_i$).
   • Incorpora un mecanismo de exploración aleatoria (tirar de un brazo aleatorio con probabilidad $t^{-(1-\gamma)}$) para asegurar que todos los brazos sean muestreados suficientemente para reducir los intervalos de confianza y recuperar los verdaderos conjuntos de favoritos.
   • En cada paso, el algoritmo resuelve la optimización de $NW_\beta$ sobre los conjuntos de favoritos estimados para determinar la política $P_t$.
4. Análisis de Regret: El artículo define el Regret de Equidad Procedimental ($R_{PF}$) basado en el número de rondas donde los conjuntos de favoritos estimados no coinciden con los conjuntos reales. Demuestran un límite de regret sublineal de $O(K + T^\gamma/\gamma + (\dots)^{1/\gamma})$, mostrando que el algoritmo converge hacia una política procedimentalmente justa.

Contribuciones Clave

1. Definición Formal: Una definición rigurosa de equidad procedimental para MA-MAB, distinguiendo la representación (voz) de la calidad del resultado (utilidad).
2. Resultados de Imposibilidad: El artículo demuestra que la equidad procedimental es fundamentalmente incompatible con las nociones de equidad basadas en resultados.
   • Proposición 2 y 3: Existen estructuras de recompensa donde ninguna política puede lograr simultáneamente la perfección en la equidad procedimental y la perfección en la minimización de la desigualdad o el utilitarismo perfecto.
   • Teorema 6: Las políticas que maximizan el bienestar social de Nash basado en la utilidad y las políticas procedimentalmente justas no garantizan dominar Pareto la una a la otra; priorizan valores diferentes y, a menudo, conflictivos.
3. Estabilidad del Núcleo: Los autores establecen que las políticas que maximizan el bienestar social de Nash basado en la cuota de decisión se encuentran en el Núcleo Procedimental. Esto significa que ninguna coalición de agentes puede utilizar su cuota proporcional de poder de decisión para mejorar la representación de cada miembro (con al menos una mejora estricta), asegurando la estabilidad contra desviaciones basadas en la voz.
4. Algoritmo y Límites de Regret: Un algoritmo para aprender políticas procedimentalmente justas con garantías de regret sublineal, asegurando que las voces de los agentes sean representadas a medida que el sistema aprende.

Resultados Empíricos

Los autores evaluaron su enfoque frente a referentes basados en resultados (Utilitarismo, Minimización de la Desigualdad, Bienestar Igualitario, Bienestar Social de Nash y el Índice de Gini Generalizado) a través de:

• Datos Sintéticos: 7,776 instancias variando agentes, brazos y distribuciones de preferencia (Uniforme, Unimodal, Cultura Imparcial, Mallows).
• Datos del Mundo Real: Un conjunto de datos de Mechanical Turk (PrefLib) con 50 votantes y 4 candidatos.

Hallazgos:

• Compromisos (Trade-offs): Las políticas optimizadas para métricas basadas en resultados (Utilitarismo, NSW) alcanzaron consistentemente puntuaciones bajas de equidad procedimental (a menudo < 0.8), indicando que optimizar para los resultados no preserva inadvertidamente la igualdad de voz.
• Equilibrio: La política procedimentalmente justa logró una puntuación de equidad procedimental perfecta (1.0) mientras mantenía puntuaciones altas en la minimización de la desigualdad y el utilitarismo (a menudo > 0.9), demostrando un equilibrio superior entre todas las tres dimensiones.
• Robustez: A medida que aumentaba el desacuerdo entre agentes (por ejemplo, en modelos Mallows con alta dispersión), la equidad procedimental de las políticas basadas en resultados se erosionó significativamente, mientras que la política procedimentalmente justa mantuvo sus garantías de representación.
• Convergencia: En el experimento del mundo real, el algoritmo de aprendizaje convergió a una política que mantenía una alta igualdad y utilidad mientras garantizaba la representación igualitaria, superando a todos los demás referentes en la métrica procedimental.

Significado y Reivindicaciones

El artículo sostiene que la legitimidad procedimental es un objetivo distinto y necesario en los sistemas multi-agente, separado de la eficiencia o la igualdad.

• Elección Normativa: Los autores enfatizan que la equidad no es una única solución matemática, sino un conjunto de valores en competencia. Elegir un objetivo de equidad es una decisión normativa: priorizar la eficiencia (Utilitarismo) implica inherentemente sacrificar la igualdad de voz, mientras que priorizar la equidad procedimental acepta posibles ineficiencias para asegurar la legitimidad.
• Legitimidad sobre Optimización: Basándose en la filosofía política (Rawls, Scanlon) y la psicología (Lind & Tyler), el artículo afirma que los sistemas son más propensos a ser percibidos como legítimos y aceptados por los agentes si respetan la "dignidad de la participación".
• Principio de Diseño: La equidad procedimental se presenta no solo como un concepto teórico, sino como un principio de diseño práctico que genera sistemas que son estables (estables en el núcleo), robustos y reflexivos de los valores humanos respecto a la equidad como "igualdad de voz".

El artículo concluye que, si bien las métricas basadas en resultados son elegantes y tratables, imponen valores desde el exterior. La equidad procedimental desplaza el enfoque hacia "qué preferencias dieron forma a la decisión", ofreciendo un marco para construir sistemas multi-agente que no solo sean inteligentes, sino también legítimos.