Decoding fairness: a reinforcement learning perspective

Resumen Técnico: Decodificando la Equidad: Una Perspectiva desde el Aprendizaje por Refuerzo

Planteamiento del Problema
El Juego del Ultimátum (JU) sirve como un modelo primario para comprender la emergencia de la equidad. Mientras que la economía ortodoxa, basada en el supuesto del Homo economicus, predice que los agentes racionales y de interés propio propondrán la oferta mínima posible y aceptarán cualquier oferta distinta de cero (resultando en una desigualdad extrema), los experimentos conductuales muestran consistentemente que los humanos prefieren divisiones justas (típicamente 40–50%) y rechazan ofertas bajas. Las explicaciones teóricas existentes para esta discrepancia se basan principalmente en el marco de aprendizaje por imitación, atribuyendo la equidad a factores exógenos como la estructura de la población, la reputación, el rencor o la empatía. Este artículo investiga si la equidad puede emerger únicamente de factores endógenos dentro de un paradigma de Aprendizaje por Refuerzo (RL), donde los agentes optimizan sus estrategias mediante la autorreflexión y la interacción con su entorno en lugar de imitar a sus pares exitosos.

Metodología
Los autores modelan un escenario de JU de dos jugadores utilizando Q-learning, un algoritmo estándar de RL.

• Arquitectura del Agente: A cada jugador se le asignan dos tablas Q distintas: una para el rol de proponente y otra para el de receptor.
• Espacio de Estados y Acciones:
  • Acciones: Los proponentes eligen entre tres ofertas ($p_l < 0.5$, $p_m = 0.5$, $p_h > 0.5$); los receptores eligen entre tres umbrales de aceptación ($q_l, q_m, q_h$).
  • Estados: El espacio de estados consiste en nueve combinaciones ($S = \{s_1, ..., s_9\}$) que representan los pares de acciones de la ronda anterior.
• Dinámica de Aprendizaje:
  • Los agentes actualizan sus valores Q utilizando la ecuación de Bellman: $Q_{s,a}(t+1) = (1-\alpha)Q_{s,a}(t) + \alpha(\pi(t) + \gamma \max_{a'} Q_{s',a'}(t))$.
  • $\alpha$ (Tasa de Aprendizaje): Controla el peso de la experiencia actual; un $\alpha$ alto implica "olvido", mientras que un $\alpha$ bajo implica la retención de la experiencia histórica.
  • $\gamma$ (Factor de Descuento): Controla el peso de las recompensas futuras; un $\gamma$ alto implica una "visión a largo plazo", mientras que un $\gamma$ bajo implica una "visión de corto plazo".
  • Exploración: Los agentes exploran acciones aleatorias con una probabilidad $\epsilon$ y explotan el valor Q más alto en caso contrario.
• Métricas: El estudio rastrea las fracciones estacionarias de las ofertas y los umbrales de aceptación, monitoreando específicamente la prevalencia de la opción justa ($p_m, q_m$) frente a la opción racional ($p_l, q_l$).

Resultos Clave

1. Emergencia de la Equidad vía Factores Endógenos: La equidad emerge prominentemente cuando los agentes poseen tanto una baja tasa de aprendizaje ($\alpha$, valorando la experiencia histórica) como un alto factor de descuento ($\gamma$, valorando las recompensas futuras). En este régimen de parámetros, el sistema se estabiliza con una alta probabilidad de ofertas justas ($p_m$) y umbrales de aceptación justos ($q_m$).
2. Mecanismo Evolutivo de Dos Fases:
   • Fase I (Llegar a Acuerdos): Partiendo de configuraciones aleatorias, las estrategias que conducen al fracaso de los acuerdos (por ejemplo, ofertas altas $p_h$ o umbrales altos $q_h$) son eliminadas debido a los bajos pagos. El sistema converge a tres estrategias supervivientes: $(p_m, q_m)$, $(p_l, q_l)$ y $(p_m, q_l)$.
   • Fase II (Proceso de Ramificación): Ocurre una dinámica de transición donde la estrategia mixta $(p_m, q_l)$ es inestable. El sistema se ramifica en dos estados estables: la estrategia justa $(p_m, q_m)$ o la estrategia racional $(p_l, q_l)$. La ruta de transición se identifica como $(p_m, q_l) \to (p, q_l) \to (p_m, q_m)$.
3. Alineación con Experimentos Conductuales: El modelo reproduce observaciones experimentales clave:
   • La probabilidad de acuerdos exitosos aumenta con ofertas más altas.
   • Las ofertas por debajo del 20% son frecuentemente rechazadas (aproximadamente 80% de probabilidad de rechazo en el modelo), mientras que las ofertas entre 45–50% son altamente aceptadas.
4. Sensibilidad de Parámetros:
   • $\alpha$ y $\gamma$: Los agentes con un $\alpha$ alto (olvidadizos) o un $\gamma$ bajo (cortoplacistas) optan por defecto por la estrategia racional e injusta.
   • Parámetros del Juego ($l, h$): El límite inferior de las ofertas ($l$) impacta significativamente el equilibrio; a medida que $l$ aumenta, la fracción de estrategias racionales se eleva. El límite superior ($h$) tiene un impacto marginal.
5. Robustez: La emergencia de la equidad se mantiene cuando la asignación de roles cambia de rotativa a aleatoria o fija, y cuando el escenario se extiende a una población en red (lattice).

Significancia y Reivindicaciones
El artículo sostiene que la motivación endógena dentro del paradigma del aprendizaje por refuerzo es suficiente para explicar la emergencia de la equidad, haciendo que los factores exógenos (como la reputación o las normas sociales) sean innecesarios para este resultado específico. Al demostrar que los agentes que "aprecian las experiencias pasadas" y "planifican para recompensas futuras" evolucionan naturalmente hacia estrategias justas, el estudio proporciona una perspectiva fresca distinta del marco de aprendizaje por imitación. Los hallazgos sugieren que la equidad humana puede ser el resultado de procesos de aprendizaje adaptativos destinados a maximizar los pagos acumulados a lo largo del tiempo, en lugar de ser un constructo puramente social o cultural. El trabajo concluye que la naturaleza autorreflexiva del RL ofrece una explicación fundamental de por qué los humanos se desvían de la predicción del Homo economicus en el Juego del Ultimátum.