Resumen Técnico: Un Marco Basado en la Entropía para Coaliciones Híbridas en la Teoría de Juegos. Parte I: Arbitraje Humano

1. Planteamiento del Problema

La Teoría de Juegos clásica, arraigada en el marco de von Neumann y Morgenstern, asume agentes con autoridad de decisión fija y estructuras de preferencia estándar que satisfacen axiomas como la completitud, la transitividad y la propiedad arquimediana. Sin embargo, los sistemas híbridos Humano–IA presentan un desafío fundamental: la autoridad de ejecución puede alternarse endógenamente entre los componentes Humano e IA dentro de un entorno digital. En tales entornos, el comportamiento de la coalición no puede representarse mediante un único orden de preferencia suave o una función de utilidad estándar. Los enfoques híbridos existentes suelen mezclar utilidades o tratan la autoridad como algo estático, fallando al no capturar la dinámica de la alternancia de control donde el agente ejecutor se selecciona en cada paso basándose en la divergencia de políticas. Este artículo aborda la insuficiencia de los conceptos de equilibrio clásicos para las coaliciones híbridas que operan bajo la "Naturaleza Virtual" (el análogo algorítmico de la Naturaleza clásica) y busca formalizar un marco donde la delegación es dinámica y dependiente del régimen.

2. Metodología: Neo-Teoría de Juegos

Los autores introducen la Neo-Teoría de Juegos, una extensión de la Teoría de Juegos clásica diseñada para coaliciones híbridas Humano–IA. El marco se construye sobre los siguientes pilos:

2.1. Naturaleza Virtual y Juegos Híbridos

El entorno se modela como Naturaleza Virtual ($V$), una función de transición $V: S \times A \to \Delta(S)$ que captura la estocasticidad algorítmica, los umbrales rígidos y las discontinuidades. Un juego híbrido se define como una tupla $N(V) = (S, A, U, \lambda, P_V)$, donde:

• $S$ es el espacio de estados.
• $A$ es el espacio común de acciones ejecutadas (unión de los conjuntos de propuestas Humano e IA).
• $U = \{U_H, U_{AI}\}$ son las funciones de utilidad individuales.
• $\lambda_T \in \{0, 1\}$ es un factor de delegación binario que determina qué agente ejecuta la acción en el tiempo $T$.
• $P_V$ es el núcleo de transición generado por la Naturaleza Virtual.

2.2. Departures Axiomáticas

El marco relaja los axiomas clásicos a nivel de coalición:

• Fallo de la Transitividad: El control alterno puede inducir preferencias reveladas no transitivas (por ejemplo, $A \succ B, B \succ C, C \succ A$) incluso si los agentes individuales son transitivos.
• Fallo del Axioma Arquimediano: La coalición no exhibe compensaciones suaves; el ajuste humano es gradual mientras que la optimización de la IA puede ser discreta.
• Utilidad Lexicográfica: Los resultados de la coalición se comparan lexicográficamente. El régimen de ejecución (Humano vs. IA) se selecciona antes de la evaluación de la utilidad, lo que significa que no existe una compensación (trade-off) entre regímenes.

2.3. Mecanismo de Delegación Basado en la Entropía

La delegación se determina mediante la divergencia de Jensen–Shannon (JS) ($D_{JS}$) entre la política empírica Humana ($p_H$) y la política de la IA ($p_{AI}$). El marco utiliza dos umbrales fijos, $\alpha_{agree}$ y $\alpha_{disagree}$, para particionar el espacio de políticas en tres regímenes:

1. Acuerdo ($D_{JS} \le \alpha_{agree}$): La IA ejecuta ($\lambda = 0$).
2. Desacuerdo ($D_{JS} \ge \alpha_{disagree}$): El Humano ejecuta ($\lambda = 1$).
3. Contextual ($\alpha_{agree} < D_{JS} < \alpha_{disagree}$): La ejecución se determina mediante una regla probabilística donde la probabilidad de ejecución Humana es igual a $D_{JS}$.

2.4. Dinámicas de Aprendizaje y Equilibrio

El artículo se centra en el Escenario 1: Arbitraje Humano, donde el Humano retiene la autoridad de ejecución última.

• Actualizaciones de Política: La IA actualiza su política en todos los regímenes hacia la acción ejecutada. El Humano actualiza su política solo en el régimen de acuerdo ($D_{JS} \le \alpha_{agree}$).
• Trazas de Utilidad: Las utilidades se actualizan en línea utilizando una media móvil exponencialmente ponderada (EWMA) basada en la acción ejecutada.
• Concepto de Equilibrio: El artículo define un Equilibrio de Convergencia de Frecuencia. A diferencia de los equilibrios de Nash clásicos (puntos fijos de las mejores respuestas), este es un equilibrio de estabilización dinámica del proceso estocástico de adaptación de políticas. Se caracteriza por la estabilización asintótica de las frecuencias empíricas de los regímenes ($f_{agree}, f_{ctx}, f_{disagree}$).

3. Contribuciones Clave

1. Formalización de la Neo-Teoría de Juegos: El artículo establece la base axiomática para las coaliciones híbridas, demostrando cómo la alternancia de autoridad conduce a estructuras de utilidad lexicográficas y posibles fallos de la transitividad clásica.
2. Delegación vía Entropía: Propone una regla de delegación novedosa basada en la divergencia de Jensen–Shannon, utilizando umbrales para crear distintos regímenes de ejecución (Acuerdo, Contextual, Desacuerdo).
3. Régimen de Arbitraje Humano: Los autores desarrollan y simulan el primer régimen de esta teoría, donde el Humano aprende por observación y correspondencia de frecuencias mientras actúa como el árbitro final.
4. Caracterización Teórica: El artículo demuestra que, bajo tamaños de paso de Robbins–Monro o ganancias constantes, el sistema converge a una distribución estable de frecuencias de política. Establece que el proceso de divergencia es asintóticamente estacionario y ergódico bajo condiciones específicas.

4. Resultados

Los autores realizaron simulaciones sobre varios horizontes ($H \in \{200, \dots, 50,000\}$) y mallas de parámetros (umbrales, tasas de aprendizaje, esquemas de tamaño de paso, modos de generación de estados). Los hallazgos clave incluyen:

• Convergencia: En todos los horizontes, las políticas Humana e IA se alinean progresivamente, causando que la divergencia de Jensen–Shannon ($D_{JS}$) se aproxime a cero.
• Rol de los Parámetros:
  • Tasa de Aprendizaje ($\eta$): Los tamaños de paso constantes aceleran la alineación temprana pero inducen pequeñas oscilaciones. Los tamaños de paso decrecientes (Robbins–Monro) producen trayectorias de convergencia más suaves y estables.
  • Umbrales: Los umbrales determinan la frecuencia de los cambios de régimen pero no alteran el resultado de alineación a largo plazo.
  • Generación de Estados: Si los estados se generan exógenamente (aleatorios) o endógenamente (dependientes de la acción) afecta la volatilidad a corto plazo pero no el equilibrio asintótico.
• Transitorio vs. Asintótico: Los parámetros influyen principalmente en la trayectoria de aprendizaje transitoria (velocidad y ruido) más que en la existencia misma de la convergencia. En horizontes suficientemente grandes ($H \ge 30,000$), el sistema alcanza un régimen saturado donde las políticas están alineadas y $D_{JS} \approx 0$, independientemente del esquema de aprendizaje o la especificación ambiental específica.
• Estabilidad: El sistema demuestra una alineación de políticas robusta sin depender de la optimización clásica de mejores respuestas. La estabilidad surge de la ejecución repetida, la adaptación empírica y la estructura estadística de la regla de delegación.

5. Significado y Reivindicaciones

El artículo afirma proporcionar el primer régimen (Arbitraje Humano) de un marco más amplio de la Neo-Teoría de Juegos. Su importancia radica en:

• Fundamentación Teórica: Ofrece una base axiomática para sistemas híbridos donde la autoridad se alterna, yendo más allá de los modelos que simplemente agregan utilidades.
• Equilibrio Conductual: Redefine el equilibrio no como un punto fijo estratégico estático, sino como una estabilización dinámica de frecuencias empíricas y divergencia de políticas.
• Implementación Práctica: Los resultados de las simulaciones validan que la delegación basada en la entropía puede impulsar robustamente la alineación de políticas en sistemas híbridos, sugiriendo un mecanismo viable para el entrenamiento de humanos en el bucle (human-in-the-loop) y sistemas de IA sensibles a la confianza.

Los autores declaran explícitamente que este trabajo sienta las bases para futuras extensiones, específicamente los regímenes de control de la IA y Negociación, que permitirán comparaciones sistemáticas con conceptos de solución establecidos como los equilibrios de Nash y Stackelberg en entornos mediados digitalmente. El artículo no pretende resolver todos los problemas de interacción híbrida, sino formalizar una clase específica de interacciones donde la autoridad de ejecución es endógena y está impulsada por la política.