Testing the Consent-Friction Functional: Preference-Design Artifacts and the Contention-Bounded Limits of Coordination Friction in Multi-Agent Reinforcement Learning

Resumen Técnico: Pruebas del Funcional de Fricción de Consentimiento

Planteamiento del Problema
El artículo aborda la adecuación empírica del "funcional de fricción de consentimiento", una propuesta teórica derivada de un axioma único sobre la autorización y los intereses (stakes). El funcional postula que la fricción de coordinación ($F$) en sistemas multiagente es un compuesto de tres variables núcleo: alineación de preferencias ($\alpha$), intereses ($\sigma$) y entropía ($\varepsilon$). La forma propuesta es $F = \sigma(1 + \varepsilon)/(1 + \alpha)$. Si bien la teoría predice que la fricción aumenta con los intereses y la entropía, y disminuye con la alineación (divergiendo a medida que $\alpha \to -1$), la forma funcional monótona específica y la afirmación de que un único índice predice la pérdida de coordinación no han sido probadas. El artículo busca validar empíricamente este funcional y, crucialmente, identificar si los aparentes hallazgos de coordinación son efectos estructurales genuinos o artefactos del diseño experimental.

Metodología
El estudio emplea un diseño experimental riguroso y de múltiples etapas en un entorno de Aprendizaje por Refuerzo Multiagente (MARL) de cuatro agentes y recursos compartidos.

1. Barrido Factorial Inicial (Ciego al Signo): Un diseño factorial completo de $5 \times 5 \times 5$ ($N=125$ condiciones, 30 replicaciones cada una, totalizando 3,750 ejecuciones) manipuló la alineación ($\alpha$), los intereses ($\sigma$) y la entropía ($\varepsilon$). Los agentes utilizaron Q-Learning Independiente (IQL). El diseño inicial realizó la alineación mediante la interpolación de los objetivos de los agentes entre un vector base compartido y un componente idiosincrásico, un método que inadvertidamente creó un proceso generador de datos (DGP) "ciego al signo" donde la correlación entre agentes dependía solo de $|\alpha|$, sin producir nunca una oposición genuina.
2. Batería de Control (La Corrección): Para diagnosticar y corregir los artefactos, los autores ejecutaron una serie de ejecuciones dirigidas:
   • Reparación del DGP con Signo: Volvieron a ejecutar el experimento utilizando un muestreador de equicorrelación con signo genuino (abarcando $\rho \in [-1/3, +0.8]$) y un diseño de bloques de dos equipos (alcanzando $\rho = -1$) para probar la alineación con signo en lugar de la magnitud.
   • Robustez del Aprendiz: Repitieron el barrido con signo utilizando Redes de Descomposición de Valor (VDN), un aprendiz aditivo de entrenamiento centralizado/ejecución descentralizada (CTDE), para probar si los hallazgos eran artefactos de la no-estacionariedad del aprendizaje independiente.
   • Control de Recursos Separables: Eliminaron el fondo de recursos compartidos, otorgando a cada agente un flujo de recursos independiente, para aislar si los efectos se debían a la correlación de preferencias o a la contención de estados compartidos.
   • Respuesta a la Dosis de Compartición Parcial: Variaron la fracción de recursos compartidos ($w \in \{1/3, 2/3, 1\}$) para probar si el efecto escala con el grado de contención.
   • Oposición Limpia ($n=2$): Redujeron el número de agentes a dos para lograr un $\rho = -1$ verificado sin restricciones de matriz semidefinida positiva o confusión de cooperación dentro del equipo.
   • Descomposición de Factibilidad vs. Aprendizaje: Descompusieron la brecha de recompensa en un "suelo de factibilidad" irreducible (la brecha entre el ideal por agente y el óptimo conjunto alcanzable) y un "déficit de aprendizaje" (la brecha entre el óptimo conjunto y el rendimiento realizado).

Resultos Clave

1. Rechazo de la Forma Funcional de Índice Único: Se rechaza el compuesto canónico $F = \sigma(1 + \varepsilon)/(1 + \alpha)$ como predictor de índice único. Aunque el modelo de efectos independientes (separando $\sigma$ y $\alpha$) supera decisivamente al compuesto tanto en el diseño inicial como en el con signo, la forma monótona específica $1/(1+\alpha)$ es apoyada direccionalmente solo en el rango cooperativo ($\rho > 0$). La divergencia predicha a medida que $\alpha \to -1$ no se observa; la oposición no aumenta la fricción más allá de la indiferencia.
2. Tres Artefactos Identificados y Eliminados:
   • El Artefacto de "Dominancia de Intereses": En los datos brutos, los intereses parecían dominantes ($\eta^2 \approx 0.74$). Sin embargo, debido a que la recompensa es homogénea de grado 1 en $\sigma$, esto es un efecto de escalado mecánico. Tras la normalización de los intereses, el ranking se invierte, revelando la estructura de las preferencias como el eje dominante.
   • El Artefacto de la Forma en U Simétrica: El "U-shape" inicial (donde la alineación neutral era la peor) fue un artefacto ciego al signo. Debido a que el DGP inicial nunca produjo correlación negativa, el brazo "adversario" era en realidad un brazo cooperativo fuerte. Una vez que el DGP se corrigió para abarcar una correlación negativa genuina, la forma en U desapareció, siendo reemplazada por un declive monótono solo en el rango cooperativo.
   • El Artefacto de "La Oposición Ayuda": Ningún diseño mostró que la oposición ($\rho < 0$) superara a la indiferencia ($\rho = 0$). En las pruebas limpias ($\rho = -1$), la oposición no mostró ninguna ventaja detectable y fue direccionalmente peor para IQL.
3. El Superviviente Limitado por la Contención: El único efecto estructural que sobrevive es que la alineación cooperativa reduce la brecha de coordinación, pero este efecto es estrictamente limitado por la contención.
   • En un entorno de fondo compartido, la alineación cooperativa reduce la brecha.
   • En un entorno de recursos separables (sin estado compartido), el efecto desaparece por completo (pendiente $\approx 0$).
   • Un barrido de compartición parcial confirma una respuesta a la dosis monótona: el efecto se intensifica solo una vez que la mayoría de los recursos son compartidos.
4. Factibilidad vs. Aprendizaje: Una descomposición de la brecha de recompensa revela que la reducción de la fricción bajo la cooperación es impulsada casi enteramente por el colapso del suelo de factibilidad (el óptimo conjunto alcanzable aumenta a medida que los objetivos se alinean). El déficit de aprendizaje (el rendimiento de coordinación real relativo al óptimo alcanzable) no disminuye; de hecho, aumenta ligeramente. Por lo tanto, la alineación cooperativa hace que el problema sea más factible, no necesariamente más fácil de aprender.
5. Robustez: El efecto cooperativo es robusto al cambio de Q-Learning Independiente a la Descomposición de Valor (VDN) aditiva, con correlaciones de curva de 0.976. Sin embargo, el efecto no es robusto a la eliminación de la contención de estado compartido.

Significancia y Reivindicaciones
El artículo afirma una contribución dual: una caracterización empírica del funcional de fricción de consentimiento y una demostración metodológica de cómo las elecciones de diseño pueden manufacturar hallazgos de coordinación espurios.

• Veredicto Empírico: El artículo no valida el funcional como una ley universal. En su lugar, refina la teoría: el signo del denominador ($1+\alpha$) es apoyado para la alineación cooperativa, pero la predicción de divergencia adversaria es falsa, y la forma multiplicativa de razón única es insuficiente. El efecto superviviente es estrecho: la alineación cooperativa reduce las brechas de coordinación solo en entornos de fondo común donde los agentes compiten físicamente por recursos compartidos, y esta reducción es principalmente una cuestión de factibilidad (el óptimo es más fácil de alcanzar) más que de reducción de la fricción de aprendizaje.
• Contribución Metodológica: El artículo ofrece una "batería de control" como estándar para experimentos de MARL de motivos mixtos. Argumenta que los investigadores deben verificar que los diseños de muestreo de preferencias abarquen genuinamente correlaciones con signo (evitando trampas de magnitud solamente), normalizar para la homogeneidad de la recompensa antes de declarar factores dominantes, y distinguir entre efectos de preferencia y contención de estado compartido.
• Modestia: Los autores declaran explícitamente que estos hallazgos están limitados a la familia específica de entornos probados (recursos continuos compartidos, pérdida cuadrática, $n=4$ agentes). No pretenden que estos resultados se generalicen a todos los benchmarks de MARL o a aprendices no basados en valor (ej. métodos de gradiente de política), dejando eso para trabajos futuros. El artículo enmarca sus hallazgos como un "ejemplo trabajado" de cómo detectar y corregir los propios artefactos, en lugar de un diagnóstico definitivo de todo el campo.