Solipsistic Superintelligence is Unlikely to be Cooperative

Resumen Técnico: Es improbable que una superinteligencia solipsista sea cooperativa

Planteamiento del problema
El artículo identifica una desconexión fundamental en el paradigma dominante de la investigación en IA, que los autores denominan "solipsista". Este enfoque asume que el entorno es exógeno (independiente del agente), que las distribuciones de datos son estacionarias desde el entrenamiento hasta el despliegue, y que otros agentes son meramente parte del espacio de estados para ser predichos, en lugar de actores estratégicos. Los autores argumentan que este paradigma no tiene en cuenta la no estacionariedad endógena: el fenómeno en el que el despliegue de un sistema de IA induce respuestas adaptativas de humanos, instituciones y otros algoritmos, alterando así la misma distribución sobre la cual el sistema fue entrenado.

Esto crea una brecha entre entrenamiento, prueba y despliegue (train–test–deploy gap), donde el rendimiento histórico diverge del rendimiento en el despliegue. En entornos multiagente, la optimización unilateral (maximizar un objetivo de forma aislada) se vuelve autodesgastante (self-undermining); cuanto más agresivamente explota un agente las regularidades históricas, más rápido incentiva a otros actores a adaptarse de formas que vuelven obsoletas dichas regularidades. En consecuencia, una "superinteligencia solipsista" —un agente extremadamente capaz de resolver tareas estacionarias pero construido sobre estos supuestos erróneos— es improbable que sea cooperativa. En lugar de lograr resultados beneficiosos, tales sistemas corren el riesgo de conducir a los sistemas sociotécnicos hacia equilibrios degradados (por ejemplo, colapsos del mercado, polarización o la atrofia de las habilidades humanas).

Metodología y marco de trabajo
El artículo emplea un marco conceptual y teórico arraigado en la teoría de juegos, la economía y la literatura de seguridad de la IA para criticar las metodologías actuales. No presenta nuevos resultados experimentales, sino que sintetiza conocimientos teóricos existentes para argumentar a favor de un cambio de paradigma.

1. Crítica formal de los MDP: Los autores contrastan el formalismo estándar de los Procesos de Decisión de Markov (MDP), donde las dinámicas de transición $P$ y las recompensas $R$ son fijas, con la realidad del despliegue. Argumentan que, una vez que se despliega una política $\pi$, $P$ y $R$ se vuelven dependientes de la política ($P_\pi$), transformando el problema en un Juego de Markov donde los agentes coevolucionan.
2. Definición de conceptos clave:
   • Propiedad autodesgastante (self-undermining property): La tendencia de la optimización unilateral a inducir adaptaciones que invalidan los patrones que esta explota.
   • Brecha entre entrenamiento, prueba y despliegue (train–test–deploy gap): La divergencia sistemática entre el rendimiento en datos históricos exógenos ($J_{train}$) y el rendimiento en datos endógenos generados por las respuestas a la política desplegada ($J_{deploy}$).
   • Cooperación: Definida no como una tarea a ser resuelta o una capacidad a ser escalada, sino como un proceso de selección de equilibrio a través del cual múltiples actores navegan la interdependencia para seleccionar equilibrios beneficiosos.
3. Análisis de los canales de adaptación: El artículo categoriza las fuentes de la no estacionariedad endógena en tres canales:
   • Adaptación conductual: Humanos alterando sus estrategias (por ejemplo, estudiantes que reaprenden alrededor de tutores de IA).
   • Adaptación institucional: Organizaciones y reguladores revisando reglas y flujos de trabajo en respuesta a los algoritmos.
   • Adaptación algorítmica: Otros sistemas de IA reentrenándose y coevolucionando (por ejemplo, algoritmos de precios que conducen a la colusión emergente).

Contribuciones principales
El artículo presenta tres tesis teóricas principales y propone una nueva agenda de investigación:

1. La tesis central: La cooperación es una necesidad estructural para la coexistencia beneficiosa, no un complemento opcional. Una superinteligencia solipsista es inherentemente improbable que sea cooperativa porque trata un mundo dinámico y multiactor como un problema de optimización unilateral y estático.
2. Límites epistémicos y de legitimidad de la predicción: El artículo argumenta que simplemente "modelar" las adaptaciones de otros agentes es insuficiente debido a:
   • Horizontes epistémicos: La incapacidad de predecir nuevos equilibrios generados por interacciones multiagente de código abierto (novedad, reflexividad y explosión combinatoria).
   • Restricciones de legitimidad: La optimización unilateral elude los procedimientos democráticos y el debido proceso. Incluso si una IA pudiera predecir perfectamente los resultados, imponer soluciones sin participación erosiona la legitimidad necesaria para la coordinación social.
3. Una agenda de investigación no solipsista: Los autores proponen pasar del enfoque en el escalado de capacidades al diseño centrado en la coexistencia, organizado en torno a tres pilos:
   • Evaluación dinámica: Ir más allá de los benchmarks estáticos hacia bancos de pruebas donde las distribuciones de evaluación ($D_\pi$) dependen de la política $\pi$ a través de las respuestas estratégicas de las contrapartes adaptativas.
   • Las instituciones como primitivas de diseño: Tratar las reglas, mecanismos y protocolos como componentes que coevolucionan con el sistema (por ejemplo, utilizando el diseño de mecanismos para reestructurar incentivos dinámicamente) en lugar de restricciones fijas.
   • Preservar la agencia humana: Diseñar sistemas que expandan los espacios de opción humana y mantengan las habilidades cognitivas humanas, en lugar de reemplazar la toma de decisiones humana, para prevenir la atrofia de las capacidades humanas necesarias para la operación a largo plazo del sistema.

Resultados y afirmaciones
Como artículo teórico, no reporta resultados empíricos de nuevos experimentos. En su lugar, sus "resultados" son las deducciones lógicas extraídas de la literatura existente y de los principios de la teoría de juegos:

• Modos de falla: El artículo demuestra que tratar los juegos multiactor como optimización unilateral conduce a problemas de acción colectiva (por ejemplo, la tragedia de los comunes, carreras armamentistas) incluso cuando los agentes individuales están perfectamente alineados con sus especificaciones.
• Riesgo de selección de equilibrio: Los optimizadores poderosos pueden inclinar los sistemas sociales hacia "malos" equilibrios (por ejemplo, polarización, inestabilidad) que son difíciles de revertir debido a efectos de bloqueo (lock-in).
• Insuficiencia de la alineación actual: El artículo sostiene que las técnicas de alineación actuales (por ejemplo, RLHF) a menudo agregan las preferencias en un único objetivo, lo que potencialmente suprime el pluralismo de valores y no aborda las dinámicas estructurales de la interacción.

Significancia
El artículo afirma que la restricción vinculante para la IA se está desplazando de la capacidad (resolver tareas) a la coexistencia (navegar la interdependencia). Desafía la apuesta implícita en la metodología dominante de que escalar la capacidad producirá naturalmente resultados cooperativos. Los autores argumentan que, sin un paradigma no solipsista que trate la interdependencia como un principio de diseño central, el despliegue de la IA avanzada corre el riesgo de producir fallos sistémicos que son autodesgastantes e ilegítimos. La significancia reside en redefinir la seguridad de la IA no solo como un problema de prevención de objetivos desalineados, sino como un problema de diseño de sistemas que puedan participar en los procesos de selección de equilibrio de un mundo dinámico y multiactor.