Are we Doomed to an AI Race? Why Self-Interest Could Drive Countries Towards a Moratorium on Superintelligence

Resumen Técnico: "¿Estamos condenados a una carrera de IA? Por qué el interés propio podría impulsar a los países hacia una moratoria sobre la superinteligencia"

Planteamiento del Problema
La visión predominante en el discurso sobre la Superinteligencia Artificial (ASI) es que una moratoria global sobre su desarrollo es inviable debido a los incentivos estratégicos. Los críticos argumentan que, incluso si la restricción mutua es óptima colectivamente, los estados individuales poseen una estrategia dominante para desertar y continuar la carrera por la supremacía geopolítica. Esta dinámica de "carrera hacia el fondo" sugiere que el miedo a quedarse atrás (el "pago del tonto") supera el riesgo compartido de una pérdida catastrófica de control, haciendo que una moratoria sea contraria al interés propio de un estado. Este trabajo desafía esa premisa, cuestionando si una moratoria puede ser alguna vez una estrategia racional y basada en el interés propio para las superpotencias geopolíticas.

Metodología
Los autores emplean un marco formal de teoría de juegos para modelar la interacción estratégica entre dos superpotencias geopolíticas (un "Líder" y un "Atrasado"). El modelo operacionaliza la decisión de "Correr" (continuar el desarrollo con medidas de seguridad estándar) o "Pausar" (imponer una moratoria para maximizar la seguridad).

El modelo se define por cuatro variables clave:

1. Brecha de Capacidad ($\Delta$): La ventaja relativa que posee un jugador en el desarrollo de la ASI, agregando factores como la potencia computacional y el progreso de la investigación.
2. Ventaja del Ganador ($W$): El valor de la ventaja del primer movimiento, que varía de 0 (cooperativo) a 1 (el ganador lo lleva todo), capturando la subordinación geopolítica del perdedor.
3. Costo de una ASI Incontrolada ($C$): La desutilidad que surge de una pérdida de control, normalizada en relación con el beneficio de una victoria segura (normalizada a 1). Crucialmente, el modelo permite que $C > 1$, reflejando escenarios donde el colapso civilizatorio supera cualquier ganancia estratégica.
4. Incertidumbre Tecnológica ($\sigma$): La incertidumbre epistémica respecto a la posibilidad y la cronología del desarrollo de la ASI.

La elección de política es binaria: Pausar ($s=1$, seguridad máxima) o Correr ($s=0.85$, representando un riesgo catastrófico del 15% basado en encuestas a expertos). El análisis identifica equilibrios de Nash mapeando el "Costo Catastrófico" ($C$) contra la "Brecha de Capacidad" ($\Delta$) para determinar bajo qué condiciones una pausa se convierte en la mejor respuesta racional para un estado.

Contribuciones Clave

1. Formalización de la Moratoria como una Estrategia de Interés Propio: A diferencia de modelos anteriores que a menudo tratan la carrera como un Dilema del Prisionero donde la desertación es dominante, este trabajo demuestra que, bajo condiciones paramétricas específicas, una moratoria no es meramente un ideal cooperativo, sino una estrategia racional impulsada por el interés propio.
2. Identificación de Cuatro Mundos Estratégicos: Al variar el costo de la catástrofe en relación con la brecha de capacidad y la ventaja del ganador, los autores delimitan cuatro entornos estratégicos distintos:
   • Armonía Segura: Ambos estados encuentran racional pausar porque el costo de la catástrofe es tan alto que correr no ofrece ninguna ganancia marginal.
   • Preemptión: El único resultado estable es una carrera. El miedo a la ventaja del primer movimiento del rival supera el miedo a la catástrofe, particularmente cuando los estados están cerca de la paridad.
   • Confianza: Un juego de coordinación donde ambos prefieren una pausa mutua pero temen ser explotados si el rival corre.
   • Subversión: Un mundo asimétrico donde el Líder elige racionalmente pausar (debido a la alta probabilidad de ganar y al miedo a la catástrofe), mientras que el Atrasado corre para cerrar la brecha.
3. Cuantificación de Umbrales: El modelo cuantifica los "umbrales de costo" específicos donde el espacio estratégico cambia de correr a pausar. Muestra que, a medida que el costo percibido de la pérdida de control ($C$) aumenta suficientemente en relación con la ventaja del ganador ($W$) y la incertidumbre ($\sigma$), la estrategia racional se desplaza hacia una moratoria.

Resultados
El análisis revela que la viabilidad de una moratoria no es estática, sino que depende de la interacción de variables:

• El Rol del Costo Catastrófico: Cuando el costo percibido de una ASI incontrolada supera los beneficios esperados de la supremacía geopolítica, una moratoria estable se convierte en una opción de interés propio.
• Impacto de la Incertidumbre: Una incertidumbre tecnológica moderada ($\sigma$) expande el espacio estratégico para una moratoria. Cuando los estados son inciertos sobre la posibilidad de ganar la carrera, el incentivo para tomar atajos disminuye, haciendo que una pausa sea más racional.
• Impacto de la Ventaja del Ganador: Una reducción en la ventaja del ganador ($W$) disminuye el umbral del costo de pérdida de control necesario para hacer que una moratoria sea racional.
• Trayectoria Empírica: El trabajo presenta evidencia empírica que sugiere que la percepción global del riesgo de la ASI está aumentando. Citando declaraciones de expertos (por ejemplo, la Carta Abierta de 2023, la Declaración de Bletchley), encuestas de opinión pública (por ejemplo, Reuters/Ipsos) y el establecimiento de Institutos de Seguridad de IA, los autores argumentan que el costo percibido de la pérdida de control ($C$) está aumentando. Este cambio sugiere que las condiciones requeridas para que una moratoria sea de interés propio para un estado se están volviendo más plausibles en el panorama geopolítico actual.

Significado y Afirmaciones
El trabajo afirma derribar la premisa de que una moratoria es inherentemente contraria al interés propio de un estado. Argumenta que la "carrera" no es un resultado inevitable del comportamiento estatal racional, sino un resultado contingente de valores paramétricos específicos, concretamente, un bajo costo percibido de la catástrofe en relación con los beneficios de la supremacía.

Los autores concluyen modestamente que, si bien la realidad geopolítica actual sigue dominada por dinámicas competitivas, el espacio estratégico para una moratoria estable y racional se está expandiendo. Postulan que, a medida que crece el consenso científico sobre los problemas de control y aumenta la gravedad percibida de los resultados catastróficos, las condiciones bajo las cuales una moratoria se convierte en la estrategia dominante para estados con interés propio están "más cerca de lo que se asume comúnmente". El trabajo no afirma que una moratoria esté garantizada, sino que es una opción viable y racional bajo condiciones evolutivas, desafiando la visión fatalista de que una carrera de IA es inevitable.