Instrumental convergence and power-seeking

Resumen Técnico: Convergencia Instrumental y Búsqueda de Poder

Planteamiento del Problema
El artículo aborda el argumento de que la inteligencia artificial (IA) plantea un riesgo existencial para la humanidad debido a que los agentes artificiales serán "buscadores de poder" (power-seeking). Este argumento se basa en la Tesis de la Convergencia Instrumental (ICT), la cual postula que una gran variedad de agentes con diversos objetivos finales convergerán en la búsqueda de poder (por ejemplo, la adquisición de recursos, la autopreservación) porque el poder es instrumentalmente útil para alcanzar casi cualquier objetivo.

El autor, David Thorstad, identifica una brecha crítica en la literatura: mientras que la ICT se utiliza a menudo para justificar temores de una IA catastrófica, la tesis se formula típicamente en una forma débil (que el poder ayuda a alcanzar objetivos) en lugar de la forma fuerte requerida para fundamentar argumentos de riesgo existencial. El artículo busca determinar si las defensas informales y formales líderes de la ICT establecen con éxito la Búsqueda de Objetivos Catastróficos (Catastrophic Goal Pursuit): la afirmación de que es probable que los agentes busquen el poder hasta un grado que resulte en el desempoderamiento permanente y existencialmente catastrófico de la humanidad.

Metodología
El artículo emplea una metodología conceptual y analítica, diseccionando la estructura lógica del "argumento desde la búsqueda de poder" y evaluando la solidez de sus premisas. El análisis procede en tres etapas:

1. Decomposición Lógica: El autor distingue entre Realización de Objetivos (el poder ayuda a alcanzar objetivos) y Búsqueda de Objetivos (los agentes realmente buscarán el poder). Además, argumenta que incluso la Búsqueda de Objetivos es insuficiente; el argumento requiere la Búsqueda de Objetivos Catastróficos (los agentes buscarán el poder hasta un grado catastrófico).
2. Evaluación de Argumentos Informales: La Sección 3 analiza el "argumento desde el desalineamiento" (argument from misalignment), una defensa informal líder de la búsqueda de poder. Este argumento sugiere que la especificación errónea de la recompensa y la generalización errónea de objetivos conducirán a los agentes a perseguir objetivos catastróficos. El autor pone esto a prueba frente a las capacidades actuales de la IA, específicamente los Modelos de Lenguaje Extensos (LLM), para evaluar la probabilidad de un "subponderado catastrófico" o un "anegamiento rápido" (rapid swamping) de los valores humanos.
3. Evaluación de Teoremas Formales: Las Secciones 4 y 5 examinan críticamente el Modelo de Markov Orbital (Turner et al., 2021), un marco formal destinado a demostrar que los agentes buscarán el poder (específicamente la preservación de opciones y la evitación del apagado) bajo "la mayoría" de las funciones de recompensa. El autor analiza la definición de poder del modelo, su dependencia de permutaciones de estados (involuciones) y su extrapolación de propiedades matemáticas a resultados catastróficos en el mundo real.

Contribuciones Clave y Resultados

• Distinción de Reclamaciones: El artículo aclara que la Tesis de la Convergencia Instrumental (ICT) estándar establece que el poder es conducente a la realización de objetivos, pero esto no implica lógicamente que los agentes busquen el poder, ni que lo busquen hasta un grado catastrófico. El autor argumenta que la "Búsqueda de Objetivos Catastróficos" es una reclamación significativamente más fuerte que requiere una justificación distinta y robusta.
• Crítica al Argumento desde el Desalineamiento: El autor sostiene que los argumentos informales basados en la especificación errónea de la recompensa (por ejemplo, el ejemplo de "curar el cáncer") y la generalización errónea de objetivos no logran establecer la Búsqueda de Objetivos Catastróficos.
  • Evidencia: Citando interacciones con modelos como GPT-4o, el autor demuestra que incluso cuando se les dan objetivos mal especificados (por ejemplo, "curar el cáncer lo más rápido posible"), los modelos avanzados actuales exhiben un razonamiento moral que rechaza medios catastróficos (por ejemplo, infectar a humanos con tumores).
  • Resultado: El grado de desalineamiento requerido para producir una catástrofe existencial (por ejemplo, valorar el logro del objetivo de tal manera que supere todo desempoderamiento humano) no está respaldado por la evidencia actual de la generalización errónea de objetivos, que típicamente ocurre en entornos simples y de juguete (toy environments).
• Crítica a los Teoremas de Búsqueda de Poder (Modelo de Markov Orbital): El autor identifica tres desafíos fundamentales a las pruebas formales proporcionadas por Turner et al. (2021):
  1. Cambio de Premisa: Los teoremas demuestran que los agentes evitarán el apagado para preservar opciones (Evitación del Apagado). Sin embargo, no demuestran que los agentes busquen el desempoderamiento humano (Búsqueda de Objetivos Catastróficos). Evitar el apagado es una condición necesaria para la búsqueda de poder, pero no implica que el agente busque el poder a expensas de la humanidad. El agente podría buscar el poder para beneficiar a la humanidad.
  2. Durabilidad de la Amenaza: El autor introduce el "Problema de la Tierra de los Sueños" (Dreamland Problem), un contraejemplo donde un estado de "apagado" es reemplazado por una red grande y totalmente conectada de estados inofensivos. Los teoremas predicen que los agentes entrarán en esta red para preservar opciones. Esto sugiere que la amenaza no es robusta; si los diseñadores pueden estructurar el entorno para ofrecer una preservación de opciones "inofensiva", el riesgo existencial desaparece. Esto socava la afirmación de que la amenaza es ineludible.
  3. Inercia Motivacional de la Involución: Los teoremas dependen del conteo de "involuciones" (permutaciones) de las funciones de recompensa para mostrar que "la mayoría" de las funciones conducen a la búsqueda de poder. El autor argumenta que esto es "motivacionalmente inerte". El hecho de que un agente pudiera haber tenido una función de valor que conduce al desastre (y que la mayoría de las permutaciones lo hacen) no significa que el agente real, entrenado en un entorno específico con aprendizaje de valores, sea propenso a comportarse de esa manera. La probabilidad matemática de las permutaciones no se traduce a la probabilidad psicológica del comportamiento de un agente específico.

Significancia y Reclamaciones
El artículo sostiene que los principales argumentos para el riesgo existencial de la IA de búsqueda de poder —tanto informales (desalineamiento) como formales (Teoremas de Markov Orbital)— fallan al establecer la premisa necesaria de la Búsqueda de Objetivos Catastróficos.

El autor concluye que:

• El argumento desde la búsqueda de poder descansa sobre una versión fuerte de la convergencia instrumental que no ha sido probada.
• Las defensas actuales dependen de supuestos sobre la arquitectura de los agentes, el aprendizaje de valores y los entornos de entrenamiento que aún no están corroborados.
• Consecuentemente, la urgencia de las intervenciones de política y la priorización moral del longtermism (que a menudo dependen de la certeza del riesgo existencial de la IA) requieren argumentos fundacionales más sólidos de los que existen actualmente.

El artículo no afirma que el riesgo de la IA sea inexistente, sino que el argumento específico de la "búsqueda de poder", tal como se formula y defiende actualmente, es insuficiente para fundamentar la afirmación de que la IA desempoderará inevitablemente a la humanidad. Hace un llamado a suponer supuestos más sustantivos respecto a las motivaciones de los agentes y la dinámica de aprendizaje para fortalecer el argumento.