Resumen Técnico: La gobernanza integral de la IA requiere abordar las ganancias de capacidad no derivadas del modelo

1. Planteamiento del problema

El paradigma predominante en la gobernanza de la IA de frontera es la gobernanza a nivel de modelo, que opera bajo el supuesto de que el perfil de capacidad de un modelo es principalmente una función del cómputo y los datos utilizados durante sus fases de preentrenamiento y postentrenamiento estándar. Este enfoque depende en gran medida de la evaluación y mitigación previa al despliegue por parte del desarrollador del modelo.

Sin embargo, este documento argumenta que la gobernanza a nivel de modelo se está volviendo estructuralmente ineficiente a medida que el progreso de las capacidades es impulsado cada vez más por las "ganancias no derivadas del modelo". Estas son mejoras en la capacidad que son independientes de los avances en el modelo base mismo. A medida que el "suelo" de las capacidades accesibles aumenta a través de estos vectores no derivados del modelo, el espacio de actores capaces de lograr resultados peligrosos se expande, incluso si el techo absoluto de capacidad permanece con los desarrolladores de la frontera. En consecuencia, las estrategias de gestión de riesgos que dependen únicamente de la evaluación previa al despliegio del modelo base son insuficientes para gestionar el panorama de riesgos en evolución.

2. Metodología y marco de trabajo

El documento emplea un análisis conceptual y un enfoque de desarrollo de taxonomía para formalizar el concepto de ganancias no derivadas del modelo. No presenta nuevos experimentos empíricos, sino que sintetiza las tendencias emergentes en el desarrollo de la IA (por ejemplo, modelos de razonamiento, sistemas multiagente y encarnación física) para categorizar las ganancias de capacidad que quedan fuera del ciclo de entrenamiento tradicional.

Los autores construyen un marco que distingue entre:

1. Ganancias a nivel de modelo: Derivadas del escalado del cómputo y los datos de preentrenamiento.
2. Ganancias no derivadas del modelo: Derivadas de mejoras en el postentrenamiento, escalado en el tiempo de inferencia o acceso a activos restringidos.

El análisis procede identificando tres vectores primarios de ganancias no derivadas del modelo y tres vectores futuros emergentes, para luego mapearlos contra las limitaciones de las estrategias de gobernanza actuales con el fin de proponer un portafolio más amplio de mecanismos de gobernanza.

3. Contribuciones clave: Taxonomía de las ganancias no derivadas del modelo

El documento formaliza una taxonomía de las ganancias de capacidad que socavan la gobernanza a nivel de modelo:

A. Vectores primarios

1. Ganancia de inferencia: Mejoras de capacidad resultantes del escalado de recursos computacionales en el tiempo de prueba (inferencia).

   • Mecanismo: Técnicas como el escalado de inferencia secuencial y paralelo (por ejemplo, modelos de "pensamiento") permiten que modelos más pequeños o de pesos abiertos emulen el rendimiento de modelos de frontera más grandes.
   • Impacto en la gobernanza: Reduce la brecha de rendimiento entre los modelos propietarios y los de pesos abiertos, permitiendo potencialmente que actores maliciosos eviten la necesidad de realizar jailbreaking a modelos propietarios, simplemente escalando la inferencia en modelos accesibles de pesos abiertos.

2. Ganancia de sistemas: Mejoras de capacidad provenientes de optimizaciones de postentrenamiento personalizadas aplicadas después de que el modelo base es lanzado.

   • Mecanismo: Incluye andamiaje (scaffolding), orquestación multiagente, uso de herramientas y esquemas de auto-mejora iterativos.
   • Impacto en la gobernanza: Estas ganancias suelen tener un costo relativamente bajo en comparación con el preentrenamiento. Una vez que se descubre una "receta" para un andamiaje de alto rendimiento, esta se propaga libremente. Los desarrolladores no pueden anticipar todas las modificaciones descendentes o el "mejor andamiaje" específico que un tercero pueda descubrir.

3. Ganancia de activos: Incrementos de capacidad resultantes de la combinación de un modelo de IA con activos restringidos no disponibles para los desarrolladores originales.

   • Mecanismo: Integración con la experiencia de los gobiernos (por ejemplo, física nuclear, tecnología furtiva/stealth), hardware especializado (encarnación física) o datos clasificados (por ejemplo, vulnerabilidades no reveladas, datos de patógenos).
   • Impacto en la gobernanza: Crea un "excedente de capacidad" (capability overhang) que es difícil de estimar o evaluar antes del despliegue debido a la naturaleza restringida de los activos.

B. Vectores futuros

El documento también identifica tres vectores emergentes que pueden desafiar aún más la gobernanza:

• Ganancia de encarnación (Embodiment Gain): Integración con sensores y actuadores físicos, desplazando el riesgo de la seguridad de la información a la seguridad física (por ejemplo, robótica).
• Aprendizaje continuo: La capacidad de los modelos para evolucionar con el tiempo, lo que podría conducir a una deriva de seguridad (safety drift) o al olvido catastrófico del entrenamiento de seguridad tras el despliegue.
• Efectos de difusión: Efectos agregados del despliegue generalizado, tales como riesgos de monocultivo o fallos en cascada en sistemas interdependientes (por ejemplo, mercados financieros).

4. Resultados y análisis de gobernanza

El análisis demuestra que la dependencia de la elicitación previa al despliegue es insuficiente porque:

• Fallo de elicitación: Es cada vez más difícil para los desarrolladores predecir cómo sus modelos serán modificados por actores descendentes (andamiaje, escalado de inferencia).
• Fallo de mitigación: Incluso si se elicitan capacidades peligrosas, el bajo costo de replicar estas ganancias mediante vectores no derivados del modelo hace que la mitigación sea difícil.
• Costo del excedente (Overhang Cost): El daño potencial de no haber elicitado una capacidad aumenta a medida que las ganancias no derivadas del modelo permiten que más actores accedan a capacidades peligrosas.

Portafolio de gobernanza propuesto

El documento argumenta que la gobernanza a nivel de modelo debe ser complementada, no reemplazada, por un portafolio diversificado de estrategias de gobernanza:

1. Gobernanza mejorada a nivel de modelo:

   • Estándares de elicitación evolutiva: Pasar de "¿de qué es capaz el modelo?" a "¿qué puede eliciar un actor con ciertos recursos en un periodo de tiempo determinado?".
   • Asociaciones: Profundizar la cooperación con probadores de terceros, autoridades de seguridad nacional y fabricantes de hardware para mejorar los estamentos de evaluación.
   • Monitoreo post-despliegue: Reevaluación continua de los modelos desplegados mediante tablas de clasificación (leaderboards) e intercambio de inteligencia de amenazas.
   • Pronóstico: Invertir en metodologías para predecir los excedentes de capacidad, particularmente para las ganancias de inferencia y de sistemas.

2. Más allá de la gobernanza a nivel de modelo:

   • Gobernanza de sistemas: Hacer responsables a los proveedores de sistemas (por ejemplo, aquellos que construyen andamiajes complejos o agentes) de la gestión de riesgos, especialmente cuando sus sistemas elevan significativamente las capacidades del modelo base.
   • Gobernanza de entidades: Centrarse en la estructura organizacional, los incentivos y la cultura de riesgo de las entidades que desarrollan o despliegan IA, más allá de los pesos del modelo.
   • Gobernanza de agentes: Abordar los riesgos derivados de la dinámica multiagente, la delegación y la interacción autónoma (por ejemplo, descoordinación, colusión).
   • Gobernanza de la nube: Explorar el monitoreo de uso de cómputo de inferencia y contenido a nivel de proveedor de nube de forma segura para la privacidad, con el fin de detectar patrones de uso indebido.
   • Resiliencia social: Intervenciones para ayudar a las comunidades a afrontar y recuperarse de las perturbaciones habilitadas por la IA (por ejemplo, asegurar las cadenas de suministro biológico, la infraestructura económica) cuando la gobernanza técnica no logra prevenir la materialización del riesgo.

5. Significación y afirmaciones

El documento afirma que los rendimientos relativos de la intervención a nivel de modelo pueden disminuir a medida que las ganancias no derivadas del modelo cobran mayor importancia. Su principal significación radica en:

• Formalización del concepto: Proporcionar una taxonomía rigurosa de las ganancias no derivadas del modelo que anteriormente se habían discutido de manera anecdótica.
• Preparación para políticas: Argumentar que el ecosistema de la IA debe prepararse para un panorama de riesgos en transformación donde el "modelo base" ya no es el único locus de control o riesgo.
• Diversificación estratégica: Demostrar que una estrategia de gobernanza integral debe ir más allá del modelo para incluir nodos de sistemas, entidades, agentes y de la nube, así como la resiliencia social.

Los autores mantienen una postura modesta, reconociendo que las estrategias de gobernanza alternativas enfrentan barreras prácticas, legales y técnicas prohibitivas. No afirman que estas alternativas sean inmediatamente implementables o que la gobernanza a nivel de modelo vaya a volverse redundante. En su lugar, argumentan que un análisis exhaustivo y la exploración de estos mecanismos más amplios deben ocurrir "lo antes posible" para evitar que el ecosistema de gobernanza se quede sin preparación a medida que las ganancias no derivadas del modelo se conviertan en el motor dominante del progreso de las capacidades.