Verifying Restrictions on Frontier AI Research

Resumen Técnico: Verificación de las Restricciones en la Investigación de IA de Frontera

Planteamiento del Problema
El desarrollo prematuro de la Inteligencia Superinteligente Artificial (ASI) plantea riesgos catastróficos para la humanidad, lo que ha impulsado propuestas de acuerdos internacionales para detener dicho desarrollo hasta que se pueda garantizar la seguridad. El progreso de la IA depende de tres insumos primarios: cómputo, datos y algoritmos. Si bien los controles de chips abordan el cómputo, son insuficientes por sí solos; los avances en algoritmos y datos podrían eludir las restricciones de hardware. En consecuencia, los acuerdos internacionales deben incluir restricciones sobre actividades de investigación específicas (por ejemplo, investigación de capacidades de IA de frontera, diseño de chips, entrenamiento descentralizado). Sin embargo, dada la baja confianza internacional, las naciones signatarias requieren métodos robustos para verificar el cumplimiento de estas restricciones de investigación. El desafío central es determinar cómo los gobiernos pueden verificar que no se esté llevando a cabo investigación prohibida, particularmente frente a tres tipos de actores de amenaza: actores estatales encubiertos con infraestructura secreta, organizaciones establecidas y respetuosas de la ley, y académicos renegados.

Metodología
Este documento no propone un tratado internacional específico ni define los límites precisos de la investigación prohibida; más bien, se mantiene agnóstico respecto al alcance específico de las restricciones. En su lugar, emplea un enfoque analítico de dos vertientes:

1. Análisis de Factores: Los autores analizan factores técnicos y sociológicos clave que influyen en la verificabilidad de las restricciones de investigación. Esto incluye los requisitos computacionales para validar innovaciones algorítmicas, la escasez de expertos humanos capaces de empujar la frontera y el inminente cambio hacia sistemas de IA que automatizan la investigación de la propia IA.
2. Catalogación de Mecanismos: El documento mapea sistemáticamente el espacio de los posibles mecanismos de verificación. Basándose en precedentes de la no proliferación nuclear, los tratados de armas químicas y la regulación financiera, los autores identifican, evalúan y catalogan 28 mecanismos candidatos de alto nivel. Estos se agrupan por su objetivo: detección de proyectos encubiertos, monitoreo de organizaciones declaradas de alto riesgo, verificación del uso de chips y prevención de la no proliferación.

Contribuciones Clave
La contribución principal del documento es una taxonomía estructurada de 28 mecanismos de verificación, categorizados de la siguiente manera:

• Detección de Proyectos Encubiertos:

  • Denunciantes (Whistleblowers): Establecimiento de canales seguros e incentivados (modelados según el programa Dodd-Frank de la SEC) para reportar proyectos secretos.
  • Recopilación de Inteligencia: Utilización de inteligencia de señales, financiera y humana para monitorear objetivos conocidos de alto riesgo e identificar otros desconocidos (por ejemplo, mediante inteligencia de fuentes abiertas).
  • Interrogatorio Directo: Entrevistas con investigadores y funcionarios, potencialmente apoyadas por polígrafos o detección de mentiras.
  • Órdenes de Registro e Inspecciones: Órdenes internacionales para propiedades y archivos, que podrían incluir inspecciones de desafío de "aviso corto", similares a las de la Convención sobre Armas Químicas.
  • Operaciones Encubiertas (Sting Operations): Reclutamiento de falsa bandera para identificar participantes dispuestos en proyectos encubiertos.

• Monitoreo de Organizaciones Declaradas de Alto Rieso:

  • Revisión de Código Automatizada: Uso de IA para examinar bases de código de producción e investigación en busca de algoritmos restringidos sin exponer detalles patentados a los inspectores humanos.
  • Auditores In Situ: Estacionamiento de auditores humanos a tiempo completo dentro de las organizaciones (análogo a los inspectores de plantas nucleares).
  • Monitoreo de Empleados: Supervisión por software de los dispositivos de trabajo, analizando potencialmente los datos mediante métodos automatizados para preservar la privacidad.
  • Pre-registro y Revisión: Pre-registro obligatorio de planes de investigación y revisión previa de la publicación de resultados.
  • Evaluación de Modelos: Evaluación por parte de terceros de modelos de IA para detectar ganancias de capacidad inexplicables que sugieran que se está realizando investigación restringida.
  • Entornos Controlados: Requerir que los investigadores de alto riesgo trabajen en instalaciones seguras (SCIFs) sin dispositivos personales.

• Verificación del Uso de Chips (para Chips Declarados):

  • Revisión de Entrenamiento: Revisión del código y los métodos utilizados en el entrenamiento sobre clústeres monitoreados para asegurar que no se apliquen métodos novedosos y restringidos.
  • Monitoreo de Inferencia: Clasificación del contenido de inferencia (prompts/outputs) para detectar actividades de investigación restringidas.
  • Revisión de Datos: Verificación de los datos de entrenamiento para detectar mejoras prohibidas (por ejemplo, el uso de datos sintéticos).
  • Clasificación de Carga de Trabajo: Análisis de las características de la actividad del chip (consumo de energía, ancho de banda) para distinguir experimentos restringidos de la inferencia permitida.
  • Lista Blanca de Modelos (Allowlisting): Restricción de los chips para que ejecuten solo modelos pre-aprobados (por ejemplo, mediante conceptos de Gestión de Derechos Digitales).

• No Proliferación:

  • Prevención del desarrollo y la propagación de sistemas de IA capaces de automatizar la investigación restringida (IAs capaces de I+D de IA).
  • Asegurar los secretos algorítmicos y los datos para limitar la proliferación del conocimiento.

Resultados y Hallazgos
El análisis arroja varias ideas críticas respecto a la viabilidad de la verificación:

1. El Desafío del "Centro de Datos Secreto": La brecha de verificación más significativa es la posible existencia de centros de datos secretos y desconocidos. Si los modelos de IA llegan a ser capaces de automatizar la investigación, la necesidad de expertos humanos disminuye, dejando solo el cómputo como un cuello de botella detectable. Los clústeres de cómputo a pequeña escala (por ejemplo, <8 equivalentes a H100) son difíciles de detectar físicamente.
2. Efectividad Diferenciada:
   • Actores Encubiertos: La recopilación de inteligencia tradicional y los denunciantes se identifican como las herramientas más efectivas para detectar proyectos secretos.
   • Organizaciones Declaradas: Los métodos automatizados (revisión de código, monitoreo de inferencia) se consideran los más adecuados para monitorear entidades conocidas de alto riesgo, ya que pueden escalar y preservar mejor la privacidad que la vigilancia humana constante.
   • Verificación de Chips: La revisión del entrenamiento de IA en clústeres monitoreados para detectar métodos novedosos se destaca como un mecanismo de alto valor para evitar que actores encubiertos aprovechen la infraestructura legítima y monitoreada para escalar la investigación restringida.
3. Variación en la Implementación: Los mecanismos varían significamente en su preparación. Los denunciantes, las entrevistas y la recopilación de inteligencia son implementables de inmediato. En contraste, la verificación robusta del uso de chips y la revisión de código automatizada requieren una investigación y desarrollo (I+D) significativos adicionales para estar listos para su despliegue.

Significancia y Reivindicaciones
El documento afirma proporcionar un marco fundacional para la investigación futura en gobernanza técnica de la IA. No sostiene que un régimen de verificación perfecto sea actualmente posible, señalando que la dificultad de detectar clústeres de cómputo a pequeña escala y el potencial de la IA para automatizar la investigación crean una incertidumbre sustancial.

Los autores afirman que su trabajo avanza en el estado del pensamiento al:

• Ir más allá de la pregunta de qué restringir para abordar cómo verificar las restricciones.
• Resaltar que la verificación no es una tarea monolítica, sino que requiere un enfoque de capas que combine inteligencia humana, monitoreo automatizado e inspección física.
• Identificar áreas específicas (como la verificación del uso de chips y la revisión de código automatizada) donde se requiere I+D urgente para hacer que estos mecanismos sean viables para futuros acuerdos internacionales.

El documento concluye con una evaluación modesta: si bien existen razones tanto para el optimismo como para el pesimismo respecto a la facilidad de la verificación, establecer estos mecanismos es crítico para la viabilidad de cualquier acuerdo internacional destinado a detener el desarrollo prematuro de la ASI. También reconoce el riesgo de doble uso de esta investigación, señalando que las herramientas de verificación podrían ser mal utilizadas para la represión o que el propio documento podría servir como una guía para evasores, pero argumenta que el beneficio de permitir propuestas de gobernanza concretas supera tales riesgos.