What Should Frontier AI Developers Disclose About Internal Deployments?

Resumen Técnico: ¿Qué deberían revelar los desarrolladores de IA de frontera sobre sus despliegues internos?

Problema
Los desarrolladores de IA de frontera (como OpenAI, Anthropic, etc.) están utilizando cada vez más modelos de alta capacidad de forma interna para automatizar procesos críticos de investigación y desarrollo (AI R&D), ingeniería de aprendizaje automático (MLE) y generación de datos de entrenamiento. Estos se denominan Modelos Desplegados Internamente (IDM, por sus siglas en inglés).

El problema central es la asimetría de información: mientras que los modelos públicos están sujetos a escrutinio, los IDM operan en la sombra, lo que impide que los reguladores y el público evalúen riesgos catastróficos. Los riesgos identificados incluyen el uso de modelos para manipular la investigación de seguridad, la inserción de vulnerabilidades en el código, la mejora recursiva de la capacidad (self-improvement) y el riesgo de sabotaje o robo de infraestructura sensible. Actualmente, marcos regulatorios como la SB 53 de California o el Código de Práctica de la UE exigen informes, pero no especifican qué información técnica debe ser revelada.

Metodología
Los autores emplean un enfoque de análisis de políticas y gobernanza de seguridad. El estudio se estructura de la siguiente manera:

1. Definición Operativa: Establecen una definición de IDM centrada en "tareas privilegiadas" (aquellas que moldean la infraestructura o la investigación del desarrollador), diferenciándose de la literatura previa para incluir modelos que, aunque sean internos, influyen en el desarrollo de sistemas futuros.
2. Categorización de Información: Identifican cuatro dimensiones críticas para la transparencia: capacidades, uso, mitigaciones de seguridad y gobernanza.
3. Análisis de Coste-Beneficio: Para cada categoría de información, analizan los beneficios para la supervisión externa frente a los riesgos para el desarrollador (propiedad intelectual, secretos comerciales y riesgos de seguridad/ataques).
4. Propuesta de Mitigación: Evalúan mecanismos para equilibrar la transparencia con la seguridad, como el uso de canales de auditoría seguros y la distinción entre divulgación pública (resúmenes de alto nivel) y privada (detalles técnicos para reguladores).

Contribuciones Clave
La principal contribución es un marco de divulgación estructurado (presentado en la Tabla 1 del documento) que propone qué datos específicos deben reportarse:

• Capacidades: Relación con modelos públicos, rendimiento en benchmarks de automatización de R&D (como RE-Bench o SWE-Bench Pro) y la proporción de cómputo (FLOPs/GPU-hours) asignada a IDM frente a modelos públicos.
• Uso: Tipos de tareas (codificación, generación de datos), grado de autonomía (tiempo que operan sin supervisión humana) y el porcentaje de cambios en el pipeline de entrenamiento revisados por humanos.
• Mitigaciones de Seguridad: Sistemas de monitoreo de salida, mecanismos de control, resultados de pruebas de estrés (red-teaming) y puntuaciones en evaluaciones de alineación y monitorización.
• Gobernanza: Usos prohibidos, políticas de uso aceptable para empleados, mecanismos de reporte de incidentes y niveles de acceso de los empleados a los modelos.

Resultados y Propuestas de Implementación
El estudio concluye que la transparencia es viable si se implementa mediante un modelo híbrido:

• Dónde y a quién: Se sugiere la creación de informes periódicos independientes (cada 90 días o ante cambios significativos) en lugar de esperar a los lanzamientos de modelos. La información sensible debe compartirse con terceros de confianza (auditores) y reguladores mediante canales cifrados, mientras que el público recibe resúmenes redactados.
• Mitigación de riesgos de la transparencia: Los autores argumentan que el riesgo de revelar estrategias comerciales o vulnerabilidades puede gestionarse mediante la divulgación escalonada (revelar información a reguladores primero y al público después de un retraso) y el uso de métricas normalizadas que no revelen detalles exactos de la infraestructura.

Significancia
Este trabajo es fundamental para la gobernanza de la IA de frontera porque proporciona una hoja de ruta técnica para la regulación. Al definir qué métricas y datos son relevantes, ayuda a los legisladores a redactar leyes más efectivas y a los desarrolladores a establecer estándares de "mejor en su clase" (best-in-class). En última instancia, busca cerrar la brecha de visibilidad que actualmente permite que los riesgos más peligrosos de la IA (aquellos que ocurren durante su propio proceso de creación) permanezcan sin supervisión.