🤖 AI

NeurIPS Should Require Reproducibility Standards for Frontier AI Safety Claims

Este documento de posición sostiene que NeurIPS debe exigir estándares de reproducibilidad para las afirmaciones de seguridad de la IA de vanguardia, proponiendo un marco de divulgación de tres niveles para abordar la actual «inversión de la evidencia» en la que las afirmaciones de seguridad más trascendentales son las menos verificables debido a la retención de los artefactos.

Autores originales: Varad Vishwarupe, Nigel Shadbolt, Marina Jirotka, Ivan Flechais

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Varad Vishwarupe, Nigel Shadbolt, Marina Jirotka, Ivan Flechais

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde una empresa construye una máquina nueva increíblemente poderosa. Antes de venderla al público, publican un informe diciendo: "No te preocupes, esta máquina es segura. No hará daño a nadie".

El problema, según este documento, es que la empresa a menudo se niega a mostrarte cómo probaron la máquina. Te dan la puntuación final (por ejemplo, "¡99% segura!") pero ocultan las preguntas del examen, las reglas de puntuación y la configuración de la máquina. Dicen: "Confía en nosotros, lo hemos verificado".

Los autores de este documento argumentan que la conferencia NeurIPS (una reunión importante para científicos informáticos) necesita cambiar las reglas. Dicen: "Si quieres publicar una afirmación de seguridad sobre una IA súper poderosa, debes probarla. Si no puedes mostrar tu trabajo, no puedes hacer la gran afirmación."

Aquí tienes un desglose de su propuesta usando analogías simples:

1. El Problema: La "Inversión Evidencial"

Por lo general, en la ciencia, cuanto más grande e importante es una afirmación, más pruebas necesitas para respaldarla.

Ciencia Normal: Si un científico dice: "He encontrado un nuevo planeta", debe mostrar los datos del telescopio para que otros también puedan mirar.
Seguridad de la IA (El Problema): Si una empresa dice: "Esta IA es lo suficientemente segura para gestionar la red eléctrica", a menudo ocultan los datos.

Los autores llaman a esto una "Inversión Evidencial". Es como un mago que afirma que su truco es inofensivo pero se niega a dejar que nadie vea la baraja de cartas. El documento argumenta que esto es un fallo de la ciencia, no solo una falta de transparencia.

2. La Solución: Un Sistema de "Semáforo" de Tres Niveles

Los autores saben que a veces, mostrar las "cartas" (los datos de prueba) es peligroso. Si muestras exactamente cómo romper un sistema de seguridad, los actores maliciosos podrían aprender a hacerlo.

Por lo tanto, proponen un Sistema de Tres Niveles (como un semáforo) para cuánta información debe compartirse:

🟢 Nivel 1 (Luz Verde - Público):
- Cuándo: Los datos de prueba son seguros para mostrar a todos.
- Regla: Debes publicar todo: las preguntas que le hiciste a la IA, el código que usaste y los resultados. Cualquiera puede volver a ejecutar la prueba.
- Resultado: Confianza total. La afirmación está totalmente respaldada.
🟡 Nivel 2 (Luz Amarilla - Controlado):
- Cuándo: Mostrar los datos públicamente sería peligroso (por ejemplo, enseña a la gente a hackear), pero un experto de confianza podría verlo de forma segura.
- Regla: No publicas los datos al público. En su lugar, los entregas a un panel secreto de expertos independientes de confianza (como una autorización de seguridad privada). Ellos revisan el trabajo a puerta cerrada y dan un "pulgar arriba" o un "pulgar abajo".
- Resultado: La afirmación está respaldada, pero con una nota que dice: "Lo verificamos en privado, pero no puedes ver los datos brutos".
🔴 Nivel 3 (Luz Roja - Restringido):
- Cuándo: Incluso un panel secreto no puede ver los datos porque son demasiado peligrosos (por ejemplo, la prueba implica crear una simulación de un arma biológica).
- Regla: Aún puedes escribir el documento, pero no puedes hacer la gran afirmación de que la IA es "lo suficientemente segura para ser liberada". Solo puedes decir: "Intentamos probar esto, pero los datos son demasiado sensibles".
- Resultado: La afirmación está "ajustada correctamente". No puedes usar el documento para justificar la liberación de la IA al mundo.

3. El "Inventario de Afirmaciones" (El Recibo)

Para asegurarse de que las empresas no hagan trampa, el documento sugiere un nuevo formulario que los autores deben rellenar, llamado Inventario de Afirmaciones.

Piensa en esto como un recibo en una tienda.
El autor debe listar cada afirmación de seguridad que está haciendo.
Junto a cada afirmación, debe marcar una casilla: "¿Mostramos los datos? ¿Consiguió un panel secreto verificarlo? ¿O es demasiado peligroso mostrarlo?"
Si marcan "Demasiado peligroso" pero no tienen una buena razón, el documento es rechazado o la afirmación se debilita.

4. ¿Por qué NeurIPS?

Los autores eligieron NeurIPS porque es las "Olimpiadas" de la investigación en IA.

Actualmente, a las empresas les encanta publicar sus informes de seguridad en NeurIPS porque esto otorga a sus afirmaciones legitimidad científica. Hace que el público y los gobiernos confíen en ellas.
El documento argumenta: "Si quieres la medalla de oro (publicación en NeurIPS), tienes que seguir las reglas. No puedes simplemente decir que eres seguro; tienes que probarlo, ya sea públicamente o ante un árbitro de confianza".

5. Cómo Detener el Trampas

Los autores anticipan que algunas empresas podrían intentar manipular el sistema (por ejemplo, afirmando que sus datos son "demasiado peligrosos" solo para ocultarlos).

La Solución: Proponen un Sistema de Revisión Federada. Imagina un grupo de diferentes "autorizaciones de seguridad" (como diferentes institutos nacionales de seguridad o laboratorios independientes). Si una empresa dice que sus datos son demasiado sensibles para NeurIPS, un experto neutral de este grupo los verifica.
Si el experto dice: "No, esto en realidad no es tan peligroso, deberías mostrarlo", la empresa tiene que mostrarlo. Si se niegan, el documento es rechazado.

Resumen

El documento es un llamado a la acción para la comunidad de IA: Dejad de aceptar "Confía en nosotros" como prueba de seguridad.

Si afirmáis que una IA poderosa es segura, debéis:

Mostrar vuestro trabajo a todos.
Permitir que un árbitro independiente y de confianza verifique vuestro trabajo en secreto.
Si no podéis hacer ninguna de las dos cosas, admitid que no habéis demostrado que sea segura y no uséis vuestro documento para justificar la liberación de la IA.

El objetivo no es detener el desarrollo de la IA; es asegurarse de que, cuando digamos "Esto es seguro", realmente tengamos los recibos para probarlo.

Resumen Técnico: NeurIPS Debería Exigir Estándares de Reproducibilidad para Afirmaciones de Seguridad en IA de Vanguardia

Problema: La Inversión Evidencial
El artículo identifica una falla estructural crítica en la investigación de seguridad de IA de vanguardia denominada "inversión evidencial". En el aprendizaje automático estándar, la norma es que las afirmaciones empíricas más trascendentales se respaldan con normas más sólidas de divulgación y reproducibilidad. Sin embargo, en la seguridad de la IA de vanguardia, esta relación se invierte: las afirmaciones más trascendentales —aseveraciones de que un modelo general de gran capacidad es lo suficientemente seguro para su despliegue, está adecuadamente mitigado o se encuentra por debajo de un umbral de riesgo específico— suelen ser las menos reproducibles.

Las métricas actuales de transparencia (por ejemplo, el Índice de Transparencia de Modelos Fundacionales de 2025) indican que los principales desarrolladores a menudo retienen los artefactos necesarios para evaluar estas afirmaciones, como conjuntos de prompts, pipelines de evaluación y divulgaciones de datos de entrenamiento. Esto crea una situación en la que las afirmaciones de seguridad se tratan como aseveraciones normativas (por ejemplo, "el modelo es seguro") sin el respaldo probatorio requerido para la legitimidad científica. El artículo argumenta que esto no es meramente una preferencia de transparencia, sino un fallo de validez de medición, donde las comparaciones de tasas de éxito de ataques o mitigación de riesgos a menudo se basan en mediciones de baja validez o comparaciones "de manzanas con naranjas".

Metodología: Un Marco de Divulgación de Tres Niveles
Los autores proponen una intervención metodológica para la conferencia NeurIPS para abordar esta brecha sin exigir la publicación pública de artefactos peligrosos. La metodología central es un Marco de Divulgación de Tres Niveles acompañado de un Inventario de Afirmaciones obligatorio.

Inventario de Afirmaciones: Los autores que presenten afirmaciones de seguridad en IA de vanguardia deben someter un inventario estructurado que liste cada afirmación, su alcance, los artefactos requeridos para la evaluación y el nivel de divulgación solicitado. Esto incluye una "declaración de alcance" que detalla el sistema evaluado (tipo de punto de control), el entorno (offline vs. en vivo), los componentes del pipeline y las cuantificaciones de incertidumbre.
Sistema de Tres Niveles:
- Nivel 1 (Público): El predeterminado. Requiere la publicación pública completa de prompts de evaluación, código, rúbricas e identificadores de versión suficientes para repetir la afirmación. Apoya la validez empírica completa.
- Nivel 2 (Controlado): Se aplica cuando la publicación pública genera riesgos materiales de mal uso o seguridad, pero es viable una revisión confidencial. Requiere acceso privado para un panel confidencial de NeurIPS o auditores independientes aprobados. El artículo público incluye un resumen de métodos, justificaciones de la redacción y una declaración de alcance para los revisores. Esto respalda una validez empírica "fuerte pero calificada".
- Nivel 3 (Restringido): Se aplica cuando incluso la revisión confidencial no es viable (por ejemplo, arneses de mejora CBRN en vivo). La afirmación se "ajusta a la escala correcta", lo que significa que su fuerza se reduce a lo que la evidencia restringida puede respaldar. Puede aparecer como contexto o una nota descriptiva, pero no puede servir como garantía para conclusiones de "por debajo del umbral" o "despliegue respaldado".
Mecanismo de Gobernanza: La propuesta describe un Coloquio Federado para las revisiones del Nivel 2. En lugar de depender de una única entidad central, las solicitudes del Nivel 2 se enrutan a una red de anfitriones de revisión segura (por ejemplo, Institutos Nacionales de Seguridad de IA, evaluadores independientes como METR, laboratorios académicos de confianza) basándose en la experiencia en el dominio (por ejemplo, CBRN, ofensiva cibernética, riesgo sistémico). Un panel confidencial de académicos no afiliados y personal del instituto revisa los artefactos bajo acuerdos de no divulgación, produciendo una "declaración de adecuación" pública sin revelar datos sensibles.

Contribuciones Clave
El artículo contribuye con seis elementos específicos al discurso sobre la gobernanza de la seguridad de la IA:

Definición Operacional: Una definición cuantitativa y funcional de una "afirmación de seguridad en IA de vanguardia", anclada a los umbrales de computación de la Ley de IA de la UE ( $10^{25}$ FLOPs) o a la presencia de capacidades peligrosas emergentes (mejora CBRN, ofensiva cibernética autónoma, autorreplicación, engaño estratégico).
Diagnóstico: Un diagnóstico formal de la "inversión evidencial" basado en evidencia empírica de 2025–2026, demostrando que los fallos de reproducibilidad se concentran donde las afirmaciones son normativas en lugar de descriptivas.
Argumento Institucional: Una justificación de NeurIPS como el foro apropiado, citando sus normas existentes de reproducibilidad (por ejemplo, la Lista de Verificación de Reproducibilidad de ML) y su papel en conferir legitimidad científica a los marcos de seguridad de vanguardia.
El Marco: El modelo detallado de divulgación de tres niveles, incluido el inventario de afirmaciones, las declaraciones de alcance y la infraestructura de revisión federada.
Ruta de Implementación: Un plan de implementación por fases:
- Año 1: Implementación del inventario de afirmaciones y la lista de verificación en el proceso de envío existente.
- Año 2: Un piloto del panel confidencial del Nivel 2 (limitado a cinco artículos).
- Año 3: Introducción de etiquetas visibles de divulgación (espejo de las insignias de artefactos de ACM) y sanciones graduales por incumplimiento.
Manejo de Objeciones: Respuestas sistemáticas a cinco objeciones principales, incluidas las preocupaciones sobre la participación de la industria, la viabilidad de la revisión confidencial y el riesgo de captura del panel.

Resultados y Afirmaciones
Como artículo de posición, el trabajo no presenta resultados experimentales ni datos empíricos generados por los autores. En cambio, sus "resultados" son la derivación lógica del marco propuesto a partir de evidencia y precedentes existentes. El artículo afirma que:

Las prácticas actuales permiten que las afirmaciones de seguridad adquieran legitimidad revisada por pares sin evidencia reproducible, creando una brecha entre el rigor científico y las necesidades de gobernanza.
El marco propuesto permite el escrutinio de afirmaciones de seguridad sensibles sin exigir la publicación pública, alineándose con precedentes en la revisión de ética médica y la divulgación coordinada de vulnerabilidades.
El "ajuste a la escala correcta" de las afirmaciones en el Nivel 3 garantiza que los artículos no exageren sus hallazgos cuando la evidencia está restringida, manteniendo la integridad científica.

Significado
El artículo argumenta que el significado de esta propuesta radica en corregir una patología estructural donde "las afirmaciones más trascendentales en la seguridad de la IA suelen ser las menos reproducibles". Al aplicar los mismos estándares de reproducibilidad a las afirmaciones de seguridad de vanguardia que la comunidad aplica a las afirmaciones de aprendizaje automático estándar, NeurIPS puede prevenir la legitimación de aseveraciones de seguridad no verificadas. Los autores enfatizan que esto no es un llamado a que NeurIPS se convierta en un regulador, sino a asegurar que el estado probatorio de las afirmaciones publicadas bajo su bandera coincida con la fuerza de dichas afirmaciones. La propuesta busca dar forma a la práctica mientras el marco aún es maleable, asegurando que las publicaciones revisadas por pares sirvan como un insumo confiable para la gobernanza y las políticas globales de IA.