Open Technical Problems in Open-Weight AI Model Risk Management

Imagina el mundo de la inteligencia artificial como una biblioteca enorme y bulliciosa. Durante mucho tiempo, los libros más poderosos de esta biblioteca se guardaban tras vitrinas, bajo llave por unas pocas corporaciones gigantes. Podías leerlos, pero no podías llevártelos a casa, y ciertamente no podías arrancar páginas ni reescribir los capítulos. Estos son los modelos de "pesos cerrados". Pero recientemente, una nueva tendencia ha estallado: los modelos de "pesos abiertos". Estos son como copias digitales de los libros más poderosos de la biblioteca que cualquiera puede descargar, llevarse a casa y conservar para siempre. ¿Lo mejor de todo? Puedes fotocopiarlos, pegarlos o incluso reescribir el texto para que hagan cosas nuevas. Esto es increíblemente emocionante para investigadores e inventores que quieren construir herramientas asombrosas.

Sin embargo, hay un inconveniente. Cuando le das a todo el mundo una copia de un libro y dejas que lo reescriban, pierdes el control. Si alguien escribe una historia peligrosa en su versión, no se le puede impedir que la comparta con el mundo entero. A diferencia de los libros bajo llave, no puedes simplemente llamar al bibliotecario para recuperar la versión peligrosa; una vez que sale, ya salió. Este artículo, escrito por un enorme equipo de expertos de universidades y organizaciones de seguridad, plantea una pregunta crítica: ¿Cómo mantenemos segura esta biblioteca abierta cuando cualquiera puede cambiar los libros? No están intentando volver a cerrar la biblioteca con llave; en su lugar, intentan inventar nuevos tipos de "tinta mágica" y "guardias de seguridad" que se mantengan seguros incluso cuando el libro está siendo reescrito. Quieren averiguar cómo construir una IA que sea abierta para que todos la usen y, al mismo tiempo, lo suficientemente resistente para evitar que se convierta en un arma.

El Gran Problema: La Máquina de Copiado Imparable

Los autores explican que los modelos de IA de pesos abiertos se están volviendo increíblemente poderosos, a veces solo de 6 a 12 meses por detrás de los modelos súper secretos guardados por las grandes empresas. El problema es que, mientras que los modelos cerrados pueden ser parcheados o retirados si empiezan a actuar de forma extraña, los modelos abiertos son como virus digitales. Una vez que alguien los descarga, pueden ser modificados, compartidos y difundidos para siempre.

Piensa en un modelo cerrado como una aplicación de smartphone. Si la aplicación tiene un error que permite a los hackers robar tus fotos, la empresa puede lanzar una actualización para arreglarlo, o incluso eliminar la aplicación de la tienda. Pero un modelo de pesos abiertos es como una receta para un pastel. Si encuentras un ingrediente peligroso en la receta, no puedes impedir que las personas que ya tienen la receta horneen el pastel. Peor aún, alguien puede tomar esa receta, añadir un ingrediente "venenoso" (como una instrucción oculta para dañar a las personas) y compartir la nueva y peligrosa receta con millones de personas más. El panadero original no tiene forma de detener esto.

El artículo destaca que las herramientas de seguridad actuales, como los filtros que bloquean malas palabras, son inútiles contra los modelos abiertos. ¿Por qué? Porque si tienes la receta (el código del modelo), simplemente puedes borrar el filtro. Es como intentar detener a alguien que hornea un pastel poniendo un cartel de "No Comer" en la encimera de la cocina; si tienen toda la cocina, simplemente pueden ignorar el cartel.

Los 16 Desafíos: Un Kit de Herramientas para un Lejano Oeste

El artículo no solo señala el problema; establece 16 desafíos técnicos específicos que los científicos deben resolver para que la IA abierta sea segura. Los organizan en cinco categorías principales, como diferentes estaciones en una fábrica que construye estos modelos de IA.

1. Los Ingredientes (Curación de Datos de Entrenamiento)
Antes de que una IA aprenda, consume una cantidad masiva de datos, como un estudiante leyendo millones de libros. El primer desafío es: ¿Cómo nos aseguramos de que el estudiante nunca lea los libros malos?
Los autores sugieren que si filtramos la información peligrosa (como instrucciones sobre cómo construir bombas o crear imágenes ilegales) antes de que la IA comience a aprender, la IA podría no aprender esos trucos malos en primer lugar. Es como enseñar a un niño a ser amable dándole solo libros sobre la amabilidad, en lugar de intentar enseñarle a ser amable después de que ya haya aprendido a ser malo. Sin embargo, el artículo señala que esto es complicado. A veces, eliminar un tema específico puede hacer que la IA sea peor en otra cosa por accidente, o la IA podría descubrir las cosas malas a partir de pistas que parecen inocentes.

2. La Armadura Irrompible (Entrenamiento Resistente a la Manipulación)
Incluso si empezamos con una IA segura, alguien podría intentar el "ajuste fino" (fine-tuning): enseñarle nuevos trucos malos más adelante. El segundo desafío es: ¿Cómo construimos una IA que se niegue a aprender trucos malos, incluso cuando alguien intenta forzarla?
Imagina intentar enseñarle a un perro a morder, pero el perro está tan bien entrenado que físicamente no puede aprender la orden. El artículo dice que los métodos actuales son débiles. Si alguien intenta reentrenar una IA segura para que sea peligrosa, generalmente pueden lograrlo en solo unos pocos cientos de pasos. Los autores quieren encontrar formas de hacer que la IA sea "inmune" a esto, de modo que incluso si alguien intenta hackearla, la IA se mantenga segura. También exploran el "desaprendizaje" (unlearning): una forma de hacer que la IA olvide cosas específicas malas que pudo haber aprendido, pero los métodos actuales son fácilmente reversibles.

3. La Prueba de Estrés (Evaluaciones de Manipulación del Modelo)
Antes de lanzar una nueva IA, necesitamos probarla. El tercer desafío es: ¿Cómo probamos una IA para ver si puede ser rota por alguien que intenta hackearla?
Actualmente, la mayoría de las pruebas solo hacen preguntas normales a la IA. Los autores dicen que necesitamos contratar "red teams" (equipos de ataque): grupos de hackers cuyo trabajo es intentar romper la IA modificándola de todas las formas posibles. Queremos saber: ¿Cuántos pasos toma convertir una IA útil en una dañina? ¿Cuánto cuesta? El artículo encuentra que aún no tenemos buenas pruebas para esto. Necesitamos saber exactamente qué tan fácil es romper estos modelos para poder arreglarlos antes de que sean lanzados.

4. El Lanzamiento Escalonado (Despliegue Escalonado)
En lugar de lanzar una nueva IA al mundo de golpe, el cuarto desafío es: ¿Podemos lanzarla en etapas para observar qué sucede?
Imagina un nuevo videojuego. En lugar de dejar que todos jueguen inmediatamente, los desarrolladores dejan que un pequeño grupo de probadores juegue primero. Si encuentran un error, lo arreglan antes de que todo el mundo lo tenga. Los autores sugieren hacer esto con la IA. Podríamos dejar que un grupo de investigadores de confianza use el modelo primero, observar cómo lo usan, y solo abrirlo a todo el mundo una vez que estemos seguros de que es seguro. También exploran trucos técnicos como el "despliegue dividido", donde parte de la IA se ejecuta en tu computadora y otra parte en un servidor seguro, lo que hace más difícil que alguien robe el todo.

5. El Trabajo de Detective (Procedencia y Forense del Modelo)
Finalmente, una vez que la IA está en el mundo real, el quinto desafío es: ¿Cómo sabemos de dónde vino una IA específica y qué cambios se le hicieron?
Si encuentras un modelo de IA peligroso en internet, ¿cómo sabes quién lo hizo? Los autores sugieren usar "marcas de agua": huellas digitales invisibles integradas en el código del modelo. Si alguien intenta cambiar el modelo, la huella debería seguir ahí, o al menos deberíamos poder rastrear el árbol genealógico del modelo para ver quién lo modificó. Esto ayuda a los investigadores a rastrear cómo se propagan los modelos peligrosos y quién es responsable.

Lo que el Papel Encontró (y lo que no encontró)

Los autores analizaron los informes técnicos de los 10 modelos de IA abiertos más populares lanzados en 2025, así como varios generadores de imagen y video famosos. Encontraron una brecha preocupante.

• Limpieza de Datos: La mayoría de las empresas hablaron un poco sobre la limpieza de sus datos (eliminar cosas malas antes del entrenamiento). Algunas dieron un párrafo, algunas una sección entera, pero muchas no dijeron mucho.
• Las Piezas Faltantes: Casi nadie habló sobre hacer que sus modelos fueran resistentes a la manipulación. Ninguno de los principales modelos mencionó algoritmos de "desaprendizaje" o entrenamiento "resistente a la manipulación". Solo un modelo (gpt-oss) tenía un artículo dedicado a probar qué tan difícil era romper su modelo.
• El Silencio: Casi no hubo menciones de "despliegue escalonado" o "procedencia" (rastrear la historia del modelo) en los informes de los modelos más grandes.

El artículo sugiere que este silencio significa una de tres cosas: o estas técnicas de seguridad aún no se están usando, o se están usando pero no se habla de ellas, o simplemente no funcionan lo suficientemente bien todavía. Los autores argumentan que debemos dejar de solo lanzar modelos y empezar a construir una ciencia rigurosa sobre cómo mantenerlos seguros.

La Conclusión

Este artículo es un llamado a la acción. Dice que, si bien la IA abierta es asombrosa y trae enormes beneficios, actualmente estamos volando a ciegas en lo que respecta a mantenerla segura frente a actores malintencionados. No podemos confiar solo en que las empresas sean buenas; necesitamos inventar nuevas herramientas matemáticas que hagan que la propia IA sea difícil de romper.

Los autores son optimistas pero realistas. No pretenden haber resuelto el problema. En su lugar, han mapeado el territorio, mostrándonos exactamente dónde están los agujeros en nuestra armadura. Sugieren que el futuro de la IA segura depende de la apertura: no solo compartir el código, sino compartir la investigación, los métodos y los fracasos. Si todos podemos trabajar juntos para construir estas nuevas defensas, podríamos lograr que la biblioteca permanezca abierta y segura para todos. Pero si no lo hacemos, las versiones peligrosas de estos modelos podrían propagarse más rápido de lo que podemos detenerlas.