Post-Deployment Accountability in AI Governance: A Cross-Regulatory Empirical Analysis of AI Incidents

Imagina el mundo de la Inteligencia Artificial (IA) como una ciudad enorme y bulliciosa donde se contratan robots para hacer de todo, desde diagnosticar enfermedades hasta aprobar préstamos. Durante mucho tiempo, la gran preocupación fue simplemente cómo se construían estos robots: asegurarse de que fueran inteligentes, justos y que no tuvieran un mal código en sus cerebros. Pero recientemente, científicos y abogados se han dado cuenta de que construir un robot es solo la mitad de la historia. El verdadero desafío es qué sucede después de que el robot comienza a trabajar. Este campo se llama "gobernanza post-despliegue". Piensa en esto como la diferencia entre construir un coche y realmente conducirlo por la carretera. Puedes construir un coche perfecto en una fábrica, pero si no tienes un mecánico que revise los frenos cada día, un velocímetro que realmente funcione y un plan claro de qué hacer si el motor se incendia, el coche es un peligro para todos.

Este artículo profundiza en esa fase de "después de la fábrica". Examina tres grandes conjuntos de reglas que los gobiernos y las organizaciones han creado para mantener la IA segura: la Ley de IA de la UE (un conjunto estricto de leyes de Europa), el Marco de Gestión de Riesgos de IA del NIST (una guía voluntaria de EE. UU.) y el RGPD (un reglamento para proteger los datos personales). La gran pregunta no es solo "¿Existen estas reglas?", sino "¿Realmente funcionan cuando las cosas salen mal?". Los autores querían ver si, cuando un sistema de IA comete un error, las personas a cargo están realmente vigilando, informando del problema y solucionándolo, o si simplemente están esperando que nadie se dé cuenta.

---

El Gran Control de Realidad de la IA

Imagina que eres un detective investigando una ciudad donde 480 robots diferentes han causado accidentes entre 2020 y 2026. Algunos robots dieron malos consejos médicos, otros rechazaron solicitudes de préstamos de forma injusta y algunos causaron atascos de tráfico. Tu trabajo es revisar los informes policiales y ver si los dueños de los robots siguieron los libros de reglas que se suponía que debían tener.

Los autores de este artículo hicieron exactamente eso. Analizaron 480 desastres de IA del mundo real y los cotejaron con nueve reglas específicas de los tres grandes libros de reglas mencionados anteriormente. Buscaban "evidencia", como un libro de registro que mostrara que alguien estaba vigilando al robot, un informe presentado cuando el robot falló o un plan para apagarlo.

La Gran Sorpresa: Las Reglas "Fantasma"
Los resultados fueron un poco aterradores. Resulta que, para la mayoría de estos accidentes, las reglas de seguridad eran básicamente fantasmas. Existían en el papel, pero no se podía encontrar ningún rastro de ellas en el mundo real.

• La Ley de IA de la UE: Este libro de reglas dice que los robots de alto riesgo necesitan un "monitor post-comercialización"; básicamente, una cámara de seguridad que vigile al robot las 24 horas del día, los 7 días de la semana, después de su lanzamiento. El estudio encontró que en el 77,1% de los accidentes, no había absolutamente ninguna evidencia de que alguien estuviera vigilando. Era como conducir un coche sin frenos y sin que nadie revise el tablero.
• El RGPD (Protección de Datos): Esta regla dice que, si utilizas datos personales de una manera riesgosa, debes realizar una "Evaluación de Impacto de Protección de Datos" (un control de seguridad antes de comenzar). El estudio encontró que el 99,6% de los incidentes no tenían registro alguno de que este control de seguridad se hubiera realizado alguna vez.
• El Marco del NIST: Esta guía sugiere que deberías tener un plan para arreglar las cosas cuando algo sale mal. Aunque algunas empresas sí llegaron a apagar los robots averiados (aproximadamente el 57,5% de las veces), normalmente lo hicieron después de que el daño ya estuviera hecho y la noticia ya estuviera en la televisión. No estaban reparándolo de forma proactiva; solo estaban limpiando el desastre.

El Fallo "Sistémico"
Los autores también comprobaron si estos fallos eran errores aleatorios o si todo el sistema estaba roto. Encontraron que el 9,8% de los accidentes fueron fallos bajo dos o más libros de reglas al mismo tiempo. Esto sugiere que el problema no es solo que un libro de reglas sea malo, sino que toda la forma en que gestionamos la seguridad de la IA carece de algunas piezas clave. Es como un coche que no tiene frenos, ni volante, ni cinturones de seguridad, todo a la vez.

El Arma Secreta: El "Detective Interno"
Aquí está la parte más interesante de la historia. Los investigadores notaron una gran diferencia entre los accidentes detectados por el propio equipo de la empresa frente a los detectados por el mundo exterior (como periodistas, usuarios enfadados o investigadores).

• Detección Interna: Cuando una empresa encontraba el problema por sí misma, era mucho más probable que hubiera cumplido las reglas. Para la Ley de IA de la UE, el 87,5% de estos accidentes encontrados por la propia empresa mostraban cumplimiento.
• Detección Externa: Cuando el mundo exterior encontraba el problema, la tasa de cumplimiento caía a un ínfimo 5,3%.

Esto sugiere que las empresas que realmente tienen un "detective" dentro de su oficina, vigilando al robot cada día, son las que detectan los problemas a tiempo y siguen las reglas. Las empresas que esperan a que la noticia estalle para saber que hay un problema son las que fallan en los controles de seguridad. Los autores sugieren que tener un sistema de monitoreo interno es una gran pista de que una empresa está haciendo un buen trabajo, aunque admiten que no pueden probar que esto cause el buen comportamiento (tal vez las buenas empresas simplemente suelen tener ambas cosas).

La Solución Propuesta: El PAGCF
Dado que el sistema actual es mayoritariamente reactivo (arreglar las cosas después de que se rompen), los autores proponen un nuevo plan llamado Marco de Cumplimiento de Gobernanza de IA Proactiva (PAGCF). Imagina esto como un nuevo manual de entrenamiento para conductores de robots. En lugar de limitarse a reaccionar ante los choques, este plan tiene cuatro pasos:

1. Evaluación Pre-Despliegue: Antes de que el robot comience, revisa su equipo de seguridad y haz un plan.
2. Monitoreo Continuo: Mantén una cámara en vivo sobre el robot las 24 horas del día, los 7 días de la semana para detectar problemas antes de que se conviertan en accidentes.
3. Preparación ante Incidentes: Ten listo un "simulacro de incendio". Sabe exactamente a quién llamar y qué decir si el robot falla.
4. Verificación de Marcos Cruzados: Asegúrate de estar siguiendo todos los libros de reglas a la vez, no solo uno.

Qué Significa Esto para Nosotros
El artículo concluye que no podemos simplemente escribir más reglas y esperar que funcionen. Las reglas ya están ahí, pero nadie las usa. La lección más importante es que debemos dejar de esperar a que las noticias nos digan que una IA está rota. Necesitamos construir sistemas que vigilen a la IA mientras está trabajando. Los autores sugieren que si las empresas comienzan a realizar este "monitoreo interno" primero, podrían pasar de tener casi ningún cumplimiento de seguridad a tener más del 85% de cumplimiento.

No es una varita mágica, y los autores son cuidadosos al decir que esto se basa en lo que vieron en los datos, no en una solución garantizada. Pero el mensaje es claro: si queremos que la IA sea segura, debemos dejar de ser las personas que limpian el desastre y empezar a ser las personas que previenen el desastre en primer lugar.