From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems

Resumen Técnico: De los silos a los sistemas: Análisis de peligros orientado a procesos para sistemas de IA

Planteamiento del problema
Los enfoques actuales para analizar los riesgos en los sistemas de Inteligencia Artificial (IA) se centran predominantemente en componentes individuales —como los datos de entrenamiento o modelos de aprendizaje automático específicos— de forma aislada. Esta perspectiva de "silos" pasa por alto los peligros que surgen de las interacciones entre componentes, la integración de modelos en pilas de software más amplias y los procesos sociotécnicos de desarrollo y operación. Si bien los marcos regulatorios (por ejemplo, la Ley de IA de la UE) y las prácticas de la industria (por ejemplo, las tarjetas de sistema o system cards) están comenzando a distinguir entre modelos de IA y sistemas de IA, existe una falta de marcos empíricos para facilitar el análisis de peligros a nivel de sistema. Los métodos existentes a menudo no logran dar cuenta de la naturaleza emergente de la seguridad en sistemas sociotécnicos complejos, donde los daños surgen no solo del fallo de un componente, sino de la interacción entre artefactos técnicos, actores humanos y procesos institucionales. Además, los sistemas de IA poseen características únicas —como la opacidad del modelo, las capacidades probabilísticas y la complejidad de los resultados— que varían significamente entre paradigmas (por ejemplo, regresión lineal frente a modelos generativos), lo que complica la aplicación de las herramientas tradicionales de ingeniería de seguridad.

Metodología
Los autores adaptan el Análisis de Procesos de Seguridad de Sistemas (STPA), un marco de análisis de peligros bien establecido en el campo de la seguridad de sistemas, para su uso en contextos de IA. El STPA trata la seguridad como una propiedad emergente de todo el sistema, analizando estructuras de control y bucles de retroalimentación en lugar de solo fallos de componentes.

La investigación emplea un enfoque de estudio de caso cualitativo que involucra tres sistemas de IA distintos a través de diferentes dominios y paradigmas:

1. Caso 1 (C1): Un sistema de alerta temprana basado en regresión lineal para predecir sepsis de inicio tardío en neonatos pretérmino (Humano en el bucle/Human-in-the-loop).
2. Caso 2 (C2): Un sistema de inyección automática de insulina basado en Aprendizaje por Refuerzo (RL) para el manejo de la diabetes (Humano fuera del bucle/Human-out-of-the-loop).
3. Caso 3 (C3): Modelos generativos de texto a imagen (T2I) utilizados para el guion gráfico (storyboarding) en la práctica creativa (Humano como usuario de la herramienta/Human-as-tool-user).

La metodología consistió en la recopilación de datos mediante entrevistas con partes interesadas, talleres y la revisión de documentación técnica y literatura académica. Los investigadores aplicaron los cuatro pasos estándar de STPA a cada caso:

1. Identificación del propósito del análisis (pérdidas y límites del sistema).
2. Creación de diagramas de control (mapeo de controladores, procesos controlados y retroalimentación).
3. Identificación de Acciones de Control Inseguras (UCAs).
4. Identificación de escenarios de pérdida (cadenas causales que conducen a las UCAs).

A través de un análisis iterativo y reflexivo de estas aplicaciones, los autores desarrollaron la guía PHASE (Análisis de Peligros orientado a Procesos para Sistemas de IA), una guía que traduce los conceptos de STPA para abordar los desafíos específicos de la IA.

Contribuciones Clave
La contribución principal es la guía PHASE, que adapta el STPA para la IA introduciendo modificaciones específicas para manejar la heterogeneidad de los sistemas de IA:

• Taxonomía de Pérdidas Ampliada: PHASE expande la definición de "pérdida" más allá de los resultados críticos de seguridad tradicionales (por ejemplo, pérdida de vida) para incluir pérdidas relacionadas con el rendimiento (por ejemplo, eficiencia, reputación) y pérdidas sociotécnicas (por ejemplo, violaciones de privacidad, pérdida de diversidad, sesgo algorítmico).
• Límites del Sistema Orientados al Proceso: En lugar de trazar límites alrededor del modelo en sí, PHASE define los límites alrededor de los procesos de desarrollo y uso (la cadena de suministro algorítmica), reconociendo que los desarrolladores controlan los datos y las decisiones de diseño, pero no necesariamente las representaciones latentes aprendidas.
• Estructuras de Control Dinámicas: El marco acomoda la fluidez de los roles en la IA, donde un componente (por ejemplo, un asistente de IA) puede actuar como controlador en un contexto y como proceso controlado en otro, dependiendo de los mandatos organizacionales y los patrones de uso.
• Escenarios de Pérdida Específicos de la IA: PHASE contabiliza explícitamente los escenarios de pérdida derivados de las capacidades emergentes y evolutivas del sistema (por ejemplo, actualizaciones del modelo, reentrenamiento o casos de uso expandidos) que superan las salvaguardas existentes, un factor que suele pasarse por alto en el STPA tradicional aplicado a sistemas estáticos.

Resultados y Hallazgos
La aplicación de STPA a través de PHASE en los tres estudios de caso arrojó varios hallazjes:

• Aplicabilidad: Los conceptos y pasos centrales de STPA son aplicables a los sistemas de IA, pero requieren adaptaciones específicas para abordar desafíos propios de la IA como la opacidad y la autonomía.
• Detección de Peligros: El análisis a nivel de sistema identificó con éxito peligros que permanecerían invisibles en las auditorías a nivel de componente. Por ejemplo, un modelo podría pasar una auditoría de equidad de forma aislada, pero la interacción a nivel de sistema entre una alerta imperfecta y la sobreconfianza de un clínico podría conducir a un error de diagnóstico.
• La Heterogeneidad Importa: El análisis reveló que los diferentes paradigmas de IA (modelos lineales, RL, modelos generativos) imponen diferentes demandas al análisis. Por ejemplo, definir los límites del sistema fue más complejo para las plataformas generativas abiertas que para el sistema de insulina de RL, que es más restringido.
• Cuatro Capacidades Clave (Affordances): El estudio identifica cuatro capacidades específicas que PHASE proporciona a los analistas:
  1. Detección a Nivel de Sistema: Identificación de peligros derivados de la acumulación de problemas dispares a lo largo del ciclo de vida del sistema.
  2. Reconocimiento de Factores Sociales: Mapeo explícito de factores sociales (por ejemplo, cultura organizacional, presiones de tiempo) que contribuyen a los daños algorítmicos.
  3. Responsabilidad Trazable: Establecimiento de cadenas claras de responsabilidad al mapear las acciones de control y los bucles de retroalimentación hacia actores y artefactos específicos, distinguiendo si un daño se originó en la recolección de datos, el entrenamiento del modelo o la interacción del usuario.
  4. Monitoreo de Peligros Emergentes: Habilitación del monitoreo continuo de nuevos peligros a medida que los sistemas de IA se adaptan, actualizan o cambian su contexto operativo con el tiempo.

Significancia y Reivindicaciones
El artículo sostiene que PHASE ofrece un complemento crítico a los esfuerzos actuales de IA Responsable (RAI) al desplazar la lente analítica de los componentes aislados hacia las propiedades emergentes del sistema completo. Argumenta que la seguridad en la IA no es meramente un atributo técnico de un modelo, sino una propiedad sociotécnica de las estructuras de control del sistema.

Los autores posicionan a PHASE como una herramienta para:

• Facilitar la transición de los "silos" a los "sistemas" en el análisis de seguridad de la IA.
• Proporcionar un método estructurado para establecer la trazabilidad entre daños específicos y los actores o procesos responsables de mitigarlos, abordando así la "brecha de responsabilidad" en el desarrollo de la IA.
• Apoyar el desarrollo de una cultura de seguridad dentro de las organizaciones al hacer explícitos los riesgos implícitos y los factores sociales.

Los autores mantienen la modestia respecto a la generalización de sus hallazgos, señalando que, aunque los tres estudios de caso abarcan distintos paradigmas, no representan la totalidad del panorama de la IA. Reconocen que la efectividad de PHASE depende de la experiencia de los analistas y de la voluntad de las organizaciones para asignar recursos a la seguridad. El trabajo se presenta como un paso fundacional hacia la integración de los principios de la ingeniería de seguridad de sistemas en el discurso más amplio de la gobernanza de la IA y el desarrollo responsable.