Co-constructing sociotechnical AI governance: participatory system mapping using algorithm registers

Resumen Técnico: Co-construcción de la Gobernanza Sociotécnica de la IA mediante el Mapeo Participativo de Sistemas

Planteamiento del Problema
Los registros de algoritmos se están adoptando cada vez más en las organizaciones del sector público para proporcionar transparencia respecto al uso de algoritmos en los servicios públicos. Sin embargo, las implementaciones actuales enfrentan limitaciones significativas: a menudo no logran reconciliar las diversas necesidades de información de los distintos grupos de interés (ciudadanos, sociedad civil, organismos de supervisión), y la información proporcionada es frecuentemente demasiado escasa para ser útil o demasiado técnica para ser comprendida. En consecuencia, estos registros luchan por facilitar una rendición de cuentas significativa o por representar los sistemas sociotécnicos completos en los que los algoritmos están insertos. El artículo postula que, sin comprender cómo los registros constituyen e informan la gobernanza de los algoritmos, las prácticas de gobernanza corren el riesgo de convertirse en esfuerzos inconexos que no pueden anticipar ni abordar los peligros reales para la seguridad.

Metodología
El estudio emplea un enfoque de métodos mixtos centrado en un estudio de caso de "Avola", una herramienta de apoyo a la decisión utilizada por trabajadores sociales municipales en una ciudad holandesa para evaluar la elegibilidad de beneficios de bienestar social mediante automatización legal (motor de reglas de negocio). La investigación involucró cinco etapas, con un enfoque principal en las Etapas IV y V:

1. Identificación de Partes Interesadas: El estudio involucró a tres grupos distintos: Personal Municipal (partes interesadas directas, incluyendo oficiales de gobernanza de algoritmos y propietarios de productos), Defensores del Pueblo Municipales (Ombudsmen) y Organizaciones de la Sociedad Civil (OSC) (partes interesadas indirectas).
2. Mapeo Participativo de Sistemas (Etapa IV): Se realizaron dos talleres con estos grupos. A los participantes se les presentó un mapa preliminar del sistema (M0) derivado del registro de algoritmos municipal y la documentación pública. Los participantes anotaron el sistema utilizando hojas de trabajo y mapas de gran formato para identificar actores, procesos y bucles de retroalimentación faltantes. Este proceso integró el "conocimiento situado" de las partes interesadas indirectas con la documentación técnica del registro.
3. Análisis de Procesos de Seguridad Basado en la Teoría de Sistemas (STPA) (Etapa V): Los autores utilizaron el marco del Modelo y Procesos de Accidentes de la Teoría de Sistemas (STAMP) para realizar un análisis de seguridad. Los mapas participativos informaron la construcción de una Estructura de Control Jerárquico (HCS). El análisis siguió cuatro pasos iterativos:
   • Identificación de pérdidas potenciales (p. ej., la denegación errónea de beneficios).
   • Modelado de la estructura de control jerárquico (capas técnica, operativa, organizacional e institucional).
   • Identificación de Acciones de Control Inseguras (UCAs) donde fallan los mecanismos de control.
   • Derivación de Escenarios de Pérdida que vinculan los peligros del sistema con pérdidas específicas.

Contribuciones Clave
El artículo realiza tres contribuciones principales a los campos de la gobernanza de la IA y la ciencia de la seguridad:

1. Evaluación Empírica: Proporciona una evaluación crítica de un registro de algoritmos municipal, demostrando que, si bien sirve como una herramienta "disciplinaria" para el inventario interno, actualmente no logra satisfacer las necesidades de transparencia de las partes interesadas externas debido a la abstracción y la falta de detalle accionable.
2. Esquema de Mapeo Participativo: Desarrolla y valida un método para mapear sistemas algorítmicos y sus estructuras de gobernanza mediante la integración de las perspectivas de las partes interesadas directas e indirectas. Este enfoque revela componentes y dinámicas del sistema que están ocultos en las divulgaciones estándar del registro.
3. Reflexión Normativa: Reflexiona sobre las dimensiones políticas del análisis de seguridad de sistemas, argumentando que las abstracciones utilizadas para mapear las estructuras de gobernanza son elecciones políticas inherentes que determinan qué es visible y qué permanece oculto.

Resultos
El mapeo participativo y el subsiguiente análisis STPA revelaron varios peligros de seguridad y brechas de gobernanza que no eran evidentes únicamente a través del registro de algoritmos:

• Fallas del Humano en el Bucle (Human-in-the-Loop): Mientras que el registro afirma que los trabajadores sociales tienen la discreción final, el análisis identificó un riesgo de "sesgo de automatización" donde los trabajadores, bajo presión de tiempo o confiando en la "automatización legal" como objetiva, pueden no detectar errores (p. ej., datos de ciudadanos desactualizados). Esto conduce al escenario de pérdida de denegación errónea de beneficios.
• Deficiencias en el Procedimiento de Quejas: El registro indicaba que los informes de incidentes se compartían con el desarrollador, pero el proceso participativo reveló que las métricas de error no se rastreaban sistemáticamente. En consecuencia, es probable que las quejas se traten caso por caso en lugar de agregarse para identificar patrones sistémicos, lo que impide las actualizaciones necesarias del modelo.
• Brechas de Supervisión y Rendición de Cuentas: Los Defensores del Pueblo y las OSC consideraron insuficiente la divulgación de las evaluaciones de riesgo (FRAIA y DPIA) en el registro. El registro indicaba que se realizaron las evaluaciones, pero omitía detalles sobre los hallazgos o las métricas de error. Esta falta de documentación técnica impide que los actores externos puedan impugnar decisiones de manera efectiva o presentar desafíos legales en tribunales civiles.
• Contexto Político: El mapeo reveló que el registro de algoritmos está inserto en una compleja jerarquía política (Concejales, Consejo Municipal, Ministerio del Interior). La información divulgada está sujeta a la negociación política y a las restricciones de recursos, priorizando a menudo las necesidades de los intermediarios expertos sobre las del público en general.

Significancia y Reivindicaciones
El artículo sostiene que los registros de algoritmos, en su forma actual, son insuficientes para lograr una rendición de cuentas pública significativa. Los autores argumentan que la transparencia es un acto relacional que requiere comprender la heterogeneidad de los "públicos". Al involucrar a las partes interesadas indirectas (Defensores del Pueblo, OSC) mediante el mapeo participativo de sistemas, el estudio demuestra que:

• La Seguridad del Sistema Requiere Pluralismo: El análisis de seguridad no puede ser puramente técnico; debe incorporar el conocimiento situado de quienes afectan o monitorean el sistema para identificar peligros como el sesgo de automatización y los bucles de retroalimentación opacos.
• Los Registros como Artefactos Políticos: El contenido de un registro de algoritmos no es neutral; refleja elecciones políticas sobre qué divulgar. Por lo tanto, mejorar estos instrumentos requiere interactuar con los procesos políticos que los moldean.
• Cambio Metodológico: Los autores proponen que los métodos basados en la teoría de sistemas como el STPA, cuando se combinan con el diseño participativo, ofrecen un marco robusto para reconstruir la arquitectura sociotécnica de la gobernanza algorítmica. Esto permite una identificación más completa de los peligros de seguridad que el registro por sí solo.

El estudio concluye que, si bien los registros de algoritmos son un paso necesario hacia la transparencia, deben evolucionar para alinearse mejor con las necesidades de información de diversos grupos de interés y entenderse como parte de un sistema sociotécnico más amplio y políticamente situado.