Beyond Model Readiness: Institutional Readiness for AI Deployment in Public Systems

Resumen Técnico: Preparación Institucional para el Despliegue de IA en Sistemas Públicos

Enunciado del Problema
Los sistemas de inteligencia artificial del sector público frecuentemente fracasan no debido a deficiencias en el desarrollo de modelos o al rendimiento técnico, sino a una falta de preparación institucional en el momento del despliegue. Si bien los marcos existentes de IA responsable (por ejemplo, Model Cards, Datasheets for Datasets, NIST AI RMF) evalúan eficazmente propiedades a nivel de artefacto, como la precisión, la robustez, la equidad y los procesos del lado del desarrollador, carecen de la capacidad para evaluar la capacidad de la institución receptora para gobernar, operar y sostener un sistema. En consecuencia, los prototipos técnicamente viables a menudo se estancan o fracasan en su escalabilidad debido a dependencias institucionales no resueltas, que incluyen vías de aprobación, protocolos de intercambio de datos, restricciones de personal, continuidad fiscal y claridad legal. Esta brecha es particularmente aguda en entornos con recursos limitados, donde la fricción entre la viabilidad técnica y la realidad operativa es más alta.

Metodología
El artículo introduce la Preparación de Alineación Institucional (IAR), un marco previo al despliegue diseñado para evaluar si una institución específica está preparada para desplegar responsablemente un sistema específico de aprendizaje automático. El marco se fundamenta en dos casos operativos anonimizados de un gran sistema público nacional de educación en Filipinas:

1. Caso A: Una herramienta de cribado antropométrico basada en imágenes para estudiantes de los primeros grados.
2. Caso B: Un sistema de análisis de voz para la identificación de riesgos de aprendizaje temprano.

Ambos proyectos alcanzaron etapas técnicamente prometedoras, pero se estancaron durante la transición de prototipo a implementación más amplia debido a barreras institucionales, y no técnicas. Los autores analizaron estos casos para identificar condiciones institucionales concretas que, de faltar, impiden un despliegue responsable. El análisis se centró en factores como la representatividad de los datos, las vías de derivación, la integración en el flujo de trabajo y la autorización legal.

Contribuciones Clave
El artículo propone el marco de Preparación de Alineación Institucional (IAR), un modelo de cinco dimensiones para evaluar la preparación para el despliegue. A diferencia de los modelos de madurez que evalúan la capacidad general de IA de una organización, la IAR es específica del sistema y específica del despliegue. Las cinco dimensiones son:

1. Compatibilidad Institucional y Operativa: Evalúa las vías de aprobación, la adecuación del flujo de trabajo con la práctica de primera línea, los planes de capacitación de operadores y la viabilidad logística en diferentes sitios.
2. Madurez del Ecosistema de Datos: Evalúa la representatividad del conjunto de datos para la población objetivo, los protocolos de acceso/compartición de datos, la capacidad de anotación y las políticas de retención.
3. Capacidad de Supervisión Humana: Determina la disponibilidad de revisores calificados, una autoridad clara de anulación, vías de derivación y mecanismos para el desafío no técnico.
4. Sostenibilidad Fiscal: Examina la claridad presupuestaria más allá de la fase piloto, los planes de mantenimiento y reentrenamiento, y la continuidad a través de transiciones de liderazgo o financiación.
5. Preparación de Alineación Regulatoria: Verifica el cumplimiento de la privacidad, la base legal para la recopilación/compartición de datos, la revisión ética, los procedimientos de consentimiento y las vías de impugnación.

El marco está diseñado como una herramienta de escalonamiento y no como un instrumento de puntuación. Apoya las decisiones de proceder con "no proceder", "solo piloto" o "despliegue más amplio" basándose en la madurez de dimensiones específicas, reconociendo que algunas deficiencias pueden ser obstáculos absolutos, mientras que otras pueden requerir únicamente ajustes en el alcance.

Resultados y Hallazgos de los Casos
El análisis de los dos casos operativos demuestra que las trayectorias de despliegue a menudo están dictadas por restricciones institucionales invisibles para la evaluación estándar de artefactos:

• Caso A (Cribado Antropométrico): A pesar de la preparación técnica, la implementación más amplia se retrasó por el tiempo requerido para negociar aprobaciones y acceso a datos en múltiples sitios, la desalineación de la recopilación de datos con los calendarios escolares y la falta de vías de derivación establecidas para los estudiantes identificados.
• Caso B (Análisis de Voz): La trayectoria del proyecto fue moldeada por la inviabilidad de los datos, forzando un giro antes del despliegue. El despliegue posterior estuvo condicionado por la necesidad de formalizar los requisitos éticos, los procedimientos de consentimiento y los protocolos de derivación para garantizar que los resultados no fueran estigmatizantes y fueran accionables por personal calificado.

En ambos casos, los sistemas permanecieron en validación interna o en fases piloto limitadas porque la institución receptora carecía de las condiciones específicas requeridas para pasar a escala, a pesar de que los modelos funcionaron bien en las pruebas internas.

Significado y Afirmaciones
El artículo hace tres afirmaciones modestas sobre el valor de la IAR:

1. Explicitación: La IAR hace explícitas y evaluables las preguntas recurrentes de despliegue antes de comprometer recursos, poniendo de manifiesto problemas (por ejemplo, acceso a datos, capacidad de derivación) que a menudo surgen demasiado tarde en el proceso.
2. Relevancia para la Toma de Decisiones: La preparación institucional es un factor decisivo en si los sistemas técnicamente viables escalan. Los casos muestran que las decisiones de despliegue están moldeadas por condiciones institucionales que la evaluación estándar de modelos no puede resolver.
3. No Redundancia: La IAR no es redundante con las herramientas existentes de IA responsable. Mientras que los marcos actuales evalúan el artefacto y el desarrollador, la IAR evalúa a la institución receptora. Aborda preguntas que las herramientas existentes son arquitectónicamente incapaces de responder, como si el intercambio de datos interinstitucional específico requerido es legalmente permisible o si existen realmente revisores humanos calificados.

Los autores posicionan la IAR como un complemento, y no como un reemplazo, de las herramientas establecidas de evaluación de IA. Sirve como una segunda capa de evaluación necesaria para garantizar que los sistemas de IA del sector público no solo sean técnicamente sólidos, sino también institucionalmente viables para un despliegue responsable.