Evidence for Whom? Contestability and Socio-Technical Assurance in High-Risk AI Governance
Este artículo sostiene que los marcos actuales de gobernanza de la IA de alto riesgo (NIST, Ley de IA de la UE, ISO/IEC 42001) crean una brecha probatoria crítica al priorizar la evidencia centrada en artefactos sobre la evidencia basada en procesos necesaria para la contestación, un fallo estructural resaltado por la ambigüedad inherente en la interpretación de estos requisitos y que, en última instancia, socava los derechos procedimentales y epistémicos de las partes interesadas gobernadas.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina un mundo donde un programa informático decide quién obtiene un empleo, quién recibe un préstamo o si se le concede la libertad condicional a alguien. Estos sistemas no son solo código ejecutándose en el vacío; son parte de un ecosistema humano más amplio que involucra a las empresas que los construyen, las organizaciones que los utilizan y las personas cuyas vidas se ven alteradas por su resultado. Cuando estos sistemas cometen un error, la pregunta de quién es responsable y cómo probarlo se vuelve urgente. Este es el ámbito de la gobernanza de la inteligencia artificial, un campo dedicado a garantizar que estas poderosas herramientas sean seguras, justas y responsables. Una idea central en este campo es la "contestabilidad", la capacidad de una persona afectada por una decisión de cuestionarla, comprender por qué sucedió y buscar una corrección. Para que esto funcione, debe haber evidencia: pruebas de que el sistema fue verificado, de que funciona según lo previsto y de que un humano podría intervenir si las cosas salen mal. Pero una pregunta crítica permanece: ¿quién tiene acceso a esta evidencia y es la evidencia realmente útil para la persona que más la necesita?
Un equipo de investigadores de universidades de Estados Unidos e India se propuso investigar este problema exacto. Examinaron tres grandes conjuntos de reglas y directrices que gobiernan la inteligencia artificial de alto riesgo: un marco voluntario de los Estados Unidos, una ley vinculante de la Unión Europea y un estándar internacional para la gestión de sistemas de IA. Su objetivo era crear un mapa detallado, o "tabla de equivalencias" (crosswalk), que conectara requisitos específicos en estos documentos con los métodos técnicos reales utilizados para probar la IA. Querían ver si la evidencia requerida por las reglas era el tipo de evidencia que realmente podría ayudar a una persona a impugnar una decisión, o si era simplemente una colección de informes técnicos que solo las empresas y los reguladores podrían leer.
Los investigadores comenzaron recopilando una vasta colección de métodos de evaluación técnica. Identificaron doce familias distintas de pruebas, que iban desde verificar qué tan precisa es un modelo con datos nuevos hasta ver si puede ser engañado por entradas maliciosas, y desde analizar la calidad de los datos utilizados para entrenarlo hasta estudiar qué tan bien pueden los humanos supervisar el sistema. Luego tomaron estas doce familias y las compararon con veintidós requisitos específicos encontrados en los tres documentos de gobierno. Plantearon una pregunta simple pero profunda para cada emparejamiento: ¿proporciona esta prueba específica la prueba principal necesaria para satisfacer esta regla específica?
Lo que encontraron fue un desequilibrio sorprendente. Las reglas que pedían evidencia sobre el propio modelo de IA —como su precisión, su robustez contra ataques o su equidad en términos estadísticos— estaban bien respaldadas. Había abundantes pruebas técnicas disponibles para generar los informes necesarios. Sin embargo, las reglas que pedían evidencia sobre cómo funciona el sistema en el mundo real, después de haber sido desplegado, estaban mayormente desatendidas. Estas reglas se referían a cuestiones como si un supervisor humano podría realmente detectar un error, si los registros del sistema eran lo suficientemente detallados como para reconstruir una decisión específica, y si la organización podía demostrar que estaba monitoreando el impacto del sistema en las vidas de las personas. Para estas preguntas cruciales, los investigadores encontraron que los métodos técnicos disponibles eran inexistentes o proporcionaban solo un apoyo secundario y débil.
El estudio reveló que la evidencia generada para probar que un sistema de IA es seguro está diseñada principalmente para intermediarios: las empresas que construyen el software, los auditores que lo revisan y los reguladores gubernamentales que aplican la ley. Las personas que realmente están sujetas a estas decisiones —el solicitante de empleo rechazado, el prestatario al que se le denegó un crédito— no tienen una ruta directa hacia esta evidencia. Podrían recibir una explicación de lo que hizo el sistema, pero no pueden acceder a los registros subyacentes que les permitirían verificar si esa explicación es cierta o comprender exactamente cómo se llegó a la decisión. Los investigadores argumentan que esto no es solo una brecha técnica o una pieza faltante de un rompecabezas; es un fallo fundamental en el sistema de justicia. Al negar a las personas afectadas el acceso a la evidencia necesaria para impugnar una decisión, el marco actual las trata como sujetos pasivos en lugar de participantes activos en un proceso que determina sus futuros.
Los investigadores fueron cuidadosos al señalar que sus hallazgos se basan en un análisis específico de la literatura técnica disponible y del texto de las leyes. No afirmaron que las empresas no estén realizando estos controles internamente, sino que los métodos para probar que estos controles son efectivos aún no están estandarizados o ampliamente disponibles en una forma que satisfaga las reglas. También destacaron que su propio trabajo implicó un grado de interpretación. Cuando pidieron a expertos independientes que revisaran su mapeo, los expertos estuvieron de acuerdo en los aspectos generales, pero a veces discreparon en los detalles más finos, lo que sugiere que las reglas mismas están abiertas a diferentes lecturas razonables. Esta discrepancia, sugieren los autores, es una característica del problema, no un error: muestra que los requisitos actuales no son lo suficientemente claros como para garantizar que se produzca el tipo de evidencia correcto.
En última instancia, el artículo concluye que el enfoque actual de la gobernanza de la IA es incompleto. Depende en gran medida de la evidencia que puede producirse dentro de la cadena de desarrollo de una empresa, como resultados de pruebas y documentación técnica, mientras que descuida la evidencia que solo puede recolectarse observando cómo el sistema interactúa con las personas en el mundo real. Los autores proponen que, para que la IA sea verdaderamente responsable, las reglas deben evolucionar para exigir evidencia que no sea solo sobre la máquina, sino sobre todo el sistema sociotécnico. Esto incluye la prueba de que la supervisión humana es efectiva, que los registros son suficientes para reconstruir eventos y que el impacto del sistema en la sociedad está siendo monitoreado. Sin estos cambios, la promesa de la rendición de cuentas de la IA sigue siendo una promesa hecha solo a los poderosos, dejando a los más afectados por la tecnología sin las herramientas para defenderse.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.