High-Risk AI Systems and the Problem of Identity in the European AI Act

Resumen Técnico: Sistemas de IA de Alto Riesgo y el Problema de la Identidad en la Ley de Inteligencia Artificial de la Unión Europea

Declaración del Problema
La Ley de Inteligencia Artificial (AIA) de la Unión Europea establece un régimen de gobernanza del ciclo de vida para sistemas de IA de alto riesgo centrado en la evaluación de la conformidad ex ante, la supervisión posterior a la comercialización y la reevaluación tras una "modificación sustancial". Este marco regulatorio depende implícitamente de juicios sobre la "identidad de la IA": los reguladores y proveedores deben determinar cuándo un sistema actualizado sigue siendo el "mismo" sistema a lo largo del tiempo (identidad diacrónica) y cuándo las instancias contemporáneas (por ejemplo, copias o variantes) deben tratarse como el mismo sistema para la comparabilidad regulatoria (identidad sincrónica).

El documento identifica dos lagunas críticas en el tratamiento que la AIA hace de estas cuestiones de identidad:

1. Ambigüedad Diacrónica: Aunque la AIA define la "modificación sustancial" como un disparador para la recertificación, carece de un criterio preciso y auditable para determinar cuándo un sistema ha dejado de ser la misma entidad, particularmente en lo que respecta a la cuantificación del "funcionamiento adecuado" a lo largo del tiempo.
2. Laguna Sincrónica: La AIA no proporciona un criterio interno y auditable para la identidad sincrónica de sistemas de IA de alto riesgo autónomos. En gran medida, delega estas determinaciones en instrumentos de armonización sectorial (por ejemplo, regulaciones de dispositivos médicos), que a menudo dependen de proxies vagos como la "equivalencia" o la "similitud esencial". Esto crea puntos ciegos regulatorios en la contratación pública, la responsabilidad y la vigilancia del mercado, donde las autoridades deben decidir si la evidencia de cumplimiento de una instancia se generaliza a otra.

Metodología
El documento adopta un enfoque conceptual y de auditoría en lugar de un estudio empírico o de implementación. Utiliza el marco function+ de la identidad de artefactos (Carrara y Vermaas, 2009; Ferrario, 2025) como una lente metafísica para analizar la lógica regulatoria de la AIA.

La metodología implica:

• Alineación Metafísica: Mapear las obligaciones del ciclo de vida de la AIA (evaluación de la conformidad, supervisión, modificación sustancial) a los componentes de function+: función técnico (propósito previsto), perfil de confianza (criterios sensibles al contexto de funcionamiento adecuado) y nivel de confianza (satisfacción cuantificada del perfil a lo largo del tiempo).
• Análisis de Casos: Aplicar este marco a dos casos ilustrativos: (1) un sistema de triaje clínico que se somete a reentrenamiento y actualizaciones de restricciones de equidad (desafío diacrónico) y (2) dos sistemas de control fronterizo biométrico con funcionalidad central idéntica pero diferentes optimizaciones de rendimiento (desafío sincrónico).
• Análisis de Lagunas: Comparar las disposiciones explícitas de la AIA con los requisitos del marco function+ para identificar dónde la regulación carece de precisión operativa.
• Construcción de Flujo de Trabajo: Desarrollar un flujo de decisión mínimo (flujo de trabajo de auditoría) para operacionalizar los juicios de identidad sincrónica.

Contribuciones Clave
El documento realiza tres contribuciones principales:

1. *Alineación Conceptual de la AIA y function+:* Los autores demuestran que la gobernanza del ciclo de vida de la AIA operacionaliza implícitamente el componente diacrónico del marco function+.

   • La evaluación de la conformidad ex ante fija la línea de base relevante para la identidad (propósito previsto y perfil de confianza).
   • La supervisión posterior a la comercialización rastrea el nivel de confianza a lo largo del tiempo.
   • La modificación sustancial actúa como la condición de discontinuidad legal.
     El documento aclara que, aunque la AIA proporciona una condición suficiente para la recertificación (la aparición de una modificación sustancial), el marco function+ proporciona condiciones necesarias y suficientes para la persistencia, incorporando explícitamente la cuantificación de los niveles de confianza, que la AIA actualmente deja subespecificados.

2. Identificación y Resolución de la Laguna de Identidad Sincrónica: El documento argumenta que la AIA no proporciona un criterio interno para la identidad sincrónica de sistemas autónomos. Propone el criterio SI_function+ como solución: dos sistemas son idénticos en el tiempo t si comparten la misma función técnico, perfil de confianza y nivel de confianza.

   • Este criterio ancla la comparabilidad en la función prevista y los requisitos de confianza, haciendo que las decisiones de identidad sean inspeccionables en entornos de gobernanza como la contratación pública y la responsabilidad.
   • Se propone un flujo de trabajo de auditoría mínimo (Figura 2), que requiere la justificación de la igualdad en la etapa de evaluación de la conformidad (propósito/perfil) y el mantenimiento de la igualdad durante la supervisión posterior a la comercialización (nivel en el tiempo t).

3. Recomendaciones Enfocadas en la Implementación: Para hacer que el enfoque function+ sea operativamente legible dentro de la AIA, los autores proponen:

   • Informe Preciso del Propósito Previsto: Ir más allá de las descripciones amplias para documentar la taxonomía funcional de la IA (función técnico, función de uso, función social), particularmente para la IA generativa, incluyendo exclusiones explícitas y usos no previstos.
   • Informe Estandarizado y Auditable de Confianza: Reemplazar las afirmaciones vagas de "equivalencia" con informes estandarizados de contratos de confianza y funciones de nivel de confianza. Los autores sugieren el uso de funciones constantes por partes multidimensionales (por ejemplo, mapear la precisión y la seguridad a "mesetas" de confianza) para agregar diversas métricas en un indicador compuesto. Esto permite tolerar fluctuaciones menores en dimensiones individuales mientras se activa la reevaluación solo cuando un sistema cruza un umbral hacia una meseta de confianza inferior.

Resultados y Afirmaciones
El documento no presenta resultados experimentales ni procedimientos de cumplimiento validados. En cambio, sus "resultados" son aclaraciones conceptuales y propuestas estructurales:

• Afirmación 1: El mecanismo del ciclo de vida de la AIA operacionaliza implícitamente la identidad diacrónica, pero el marco function+ aclara esto vinculando explícitamente el propósito previsto a un nivel de confianza cuantificable, haciendo el umbral de "modificación sustancial" más inspeccionable.
• Afirmación 2: La AIA deja una laguna significativa en la identidad sincrónica para sistemas autónomos. El marco function+ llena esta laguna proporcionando un criterio comprobable (SI_function+) que vincula la función prevista y los perfiles de confianza con la comparabilidad regulatoria.
• Salida Operativa: El documento proporciona un "mapa de correspondencia" (Figura 1) que alinea las obligaciones de la AIA con las preguntas de identidad metafísica y una "lista de verificación mínima de auditoría" (Tabla 1) para decisiones de identidad sincrónica, especificando exactamente qué campos en los artefactos de la AIA (documentación técnica, archivos de gestión de riesgos, planes de supervisión) deben ser auditados.

Significado
El documento se posiciona como una lente conceptual y de auditoría en lugar de una reforma legal prescriptiva. Su significado radica en:

• Fundamentación Metafísica: Proporcionar una base filosófica para la lógica del ciclo de vida relevante para la identidad de la AIA, avanzando más allá de los desafíos éticos para abordar el estatus ontológico de los sistemas de IA en la regulación.
• Auditabilidad: Hacer que las determinaciones de identidad sean transparentes y contestables. Al definir la identidad a través de la función prevista y los niveles de confianza medibles, el documento permite a los reguladores y auditores dirimir disputas sobre la igualdad de los sistemas (por ejemplo, en la contratación pública o la respuesta a incidentes) con mayor precisión.
• Preparación para el Futuro: Abordar los desafíos específicos planteados por la IA generativa y agéntica, donde el uso previsto a menudo es vago y los cambios son difíciles de anticipar, abogando por informes estandarizados y agregados de confianza que puedan apoyar la comparabilidad entre despliegues y a lo largo del tiempo.

Los autores concluyen que, aunque la AIA es un paso regulatorio significativo, su efectividad en la gobernanza, la responsabilidad y la contratación pública depende de aclarar las condiciones de identidad de los sistemas de IA, una tarea para la cual el marco function+ ofrece una solución estructurada y auditable.