Qualifying and Quantifying Risk under the EU AI Act
Este artículo propone un marco de dos pasos de "severidad primero" para reconciliar el enfoque cualitativo de la Ley de IA de la UE sobre los derechos fundamentales con su definición cuantitativa del riesgo, al tiempo que advierte que delegar la cuantificación del riesgo a los proveedores podría permitir el "hackeo de riesgos" y la subclasificación regulatoria.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que eres el alcalde de una ciudad bulliciosa y futurista donde los robots están por todas partes. Algunos robots son inofensivos, como una tostadora que aprende tu configuración de pan favorita. Otros son poderosos, como un robot juez o un dron que escanea rostros en el parque. La gran pregunta para cualquier líder de la ciudad es: "¿Cómo mantenemos a todos seguros sin detener las nuevas e increíbles invenciones?". Este es el corazón de un campo llamado regulación de riesgos. Es el arte de averiguar qué tan probable es que algo malo suceda (probabilidad) y qué tan terrible sería si sucediera (severidad). Por lo general, los líderes intentan hacer un problema matemático rápido: multiplicar la probabilidad de un accidente por lo malo que es el accidente. Si el número es pequeño, dicen: "¡Está bien!". Pero, ¿qué pasa si el "algo malo" es algo que no puedes contar fácilmente, como perder tu privacidad o tu libertad? Ahí es donde las cosas se complican. Si no puedes ponerle un precio a un derecho humano, ¿cómo haces las matemáticas? Este es exactamente el rompecabezas que enfrenta la Unión Europea mientras intenta redactar reglas para la Inteligencia Artificial (IA).
Este artículo, escrito por investigadores de Alemania y los EE. UU., profundiza en la nueva "Ley de IA" de la UE, una ley masiva diseñada para clasificar los sistemas de IA en tres cubetas: "No ir" (prohibido), "Alto riesgo" (requiere reglas estrictas) y "Riesgo mínimo" (libre de ir). Los autores notan una tensión curiosa en la ley. Por un lado, la ley define el "riesgo" como una ecuación matemática: Probabilidad × Severidad. Por otro lado, la ley intenta proteger los "derechos fundamentales" (como la dignidad, la privacidad y la equidad), que generalmente son tratados como valores especiales e incuantificables. No puedes medir realmente la "dignidad" en dólares o porcentajes. Los autores sugieren que, si intentamos forzar una fórmula matemática simple sobre estos complejos derechos humanos, las empresas podrían manipular el sistema. Podrían retocar sus números para que un robot peligroso parezca seguro, un truco que los autores llaman "hackeo de riesgo".
Entonces, ¿qué proponen los autores? Sugieren una nueva forma de ver el problema, como una danza de dos pasos. Paso 1 es mirar el propósito del robot y preguntar: "¿Es el daño que podría causar tan severo que rompe un derecho fundamental, independientemente de qué tan seguido ocurra?". Esto es lo que ellos llaman un enfoque de "severidad primero". Piensa en esto como un portero de un club al que no le importa qué tan probable sea una pelea; si la persona sostiene una granada (alta severidad), es expulsada inmediatamente, incluso si nunca ha lanzado una antes. Paso 2 es mirar la "matemática" de la situación: ¿Qué tan probable es el daño? Y ¿cuáles son los costos de detener al robot?
El artículo argumenta que la Ley de IA de la UE ya utiliza este razonamiento de "severidad primero", incluso si no lo dice en voz alta. Por ejemplo, la ley prohíbe ciertos usos de la IA (como leer emociones en el lugar de trabajo) porque el daño potencial a la privacidad es demasiado alto, incluso si la probabilidad de que ocurra es baja. Los autores sugieren que los reguladores deberían mantener este orden: verificar la severidad primero, luego preocuparse por la probabilidad. Si dejamos que las empresas decidan las matemáticas por sí mismas, podrían intentar argumentar que un evento "catastrófico" de "baja probabilidad" es en realidad de "bajo riesgo", lo que permitiría que una IA peligrosa se filtre por las grietas. Al mantener el enfoque en qué tan malo podría ser el daño primero, podemos proteger los derechos humanos mientras permitimos que la tecnología útil siga creciendo. El artículo no afirma haber resuelto todos los problemas matemáticos, pero ofrece una hoja de ruta clara para detener el "hackeo de riesgo" y asegurar que las reglas realmente funcionen para las personas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.