The science and practice of proportionality in AI risk evaluations

Este artículo examina cómo el principio de proporcionalidad del Derecho de la Unión Europea puede guiar el desarrollo de métodos científicos para calibrar las evaluaciones de riesgos sistémicos de los modelos de IA de propósito general, asegurando que cumplan con los objetivos de la Ley de IA sin imponer cargas excesivas a los proveedores.

Lo esencial

Imagina que la Inteligencia Artificial (IA) es como un coche de carreras súper potente. Es increíblemente rápido y útil, pero si se descontrola, puede causar accidentes graves. La Unión Europea (UE) ha creado unas reglas (la Ley de IA) para asegurar que estos coches sean seguros antes de salir a la carretera.

Sin embargo, hay un problema: si exigimos demasiadas pruebas de seguridad, podríamos frenar la innovación y que nadie pueda construir coches nuevos. Si exigimos muy pocas, podríamos tener coches defectuosos en la calle.

Este artículo, escrito por un equipo de expertos, propone una solución basada en un principio legal llamado "Proporcionalidad". Piensa en la proporcionalidad como la justicia de la balanza: no puedes usar un martillo gigante para romper una nuez, ni un destornillador de juguete para arreglar un motor de avión.

Aquí te explico los tres pilares de este concepto usando analogías sencillas:

1. ¿Es útil la prueba? (Idoneidad)

Imagina que quieres saber si un coche es seguro.

• Una prueba inútil: Pedirle al conductor que cierre los ojos y pise el acelerador. Eso no te dice nada real sobre la seguridad.
• Una prueba proporcional: Hacer que el coche circule por una pista de pruebas que simula lluvia, tráfico y frenadas de emergencia.

Para que una evaluación de IA sea "útil" (idónea), debe cumplir cuatro reglas:

• Realista: Debe parecerse al mundo real (con ruido, errores humanos, etc.), no a un laboratorio perfecto.
• Sensible: Debe ser capaz de notar si el coche mejora o empeora. Si la prueba es tan fácil que todos la aprueban, o tan difícil que nadie la pasa, no sirve de nada.
• Específica: Debe medir exactamente el riesgo que te preocupa (por ejemplo, si te preocupa que la IA hackee ordenadores, no tiene sentido probar si sabe escribir poemas).
• Rigorosa: Debe hacerse con ciencia seria, no con "adivinanzas".

2. ¿Es necesaria la prueba? (Necesidad)

Aquí nos preguntamos: ¿Es esta la forma más eficiente de obtener esa información?
Imagina que quieres saber si un puente aguantará un camión.

• Opción A: Poner un camión de juguete encima. (Barato, pero no te da la respuesta real).
• Opción B: Poner un camión real de 20 toneladas. (Te da la respuesta, pero es caro y arriesgado).
• Opción C: Usar sensores avanzados que simulan el peso sin necesidad de poner el camión real.

La "necesidad" significa buscar la opción que te da la misma seguridad que la Opción B, pero con menos esfuerzo y costo (como la Opción C). Si existe una prueba más barata y menos invasiva que te dé la misma información, no es proporcional obligar a hacer la prueba cara y difícil.

3. ¿Vale la pena el esfuerzo? (Equilibrio)

Aquí sopesamos el riesgo contra el costo.

• Si la IA es un pequeño chatbot para escribir correos, no tiene sentido gastar millones en pruebas de seguridad extremas. El riesgo es bajo, el costo sería desproporcionado.
• Si la IA es un sistema que controla redes eléctricas o armas, el riesgo es altísimo. En este caso, vale la pena gastar mucho dinero y tiempo en pruebas exhaustivas, incluso si son difíciles.

El artículo sugiere un enfoque iterativo (paso a paso):

1. Empieza con pruebas sencillas y baratas (como un examen de opción múltiple).
2. Si la IA falla claramente, ya sabes que es peligrosa.
3. Si la IA pasa la prueba fácil, pero sigues teniendo dudas, sube el nivel a pruebas más complejas y costosas.
4. Solo sigas subiendo el nivel hasta que estés lo suficientemente seguro de que es segura.

El Ejemplo de los Hackers (Ciberseguridad)

El artículo usa un ejemplo concreto: ¿Puede una IA encontrar fallos de seguridad en código informático para hackearlo?

• Prueba fácil: Darle al código con los fallos ya marcados en rojo. Es barato, pero no es realista.
• Prueba media: Darle un entorno donde tenga que buscar los fallos como un hacker real. Es más costoso y realista.
• Prueba difícil: Simular un ataque completo en una red compleja con muchas variables. Es muy costoso, pero te da la máxima seguridad.

La regla de proporcionalidad dice: No obligues a todos a hacer la prueba difícil desde el principio. Si la prueba fácil ya te dice que el sistema es seguro, no gastes recursos en la difícil. Pero si la prueba fácil falla, entonces sí, es necesario saltar a la prueba difícil.

En resumen

La ciencia de la proporcionalidad en la IA busca evitar dos extremos:

1. La burocracia excesiva: Obligar a las empresas a hacer pruebas imposibles que frenan la innovación.
2. La seguridad insuficiente: Dejar que sistemas peligrosos salgan al mercado sin revisarse bien.

La idea es encontrar el "punto dulce": hacer exactamente las pruebas necesarias, con el rigor adecuado, para garantizar la seguridad sin asfixiar el progreso. Es como ajustar el termostato de casa: ni demasiado frío (riesgo) ni demasiado caliente (gasto innecesario), sino la temperatura perfecta.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "La ciencia y la práctica de la proporcionalidad en las evaluaciones de riesgos de la IA", publicado en Science el 19 de febrero de 2026.

1. El Problema

El desafío central identificado es la tensión regulatoria global en la gestión de riesgos de la Inteligencia Artificial (IA): cómo implementar una gestión de riesgos efectiva sin comprometer la innovación ni imponer cargas excesivas a los proveedores.

• Contexto Normativo: La Ley de IA de la Unión Europea (EU AI Act), que entró en vigor en agosto de 2025 para modelos de IA de propósito general (GPAI), exige que los proveedores de los modelos más avanzados evalúen los riesgos sistémicos.
• La Brecha: Existe una falta de metodologías científicas claras para determinar cuándo una evaluación de riesgo es proporcional. Los reguladores carecen de guías objetivas para equilibrar la necesidad de información sobre el riesgo con el costo (carga) de la evaluación, lo que lleva a juicios normativos subjetivos y al riesgo de resultados regulatorios insuficientemente protectores o excesivamente onerosos.

2. Metodología y Marco Conceptual

El artículo propone aplicar el principio de proporcionalidad del derecho de la UE (que exige que las medidas sean adecuadas, necesarias y equilibradas) al ámbito técnico de las evaluaciones de modelos de IA. Los autores, provenientes de la Oficina de IA de la Comisión Europea y diversas instituciones académicas y de investigación, estructuran la metodología en tres pilares:

A. Adecuación (Suitability)

Una evaluación es adecuada si contribuye sistemáticamente a la evaluación del riesgo con un nivel mínimo de efectividad. La efectividad se mide por el valor informativo. Para ser adecuada, una evaluación debe cumplir cuatro criterios técnicos:

1. Realista: Debe reflejar condiciones del mundo real (ruido, configuraciones de sistema, factor humano).
2. Sensible: Debe detectar cambios significativos en el rendimiento del modelo (evitar evaluaciones saturadas o demasiado difíciles para medir mejoras).
3. Específica: Debe estar vinculada al riesgo concreto (ej. capacidades relevantes para una cadena de ataque).
4. Rigorosa: Debe seguir la ciencia de la medición (validez, fiabilidad y alineación con estándares técnicos).

B. Necesidad (Necessity)

Una evaluación es necesaria si no existe otro medio menos restrictivo pero igualmente efectivo. Esto implica una comparación inter-evaluación:

• Se debe comparar la carga (recursos e intrusividad) frente a la efectividad.
• Se busca la frontera de Pareto: un conjunto de evaluaciones donde no se puede mejorar la efectividad sin aumentar la carga, ni reducir la carga sin perder efectividad.
• La comparación requiere métricas multidimensionales y juicios normativos cuando la evidencia empírica es ambigua.

C. Equilibrio (Balancing)

Implica sopesar el valor informativo contra la carga (comparación intra-evaluación).

• Perfil de Riesgo: La evaluación debe adaptarse a la probabilidad y severidad estimada del daño, considerando la incertidumbre y la fase del ciclo de vida del modelo.
• Capacidad del Proveedor: La carga es relativa al tamaño y capacidad del proveedor.
• Enfoque Iterativo: Se propone un proceso escalonado que comienza con métodos de bajo costo (ej. pruebas estáticas). Si estos son inconcluyentes o indican alto riesgo, se procede a métodos más demandantes (ej. simulaciones realistas de larga duración). Esto alinea la proporcionalidad con el principio de precaución.

3. Contribuciones Clave

• Operacionalización del Principio de Proporcionalidad: Traduce un concepto jurídico abstracto en criterios técnicos medibles para la evaluación de riesgos de IA.
• Marco de Valor Informativo: Define cómo medir la "efectividad" de una evaluación más allá de una métrica binaria, considerando la incertidumbre y las dimensiones múltiples del riesgo.
• Análisis de Carga: Distingue entre costos de desarrollo (diseño, integración) y costos de ejecución (computación, tiempo, recursos humanos), así como el grado de intrusividad en la infraestructura del proveedor.
• Estrategia Iterativa: Propone un marco de evaluación escalonado que comienza con métodos ligeros y escala solo si es necesario, optimizando el uso de recursos.

4. Resultados y Estudio de Caso (Vulnerabilidades Cibernéticas)

Los autores ilustran la aplicación del marco mediante un estudio de caso sobre la detección y explotación de vulnerabilidades en código de código abierto. Se comparan tres métodos de evaluación:

1. HonestCyberEval: Bajo costo, baja intrusividad, pero con simplificaciones (guía directa del modelo). Es útil como cribado inicial; si falla, es informativo, pero el éxito es un señal débil de riesgo.
2. BountyBench: Mayor realismo operativo y sensibilidad, pero con mayor carga de integración de sistemas y costos computacionales.
3. CyberGym: Máximo realismo, especificidad y rigor estadístico, pero con la carga más alta (costos computacionales elevados).

Hallazgo Principal: Cada método tiene evaluaciones que se sitúan en la frontera de Pareto. No existe un método "mejor" universalmente; la elección depende del contexto específico del modelo y del riesgo.

• Ejemplo de aplicación: Un regulador podría exigir primero HonestCyberEval. Si el modelo falla o muestra riesgos altos, se escala a BountyBench o CyberGym para aumentar la confianza en la estimación de riesgo, evitando así la carga innecesaria de CyberGym para modelos de bajo riesgo.

5. Significado e Impacto

• Para la Regulación: Proporciona una base científica para que los reguladores (como la Oficina de IA de la UE) tomen decisiones basadas en evidencia, reduciendo la discrecionalidad arbitraria y los litigios sobre cargas desproporcionadas.
• Para la Industria: Ofrece a los proveedores de IA un camino claro para demostrar cumplimiento sin incurrir en costos de evaluación innecesarios, fomentando la innovación al evitar la "sobrerregulación" por métodos de prueba ineficientes.
• Retos de Investigación Futura: El artículo identifica la necesidad urgente de desarrollar métricas estandarizadas para comparar el valor informativo, metodologías para identificar evaluaciones "equivalentes" y técnicas para reducir la carga computacional e intrusiva sin sacrificar la calidad de los datos.

En conclusión, el artículo establece que la proporcionalidad no es solo un principio legal, sino un desafío científico que requiere el desarrollo de nuevas metodologías de evaluación para equilibrar la seguridad de la IA con el progreso técnico.