🤖 machine learning

Using predictive multiplicity to measure individual performance within the AI Act

Este artículo sostiene que la multiplicidad predictiva —la existencia de múltiples modelos con una precisión similar pero con predicciones individuales contradictorias— contradice los requisitos de la Ley de IA de la UE para los sistemas de alto riesgo, y propone métricas específicas y directrices de notificación para cuantificar y divulgar tales desacuerdos a fin de garantizar el cumplimiento y la fiabilidad.

Autores originales: Karolin Frohnapfel, Mara Seyfert, Sebastian Bordt, Ulrike von Luxburg, Kristof Meding

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Karolin Frohnapfel, Mara Seyfert, Sebastian Bordt, Ulrike von Luxburg, Kristof Meding

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás solicitando un préstamo, un empleo o un tratamiento médico. Esperas que el sistema informático que decide tu destino sea una bola de cristal que ve la verdad perfectamente. Pero, ¿y si esa bola de cristal no es un objeto único? ¿Y si en realidad es una caja llena de diferentes bolas de cristal, todas fabricadas por la misma empresa, todas afirmando tener un 95% de precisión, pero todas te dicen algo ligeramente distinto sobre tu situación específica?

Este es el problema central que aborda el artículo "Using predictive multiplicity to measure individual performance within the AI Act" (Usar la multiplicidad predictiva para medir el rendimiento individual dentro de la Ley de IA). Aquí presento un desglose sencillo de su argumento, utilizando analogías cotidianas.

1. El Problema: El Efecto "Rashomon"

En el mundo de la IA, existe un fenómeno llamado Multiplicidad Predictiva. Piensa en ello como un grupo de jueces expertos analizando el mismo expediente.

El Escenario: Tienes 100 jueces expertos. Todos coinciden en el 90% de los casos. Todos son "precisos" en términos generales.
El Giro: Cuando observan tu caso específico, 50 jueces dicen "Sí" y 50 jueces dicen "No".
La Realidad: Debido a que no existe un único modelo "mejor", el proveedor de la IA podría haber elegido fácilmente un modelo diferente de su caja de herramientas que te habría dado el resultado opuesto, aun cuando ese modelo fuera igual de "preciso" en general.

Los autores argumentan que esta arbitrariedad es peligrosa. Si tu vida depende de la decisión, no debería importar qué modelo de los "igualmente buenos" eligió la computadora por azar. Si los modelos no se ponen de acuerdo contigo, el sistema está, esencialmente, lanzando una moneda al aire para tu caso específico.

2. La Ley: La Ley de IA de la UE

El artículo analiza este problema a través de la lente de la Ley de IA de la UE, una nueva ley en Europa que regula la IA de alto riesgo (como la contratación, la atención médica o los préstamos).

El Requisito: La ley establece que las empresas que construyen estos sistemas de IA deben demostrar que son precisos.
La Brecha: Normalmente, las empresas solo dicen: "Nuestro sistema tiene un 90% de precisión en el conjunto de datos completo".
La Perspectiva del Artículo: La ley exige en realidad que los proveedores informen sobre personas específicas, no solo sobre el promedio del grupo. Los autores argumentan que si diferentes modelos "buenos" discrepan sobre una persona específica, el sistema no es fiable para esa persona, incluso si la puntuación general parece excelente.

3. La Solución: Medir el "Desacuerdo"

Para solucionar esto, los autores proponen una nueva forma de medir el rendimiento. En lugar de preguntar simplemente "¿Es correcto el modelo?", preguntan: "¿Qué tanto discrepan los otros modelos buenos con este?"

Introducen dos herramientas (métricas) sencillas para medir esto:

El Ratio de Conflicto (El medidor de "Tira y Afloja"):
Imagina un juego de tirar de la cuerda para tu caso específico. Si 100 modelos están tirando de la cuerda, ¿cuántos tiran hacia el "Sí" frente al "No"?
- Si 99 tiran hacia el "Sí" y 1 tira hacia el "No", el conflicto es bajo. Puedes confiar en el "Sí".
- Si 50 tiran hacia el "Sí" y 50 tiran hacia el "No", el conflicto está en su máximo. El sistema está confundido respecto a ti.
- El Objetivo: Si el ratio de conflicto es alto, el sistema debería marcar a esa persona para que un humano la revise, en lugar de dejar que la computadora decida.
La $\delta$ -Ambigüedad (El "Conteo de Confusión"):
Esta es una forma de contar cuántas personas en todo el grupo se encuentran en este estado de "confusión". Ayuda a la empresa a ver si su sistema es generalmente fiable o si es un caos para una gran parte de la gente.

4. Cómo hacerlo: El enfoque "Ad-Hoc"

Podrías pensar: "Para encontrar todos estos modelos diferentes, ¡necesito probar millones de ellos!". Eso tomaría una eternidad.
Los autores encontraron un atajo inteligente. No necesitas probar todos los modelos posibles. Solo necesitas entrenar un pequeño grupo de modelos realizando cambios mínimos y aleatorios en el proceso, como:

Cambiar ligeramente el orden de los datos.
Añadir un poco de "ruido" (aleatoriedad) a los números.
Usar configuraciones ligeramente diferentes (como cambiar la temperatura de una estufa).

Probaron esto y descubrieron que incluso un pequeño grupo de modelos entrenados de esta manera es suficiente para revelar dónde está confundido el sistema. Es como pedir a varios chefs diferentes que cocinen el mismo plato con ingredientes ligeramente distintos; si todos están de acuerdo con el sabor, estás bien. Si discuten, sabes que algo pasa.

5. La Recomendación: Un apretón de manos entre el Creador y el Usuario

El artículo concluye con una sugerencia práctica de cómo debería funcionar la Ley de IA en la vida real:

Para los Creadores de IA (Proveedores): No entreguen solo un modelo de "caja negra". Entreguen a las personas que usan el sistema (los Implementadores) un "kit de herramientas" de varios modelos igualmente buenos.
Para los Usuarios de IA (Implementadores): Antes de tomar una decisión final sobre una persona, verifiquen el "Ratio de Conflicto".
- Conflicto Bajo: Los modelos están de acuerdo. Proceda con la decisión automatizada.
- Conflicto Alto: Los modelos están peleando. Deténgase. Involucre a un humano para que tome la decisión final.

Resumen

El artículo sostiene que la precisión no es solo un número; es una historia sobre la consistencia. Si un sistema de IA no puede estar de acuerdo consigo mismo respecto a ti, no debería tener permitido tomar una decisión que cambie tu vida sin que un humano vigile su actuación. Al medir cuánto discrepan diferentes modelos "buenos", podemos hacer que la IA sea más segura y confiable bajo las nuevas leyes europeas.

Resumen Técnico: El uso de la multiplicidad predictiva para medir el desempeño individual dentro de la Ley de IA

Planteamiento del problema
El artículo aborda el fenómeno de la multiplicidad predictiva (también conocida como el efecto Rashomon), donde múltiples modelos de aprendizaje automático distintos logran una precisión estadística general comparable, pero producen predicciones contradictorias para casos individuales específicos. Si bien una alta precisión agregada sugiere fiabilidad general, no garantiza resultados confiables para individuos específicos. Esta arbitrariedad es particularmente problemática en dominios de alto riesgo (p. ej., empleo, salud, educación) donde las decisiones impactan directamente en los derechos humanos y el bienestar.

Los autores argumentan que este problema crea un desafío regulatorio bajo la Ley de IA de la UE (AIA). La Ley exige que los sistemas de IA de alto riesgo alcancen un "nivel apropiado de precisión" (Artículo 15) y requiere que los proveedores informen sobre métricas de desempeño no solo a nivel de conjunto de datos, sino también para personas específicas (Artículos 11 y 13, Anexo IV). El artículo postula que si múltiples modelos de precisión similar discrepan en el caso de un individuo, el sistema no puede considerarse fiable para ese individuo, lo que potencialmente viola las disposiciones de precisión y transparencia de la AIA.

Metodología
El artículo emplea un enfoque dual: un análisis jurídico doctrinal de la Ley de IA de la UE y un marco computacional para medir la multiplicidad predictiva.

Análisis Jurídico:
- Los autores analizan los Artículos 11, 13 y 15 de la Ley de IA utilizando una interpretación textual, sistemática y teleológica.
- Establecen que la "precisión" en la Ley se refiere al concepto más amplio de desempeño relativo al propósito previsto del sistema, extendiéndose más allá de las métricas estadísticas estándar.
- Crucialmente, interpretan los requisitos de transparencia como una exigencia de realizar evaluaciones de desempeño para individuos específicos, no solo para estadísticas agregadas de conjuntos de datos.
Marco Técnico:
Para operativizar el requisito legal de la evaluación del desempeño individual, los autores proponen cuantificar el desacuerdo entre modelos dentro de un conjunto Rashomon (el conjunto de todos los modelos que alcanzan una precisión dentro de un umbral $\epsilon$ del mejor modelo).
- Ratio de Conflicto ( $c_R(x)$ ): Una métrica para puntos de datos individuales $x$ . Mide la fracción de modelos en el conjunto Rashomon que predicen una etiqueta diferente a la de la mayoría. Un valor de 0.5 indica conflicto máximo (la mitad predice 0, la otra mitad 1); 0 indica acuerdo unánime.
- $\delta$ -Ambigüedad ( $A_\delta(R, D)$ ): Una métrica a nivel de conjunto de datos que representa la fracción de individuos cuyo ratio de conflicto supera un umbral $\delta$ . Esto generaliza la ambigüedad estándar al contabilizar el grado de conflicto, no solo su presencia.
- Aproximación Ad-hoc: Dado que enumerar el conjunto Rashomon completo es computacionalmente inviable para modelos complejos, los autores proponen un enfoque ad-hoc. Esto implica entrenar múltiples modelos variando:
  - Multiplicidad paramétrica: Hiperparámetros, semillas aleatorias y arquitectura del modelo.
  - Multiplicidad del conjunto de datos: Bootstrapping, ruido de características y submuestreo de características.
- El conjunto resultante de modelos de alto desempeño sirve como una aproximación del conjunto Rashomon para calcular los ratios de conflicto.

Resultados Clave
Los autores validan su enfoque mediante experimentos con datos sintéticos, el conjunto de datos de empleo de la American Community Survey (ACS) y varios conjuntos de datos del mundo real (COMPAS, Student Dropout, European Social Survey).

Importancia de la Multiplicidad del Conjunto de Datos: Los experimentos demuestran que ignorar la multiplicidad del conjunto de datos (entrenar todos los modelos con la misma muestra de datos) subestima significativamente la multiplicidad predictiva. Incorporar variaciones en los conjuntos de datos (p. ej., bootstrapping) es crucial para descubrir casos conflictivos.
Efectividad del Enfoque Ad-hoc: El enfoque ad-hoc, incluso con un número relativamente pequeño de modelos (p. ej., 200–500), se aproxima estrechamente a los ratios de conflicto y a la $\delta$ -ambigüedad de los métodos exhaustivos (como el algoritmo TreeFarms para árboles de decisión).
Convergencia: Métricas como la ambigüedad estándar y la $\delta$ -ambigüedad convergen rápidamente a medida que aumenta el tamaño del conjunto Rashomon, lo que sugiere que un conjunto pequeño y diverso de modelos es suficiente para capturar la multiplicidad relevante.
Aplicación en el Mundo Real: En el conjunto de datos de empleo ACS, los enfoques que incorporan la multiplicidad del conjunto de datos (específicamente el bootstrapping) identificaron con éxito una mayor proporción de individuos con altos ratios de conflicto en comparación con los enfoques que utilizan datos fijos.

Significancia y Reivindicaciones
El artículo afirma ser el primero en conectar la multiplicidad predictiva directamente con los requisitos de cumplimiento de la Ley de IA de la UE. Sus principales contribuciones son:

Interpretación Jurídica: Argumenta que el requisito de la Ley de IA de informar la precisión para "personas específicas" implica la necesidad de evaluar la fiabilidad individual, lo cual la multiplicidad predictiva proporciona un marco para medir.
Herramientas de Cumplimiento Prácticas: Introduce los ratios de conflicto y la $\delta$ -ambigüedad como herramientas concretas y computacionalmente factibles para que los proveedores evalúen el desempeño individual y para que los implementadores identifiquen casos de alto riesgo.
Recomendaciones Accionables:
- Para Proveedores: Deben buscar deliberadamente modelos de precisión comparable (usando el enfoque ad-hoc) y proporcionar a los implementadores información sobre las predicciones conflictivas.
- Para Implementadores: Deben utilizar los ratios de conflicto para identificar individuos sujetos a alta ambigüedad. Para estos casos, el artículo recomienda involucrar la supervisión humana en lugar de confiar únicamente en decisiones automatizadas, asegurando así que las decisiones estén bien fundamentadas.

Los autores mantienen una postura modesta, reconociendo que su enfoque ad-hoc es una aproximación y que la definición exacta de "precisión apropiada" dependerá de futuros estándares armonizados. Sin embargo, sostienen que considerar la multiplicidad predictiva es esencial para asegurar que las decisiones apoyadas por IA sean fiables y para fomentar la confianza en los sistemas de IA de alto riesgo.