Resumen Técnico: Incertidumbre Desigual: Replanteando las Intervenciones Algorítmicas para Mitigar la Discriminación en la IA

1. Planteamiento del Problema

El artículo aborda los riesgos legales y éticos asociados con la incertidumbre predictiva en los sistemas de Inteligencia Artificial (IA) utilizados para la toma de decisiones de alto impacto (por ejemplo, crédito al consumo y justicia penal). Aunque los modelos de aprendizaje automático (ML) suelen exhibir un rendimiento agregado similar, la incertidumbre predictiva es frecuentemente desigual entre distintos grupos demográficos, concentrándose a menudo en poblaciones subrepresentadas debido a la escasez de datos o al sesgo histórico.

El problema central es cómo gestionar esta incertidumbre sin exacerbar la discriminación. Los autores analizan dos intervenciones algorítmicas comunes diseñadas para actuar como "barandillas" (guardrails) en la interacción humano-IA:

1. Abstención Selectiva: Retener las predicciones del modelo de los responsables de la toma de decisiones humanas cuando la incertidumbre supera un umbral, forzando una decisión basada únicamente en el juicio humano sin ayuda.
2. Fricción Selectiva: Presentar la predicción del modelo al responsable de la toma de decisiones humana, pero acompañándola de una advertencia (por ejemplo, una "bandera amarilla") cuando la incertidumbre es alta, lo que incita a la reflexión sin eliminar la predicción.

El artículo sostiene que, si bien estas intervenciones pretenden mitigar los errores, pueden generar inadvertidamente una discriminación ilícita bajo la legislación del Reino Unido (UK), particularmente al crear asimetrías procedimentales donde los grupos subrepresentados son sometidos desproporcionadamente al juicio humano no asistido o a anulaciones sesgadas.

2. Metodología

Los autores emplean una metodología híbrida que combina definiciones técnicas formales con un análisis doctrinal legal y la aplicación de estudios de caso.

2.1 Definiciones Formales y Supuestos

• Tarea: Clasificación binaria ($\hat{y} \in \{0, 1\}$) donde un modelo $f$ predice etiquetas para entradas $x$.
• Métrica de Incertidumbre: Los autores utilizan la entropía de Shannon ($H(\hat{p})$) para cuantificar la incertidumbre predictiva, donde $\hat{p}$ es la probabilidad predicha por el modelo. La entropía es 0 para predicciones ciertas y 1 para la máxima incertidumbre ($\hat{p}=0.5$).
• Umbral de Intervención: Se establece un umbral $\tau$ tal que si $H(\hat{y}) \geq \tau$, se activa una intervención.
• Supuesto de Calibración: Se asume que el modelo está bien calibrado a nivel poblacional, pero potencialmente mal calibrado dentro de subgrupos demográficos específicos (fallo de calibración intra-grupo). Esto conduce a diferencias sistemáticas en los valores de entropía entre grupos.
• Responsable de la Toma de Decisiones Humana: Modelado como una función $r(x)$ (sin ayuda) o $r(x; f(x))$ (con ayuda). El artículo asume que los responsables de la toma de decisiones pueden exhibir sesgos cognitivos, como el sesgo de automatización (exceso de confianza) o anulaciones inapropiadas.

2.2 Estudios de Caso

Las intervenciones se aplican a dos dominios específicos para analizar las consecuencias para los grupos afectados:

1. Crédito al Consumo: Predicción del riesgo de impago de préstamos. El estudio examina cómo la abstención o la fricción afectan las tasas de aprobación/denegación de préstamos y los tiempos de procesamiento para los grupos subrepresentados.
2. Riesgo de Reincidencia: Predicción de la probabilidad de reincidencia en la justicia penal. El estudio analiza los resultados de las sentencias (estrictas vs. leves) y el impacto del Deber de Igualdad del Sector Público (PSED).

2.3 Marco Legal

El análisis se fundamenta en la legislación del Reino Unido, específicamente:

• La Ley de Igualdad de 2010 (Equality Act 2010): Analizando la discriminación directa e indirecta, centrándose en si las intervenciones constituyen una "Provisión, Criterio o Práctica" (PCP) que coloca a los grupos protegidos en una desventaja particular.
• Deber de Igualdad del Sector Público (PSED): Obligaciones de la Sección 149 para las autoridades públicas.
• Ley de Protección de Datos: El RGPD del Reino Unido y la recientemente propuesta Ley de Datos (Uso y Acceso) de 2025 (DUAA), específicamente respecto a la "participación humana significativa" y la toma de decisiones exclusivamente automatizada.

3. Principales Contribuciones

El artículo realiza dos contribuciones principales:

1. Análisis Doctrinal Legal: Proporciona el primer análisis doctrinal de las intervenciones algorítmicas basadas en la incertidumbre bajo la ley del Reino Unido. Demuestra que los umbrales de incertidumbre formalmente neutrales pueden generar efectos discriminatorios, particularmente bajo el marco de la discriminación indirecta.
2. Evaluación Comparativa de Intervenciones: Argumenta que la fricción selectiva es legalmente preferible a la abstención selectiva. Aunque ambas conllevan riesgos, la fricción preserva el acceso a la predicción del modelo y tiene más probabilidades de satisfacer la prueba de proporcionalidad requerida bajo la Ley de Igualdad de 2010.

4. Resultados y Análisis

4.1 Análisis de la Abstención Selectiva

• Mecanismo: Cuando la incertidumbre es alta, la predicción del modelo se oculta y el humano toma una decisión sin la asistencia de la IA.
• Riesgo Discriminatorio: Debido a que los grupos subrepresentados suelen tener una mayor incertidumbre predictiva (debido al sesgo de datos), se ven desviados desproporcionadamente hacia las vías de decisión "no asistidas".
• Hallazgo Legal: Esto crea una asimetría procedimental. Los solicitantes de grupos protegidos enfrentan tiempos de procesamiento más largos y la variabilidad del juicio humano individual, mientras que otros reciben decisiones estandarizadas asistidas por IA. Los autores argumentan que esto constituye discriminación indirecta bajo la Ley de Igualdad de 2010. Es difícil de justificar como "proporcional" porque existen alternativas menos discriminatorias (como la recalibración o la fricción) que no descartan la información del modelo.
• Resultado: La abstención no elimina el riesgo de discriminación; desplaza la carga de la incertidumbre hacia grupos específicos.

4.2 Análisis de la Fricción Selectiva

• Mecanismo: La predicción del modelo siempre se muestra, pero las predicciones de alta incertidumbre vienen acompañadas de una bandera de advertencia.
• Riesgo Discriminatorio: El riesgo reside en cómo los humanos interpretan la bandera. Si los responsables de la toma de decisiones (por ejemplo, agentes de crédito o jueces) anulan sistemáticamente las predicciones inciertas de una manera que correlaciona con las características protegidas (por ejemplo, denegando préstamos a solicitantes señalados de grupos minoritarios), se produce la discriminación.
• Hallazgo Legal: La fricción selectiva tiene menos probabilidades de ser considerada ilícita que la abstención. Preserva la naturaleza "asistida por IA" de la decisión, evitando el sistema de dos vías. Tiene más probabilidades de satisfacer el requisito de proporcionalidad porque es un medio menos restrictivo para lograr el objetivo legítimo de reducción de errores. Sin embargo, su legalidad depende de la evidencia empírica de que no empeora sistemáticamente los resultados para los grupos protegidos en la práctica.
• Participación Humana: Bajo la propuesta DUAA 2025, la fricción puede satisfacer el requisito de "participación humana significativa", lo que podría eximir a las decisiones de salvaguardias más estrictas de la toma de decisiones automatizada. No obstante, los autores advierten que esto podría conducir a un cumplimiento "tokenista" si los humanos validan mecánicamente el modelo a pesar de la bandera.

4.3 Escenarios de Estudio de Caso

El artículo describe cuatro escenarios tanto para crédito como para sentencias:

1. Acuerdo (Incierto $\to$ Adverso): El humano está de acuerdo con la predicción negativa incierta. Riesgo de exceso de confianza en un modelo sesgado.
2. Anulación (Incierto $\to$ Adverso): El humano anula una predicción positiva incierta para dar un resultado adverso. Identificado como el escenario más preocupante para la discriminación, ya que el sesgo humano puede anular la sugerencia (potencialmente más neutral) del modelo.
3. Acuerdo (Incierto $\to$ Favorable): El humano está de acuerdo con la predicción positiva incierta.
4. Anulación (Incierto $\to$ Favorable): El humano anula una predicción negativa incierta para dar un resultado favorable. Aunque teóricamente beneficioso, la evidencia empírica sugiere que las anulaciones no benefician sistemáticamente a los grupos subrepresentados.

5. Significación y Reivindicaciones

El artículo afirma su relevancia por ser el primero en aplicar rigurosamente la doctrina legal del Reino Unido a las intervenciones basadas en la incertidumbre. Su tesis central es que la neutralidad técnica (usar umbrales de entropía) no garantiza la neutralidad legal.

• Preferencia Legal: Los autores concluyen que la fricción selectiva es la opción de diseño superior desde la perspectiva del cumplimiento legal, ya que mantiene la integridad de la colaboración humano-IA y evita las desventajas procedimentales inherentes a la abstención.
• Incertidumbre Empírica: El artículo establece explícitamente que si la fricción selectiva mejora la calidad de la decisión en la práctica es una cuestión empírica abierta. Depende de la formación de los responsables de la toma de decisiones, de la calibración de las estimaciones de incertidumbre y de la cultura institucional.
• Trabajo Futuro: Los autores identifican la necesidad de estudios empíricos sobre si las banderas de incertidumbre activan diferentes tasas de anulación entre distintos grupos demográficos, así como investigación técnica sobre si la calibración específica por grupo puede mitigar el impacto desproporcionado de estas intervenciones.

El artículo no pretende que las intervenciones basadas en la incertidumbre sean intrínsecamente ilícitas, sino que su implementación debe ser escrutada cuidadosamente para asegurar que no violen la Ley de Igualdad de 2010 al cargar desproporcionadamente a los grupos protegidos.