Counterfactual Explanations and the Scope of Contestability
Este artículo sostiene que las explicaciones contrafácticas pueden restaurar la agencia en la toma de decisiones automatizada al definir la contestabilidad como el derecho a exigir la revocación de una decisión, analizar cómo tales explicaciones ayudan a detectar errores algorítmicos y proponer un enfoque de consultas múltiples para mejorar su eficacia.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo moderno, las computadoras toman cada vez más las decisiones pesadas que moldean nuestras vidas. Deciden quién obtiene un préstamo, quién es contratado para un trabajo y quién recibe atención médica. Estos sistemas a menudo operan como "cajas negras", lo que significa que su lógica interna es tan compleja que incluso las personas que los construyeron no pueden explicar fácilmente cómo se tomó una decisión específica. Esta opacidad crea un problema para la agencia humana: si no entendemos por qué se tomó una decisión, no podemos impugnarla eficazmente si creemos que es errónea. Para solucionar esto, muchos expertos han propuesto un "derecho a la explicación", sugiriendo que cuando un algoritmo nos rechaza, debe decirnos por qué. Un método popular para proporcionar estas explicaciones es el "contrafactual". Este es un enunciado hipotético simple que le dice a una persona qué pequeño cambio habría conducido a un resultado diferente, como: "Si sus ingresos hubieran sido cinco mil dólares más altos, su préstamo habría sido aprobado". Aunque esto suena útil, un nuevo artículo de los filósofos y científicos de la computación Alice C.W. Huang y Thomas Grote plantea una pregunta crítica: ¿realmente otorga este tipo de explicación a las personas el poder de luchar contra las decisiones automatizadas injustas?
Los autores comienzan por distinguir exactamente qué significa impugnar una decisión. Diferencian tres objetivos distintos que las explicaciones podrían servir. El primero es la justificación, que trata de demostrar que el sistema informático en su conjunto es fiable y justo para todos. El segundo es el recurso, que es de orientación hacia el futuro; le dice a una persona qué pasos puede tomar en el futuro para obtener un mejor resultado, como obtener más experiencia laboral para mejorar un currículum. El tercero, y el foco de este artículo, es la contestabilidad. Esta es de orientación hacia el pasado. Es la capacidad de una persona para mirar una decisión que ya ha ocurrido, encontrar un error y exigir que la decisión sea revocada. Los investigadores definen la contestabilidad de forma estrecha: requiere proporcionar suficiente información para que una persona pueda demostrar que una decisión específica fue probablemente un error, dándole una base sólida para exigir una revisión.
Cuando los autores probaron si las explicaciones contrafactuales son buenas para permitir este tipo de contestabilidad, los resultados fueron sorprendentemente pesimistas. Examinaron varias formas comunes en las que las decisiones automatizadas fallan. En casos de discriminación, un contrafactual podría mostrar que una persona habría sido contratada si hubiera sido de una raza o género diferente. Aunque esto parece una evidencia sólida, los investigadores encontraron un obstáculo importante llamado el "problección de Rashomon". Esta es la idea de que rara vez existe una única razón para una decisión. Una computadora podría decir que un préstamo fue denegado debido a bajos ingresos, pero también podría ser cierto que el préstamo habría sido aprobado si el solicitante hubiera tenido un historial laboral diferente. Debido a que hay muchas formas diferentes de cambiar la entrada para obtener un resultado distinto, el sistema informático podría simplemente elegir la explicación que sea menos perjudicial para la institución, ignorando la que demuestra la discriminación. Sin una forma de obligar al sistema a mostrar todas las razones posibles, una persona podría no ver nunca el contrafactual específico que demuestra que fue tratada injustamente.
El problema empeora cuando el error no se trata de equidad, sino de que la computadora malinterpreta la situación específica de una persona. Imagine un modelo de salud que predice que una persona corre el riesgo de fatiga porque es vegana, asumiendo que la dieta carece de hierro. Si esa persona en realidad tiene una condición sanguínea rara que causa un exceso de hierro, la lógica del modelo es errónea para ella, incluso si es correcta para la mayoría de las personas. Una explicación contrafactual podría simplemente decir: "Si no fuera vegana, no estaría en riesgo". Esto no ayuda a la persona a demostrar que es una excepción a la regla; solo repite el supuesto erróneo del modelo. Para impugnar esto, la persona necesitaría un conocimiento médico profundo para explicar por vez por qué la regla general del modelo no se aplica a su biología específica. Del mismo modo, si una decisión es errónea debido a un simple error administrativo, como que un banco tenga el número incorrecto de la deuda de una persona, una explicación contrafactual es a menudo inútil. El sistema podría decir: "Si su deuda fuera menor, sería aprobado", lo cual es cierto pero obvio. No le dice a la persona que los registros del banco son simplemente erróneos, que es la razón real que necesita corregir.
Los investigadores concluyen que, si bien las explicaciones contrafactuales son excelentes para ayudar a las personas a planificar el futuro, a menudo son demasiado débiles para ayudar a las personas a combatir errores pasados. La información necesaria para demostrar un error es frecuentemente demasiado compleja, demasiado específica para el individuo o demasiado fácil de ocultar por la capacidad del sistema para elegir qué explicación mostrar. Para solucionar esto, los autores no sugieren abandonar la idea de las explicaciones, sino cambiar la forma en que se entregan. Proponen un enfoque de "múltiples disparos" (multi-shot). En lugar de dar a una persona una respuesta única y preempaquetada, el sistema permitiría a la persona hacer múltiples preguntas a la computadora. Una persona podría probar diferentes ideas, tales como: "¿Qué pasaría si tuviera más experiencia?" o "¿Qué pasaría si viviera en un vecindario diferente?". Esto convierte al usuario de un receptor pasivo de información en un investigador activo.
Sin embargo, los autores advierten que esto por sí solo no es suficiente. La mayoría de las personas no saben qué preguntas hacer o cómo interpretar las respuestas, especialmente cuando carecen de conocimientos especializados. Para resolver esto, sugieren que las personas deberían estar apoyadas por trabajadores de casos: expertos que comprenden los detalles legales y técnicos del sistema. Estos ayudantes podrían guiar a los individuos sobre qué preguntas hacer y cómo usar las respuestas para construir un caso. El artículo sostiene que sin este tipo de apoyo humano y la capacidad de hacer múltiples preguntas, la promesa de poder impugnar una decisión algorítmica sigue siendo una promesa vacía. La tecnología para generar estas explicaciones existe, pero la forma actual de usarlas es insuficiente para restaurar la verdadera agencia a las personas afectadas por las decisiones automatizadas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.