Implementing Causal Perception: Competing SCMs and Situated Fairness

Imagina que estás intentando resolver un misterio, como averiguar por qué una planta en tu habitación se está marchitando. Podrías observar la luz solar, el agua o la tierra. En el mundo de la Inteligencia Artificial (IA), los científicos utilizan mapas especiales llamados "Modelos Causales Estructurales" para hacer lo mismo. Estos mapas son como diagramas de flujo que muestran cómo una cosa causa que otra suceda. Por ejemplo, un mapa podría mostrar que los "bajos ingresos" causan un "mal puntaje crediticio". Pero aquí está el giro: dos personas diferentes (o programas de IA) podrían mirar exactamente la misma planta y dibujar dos mapas completamente distintos. Uno podría pensar que el problema es la tierra, mientras que el otro piensa que es la luz solar. Esto no es solo un error; es una diferencia en cómo ven el mundo. Esta idea es crucial porque, cuando le pedimos a la IA que tome decisiones justas —como a quién otorgar un préstamo o un empleo—, esas decisiones dependen enteramente de qué mapa esté utilizando la IA. Si los mapas no coinciden, la idea de "justicia" puede cambiar dependiendo de quién esté mirando.

Este artículo, escrito por José M. Álvarez, da un gran paso de la teoría a la realidad al construir el primer programa informático que realmente puede medir estos "mapas enfrentados". El autor llama a este fenómeno "percepción causal". Piensa en esto como dos amigos viendo una película. Incluso si ven las mismas escenas, podrían interpretar las motivaciones de los personajes de manera diferente basándose en sus propias experiencias de vida. En el mundo de la IA, esto significa que dos agentes (o "receptores") podrían mirar al mismo grupo de solicitantes de préstamos y ver dos historias diferentes sobre por qué algunas personas son rechazadas. El artículo pone esto a prueba utilizando un conjunto de datos real de 1,000 solicitantes de préstamos de Alemania. Los investigadores crearon dos "oficiales de crédito" digitales que estaban de acuerdo en la mayoría de las cosas, pero que discrepaban en una regla específica: si el género de una persona afecta directamente su riesgo crediticio.

Los resultados fueron reveladores. A pesar de que los dos oficiales solo discrepaban en una única conexión en sus mapas mentales, terminaron viendo el mundo de manera muy diferente. Cuando los investigadores midieron qué tan alejadas estaban sus visiones, encontraron que los dos oficiales discrepaban en aproximadamente el 21.7% de las decisiones de préstamos individuales. El artículo también destaca que tales desacuerdos pueden conducir a evaluaciones de justicia sumamente distintas; por ejemplo, en un escenario hipotético descrito en la introducción, dos receptores que difieren en un solo vínculo causal podrían alcanzar brechas de paridad demográfica de -0.594 frente a -0.170. El artículo también descubrió que la respuesta a "¿están viendo las cosas de manera diferente?" depende enteramente de qué herramienta de medición utilices. Si usas un tipo de regla (una métrica de distancia llamada Wasserstein-2), podrían parecer casi iguales. Pero si usas una regla diferente (como la divergencia de Kullback-Leibler o la Variación Total), la brecha parece masiva.

En última instancia, el artículo muestra que el sesgo no es solo un hecho fijo que flota en el aire; es "situado", lo que significa que depende de la visión del mundo específica de la persona o la IA que realiza el juicio. El autor argumenta que no podemos simplemente ignorar estas visiones del mundo contrapuestas o forzar a todos a estar de acuerdo en un único mapa "correcto". En cambio, necesitamos reconocer que en un mundo con múltiples expertos, diferentes personas percibirán la justicia de manera genuinamente distinta, y nuestras herramientas deben estar preparadas para manejar ese desacuerdo en lugar de pretender que no existe.