Proxy reliance in large language model decisions is uncalibrated to predictive evidence

En el mundo moderno, se pide cada vez más a los algoritmos que tomen decisiones de alto riesgo sobre las personas, desde determinar quién obtiene un préstamo hasta decidir qué paciente de un hospital necesita atención primero. Cuando estos sistemas se construyen utilizando modelos de lenguaje de gran tamaño —programas informáticos potentes entrenados con vastas cantidades de texto— la cuestión de la equidad se vuelve complicada. La ley acepta generalmente que un tomador de decisiones puede utilizar información si esta ayuda a predecir un buen resultado, como usar la presión arterial de un paciente para predecir su riesgo de sufrir un ataque al corazón. Sin embargo, prohíbe el uso de información que simplemente sirve como sustituto de una característica protegida, como la raza o el género, incluso si esa información es estadísticamente útil. Esto se conoce como discriminación por proximidad (proxy discrimination). La dificultad radica en el hecho de que una sola pieza de datos, como el vecindario de una persona, puede ser tanto un indicador médico legítimo como una señal oculta de su raza. Los métodos actuales para probar si un algoritmo es justo suelen basarse en una comprobación simple: si cambias la raza de una persona en el prompt del ordenador y la decisión cambia, el sistema es sesgado. Pero este enfoque pierde la sutileza de la realidad. Un tomador de decisiones racional debería cambiar de opinión si la nueva información es genuinamente útil, y un sistema que nunca cambia de opinión podría estar ignorando evidencia importante en lugar de ser justo.

Investigadores de la Universidad de Osaka se propusieron resolver este problema pasando de los simples controles de sí o no a una medición más precisa de cuánto debe un algoritmo confiar en ciertas pistas. Crearon un mundo simulado donde conocían la verdad exacta sobre cada paciente y cada resultado, lo que les permitió calcular la cantidad perfecta de confianza en cualquier pieza de información dada. En este entorno controlado, pidieron a cuatro modelos de lenguaje de gran tamaño diferentes que actuaran como especialistas en triaje, clasificando pares de pacientes simulados para la prioridad de tratamiento. Los pacientes fueron descritos mediante indicadores numéricos, algunos de los cuales eran señales médicas legítimas y otros eran "proxies" que correlacionaban con un atributo protegido oculto pero que no tenían un valor médico real. Los investigadores pudieron entonces comparar el comportamiento de los modelos frente a un estándar matemático de lo que haría un tomador de decisiones perfectamente racional con la misma información.

El estudio reveló una desconexión sorprendente entre la evidencia disponible para los modelos y cómo la utilizaban realmente. Cuando los investigadores dieron a los modelos pistas que no tenían absolutamente ningún valor predictivo, los modelos siguieron confiando en ellas, tratando la información inútil como si importara. Esto ocurrió de manera constante en los cuatro modelos probados, independientemente del proveedor. Cuando las pistas eran genuinamente útiles, los modelos no ajustaban su confianza para coincidir con la fuerza de la evidencia. En su lugar, operaban con un nivel de confianza positivo considerable que subestimaba severamente la evidencia a medida que su valor predictivo crecía. En otras palabras, los modelos no estaban escuchando los datos; estaban siguiendo un guion interno rígido que ignoraba la realidad cambiante de la situación. Esto significa que un sistema podría parecer justo en una prueba específica, pero ser profundamente defectuoso en otra, simplemente porque la prueba no coincidía con las condiciones del mundo real donde la evidencia era más fuerte o más débil.

Los investigadores también investigaron si cambiar los nombres de los campos de datos podía detener este comportamiento. Cuando etiquetaron las pistas de proximidad con términos socialmente cargados como "vecindario" u "ocupación" en lugar de términos médicos neutrales, los modelos redujeron su confianza en ellos. Esto parecía una función de seguridad a primera vista. Sin embargo, el estudio encontró que esta supresión era frágil y se rompía fácilmente. Cuando los investigadores añadieron ejemplos al prompt para ayudar a los modelos a comprender la tarea —una práctica común en aplicaciones del mundo real—, los modelos empezaron inmediatamente a confiar de nuevo en las etiquetas sociales, ignorando a menudo el efecto protector de los nombres. No obstante, el estudio señaló que el contraste entre las etiquetas sociales y las neutrales persistió en tres de los seis casos en los que se suministraron ejemplos, lo que indica que la supresión no se había borrado por completo, sino que se había debilitado significamente. Esto sugiere que la aparente seguridad de estos modelos es una reacción superficial a la redacción específica más que una comprensión profunda y fiable de la equidad. Los modelos podían ser engañados para mostrar comportamientos injustos simplemente cambiando el contexto en el que se les pedía trabajar.

Además, el estudio demostró que la precisión de la decisión de un modelo no es un indicador fiable de si está utilizando la información de manera justa. Un modelo podría tomar la decisión correcta por las razones correctas, o la decisión incorrecta por las razones incorrectas, y aun así obtener la misma puntuación. En algunos casos, hacer la tarea más difícil añadiendo más puntos de datos hizo que los modelos confiaran más en los proxies injustos, mientras que en otros casos, hizo que confiaran menos. Esta inconsistencia significa que el simple hecho de comprobar si un modelo es preciso no nos dice si está discriminando. Los investigadores descubrieron que la relación entre cuántos puntos de datos ve un modelo y cómo los utiliza depende enteramente de cómo estén conectados esos puntos de datos entre sí, un factor que varía enormemente en los datos médicos del mundo real.

En última instancia, el trabajo demuestra que los métodos actuales para auditar la inteligencia artificial son insuficientes para la complejidad del despliegue en el mundo real. El estudio prueba que sin un estándar conocido de lo que la evidencia justifica, es imposible saber si un modelo está siendo justo o si simplemente está ignorando datos útiles. Los hallazgos sugieren que las configuraciones de apariencia más segura para estos modelos —aquellas que parecen más resistentes al sesgo en pruebas simples— son a menudo las que menos representan cómo se comportarán realmente en un hospital o un banco. La investigación concluye que para comprender y regular verdaderamente estos sistemas, debemos ir más allá de los simples controles de sesgo y desarrollar formas de medir si la confianza de un algoritmo en una información específica coincide con el valor real de dicha información. Hasta que podamos hacer eso, corremos el riesgo de castigar a los sistemas por ser racionales o, más peligrosamente, de confiar en sistemas que están tomando decisiones injustas de forma silenciosa basándose en una comprensión frágil del mundo.