Who Do Language Models Think Is Competent? A Mechanistic Analysis of Occupational Bias
Este artículo revela que los modelos de lenguaje a menudo retienen sesgos de representación interna respecto a la competencia del usuario basados en la demografía como el género y la raza, incluso cuando sus resultados observables parecen imparciales, demostrando que las evaluaciones de comportamiento por sí solas son insuficientes para detectar estos modos de falla subyacentes.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Los seres humanos son capaces de albergar suposiciones subconscientes sobre los demás, a menudo sin darse cuenta de ello. Una persona podría creer que un grupo demográfico específico es menos apto para un determinado trabajo, incluso si rechaza conscientemente tales ideas. Estas asociaciones ocultas pueden moldear silenciosamente las decisiones, desde quién es contratado hasta cuánta ayuda recibe alguien. En el mundo de la inteligencia artificial, los modelos de lenguaje extensos han aprendido a imitar el habla humana estudiando vastas cantidades de texto. Debido a que aprenden del lenguaje humano, a menudo captan estas mismas asociaciones ocultas. Durante años, los investigadores han intentado medir si estos programas informáticos están sesgados haciéndoles preguntas directas u observando sus respuestas. Si un modelo se niega a decir algo prejuicioso, a menudo se considera seguro. Sin embargo, un nuevo estudio sugiere que un modelo puede parecer perfectamente educado en la superficie mientras sigue manteniendo estas ideas sesgadas en lo profundo de su propio procesamiento.
Los investigadores detrás de este trabajo, Keren Fuentes y Aaron Mueller, querían ver si los pensamientos internos de un modelo coincidían con su comportamiento externo. Se centraron en un tipo específico de sesgo: la suposición de que ciertas personas son más o menos capaces basándose en su género, raza o estatus socioeconómico, en lugar de sus habilidades reales. Para investigar esto, analizaron dos formas diferentes de juzgar a un modelo. La primera es la visión "conductual", que es lo que el modelo dice realmente cuando se le hace una pregunta. La segunda es la visión "representacional", que observa los patrones matemáticos que el modelo crea dentro de su propio cerebro mientras piensa. Imaginen el estado interno del modelo como una capa oculta de pensamiento que existe antes de que forme una oración. Los investigadores desarrollaron una forma de medir esta capa oculta para ver si el modelo estaba tratando a un usuario como un experto o como un novato, independientemente de lo que el usuario dijera realmente sobre su experiencia.
Para hacer esto, el equipo creó un conjunto de preguntas profesionales que cubrían veinte trabajos diferentes, desde la enfermería hasta el desarrollo de software. Hicieron estas preguntas a tres modelos de lenguaje extensos diferentes, pero cambiaron ligeramente el contexto en cada caso. A veces le dijeron al modelo que el usuario era un profesional en ese campo; otras veces mencionaron el género, la raza o el nivel de ingresos del usuario sin mencionar su profesión. Luego midieron dos cosas: la complejidad del lenguaje que el modelo utilizó en su respuesta, y la "puntuación" interna que otorgó a la experiencia del usuario. La complejidad del lenguaje sirvió como una métrica conductual, mientras que la puntuación interna actuó como una ventana a su razonamiento oculto.
Los resultados revelaron una desconexión sorprendente. En muchos casos, los modelos produjeron respuestas que parecían justas e imparciales. Cuando se les pedía contratar a un candidato o responder a una pregunta técnica, los modelos no daban respuestas consistentemente diferentes basándose en la raza o el género del usuario. Si solo se observaba el texto final, los modelos parecían tratar a todos por igual. Sin embargo, cuando los investigadores echaron un vistazo al procesamiento interno del modelo, encontraron una historia diferente. Los modelos estaban asignando diferentes niveles de experiencia a los usuarios basándose en detalles demográficos que no deberían importar. Por ejemplo, un modelo podría calificar internamente a un usuario blanco como más competente que a un usuario hispano, incluso cuando ambos hacían exactamente la misma pregunta y tenían el mismo título profesional. Este sesgo interno existía incluso cuando las palabras finales del modelo no mostraban ningún prejuicio.
Los investigadores demostraron que estas puntuaciones internas no eran solo ruido aleatorio; de hecho, controlaban el comportamiento del modelo. Al utilizar una técnica llamada "direccionamiento" (steering), pudieron influir en los pensamientos internos del modelo para hacer que viera a un usuario como más o menos experto. Cuando hicieron esto, las respuestas del modelo cambiaron. Si dirigieron al modelo para que viera a un usuario como un experto, el modelo utilizó un lenguaje más complejo y dio consejos técnicos más detallados. Si lo dirigieron para que viera al usuario como un novato, las respuestas se volvieron más simples. Esto confirmó que la representación interna de la experiencia era una fuerza causal real que impulsaba la producción del modelo. El estudio demostró que estos sesgos internos eran sensibles a las señales demográficas. Incluso cuando el modelo conocía la profesión del usuario, las diferencias sutiles en cómo percibía la competencia basándose en la raza o el género seguían siendo detectables en su estado interno, aunque no siempre se mostraran en el texto final.
Este hallazgo sugiere que los métodos actuales para probar la inteligencia artificial en busca de sesgos podrían estar pasando por alto mucho. Si solo comprobamos lo que un modelo dice, podríamos pensar que es justo cuando no lo es. Los modelos estudiados aquí, que incluyeron versiones de Gemma y Llama, mostraron que podían codificar asociaciones entre grupos demográficos y la competencia en sus capas ocultas. Estas asociaciones podrían influir en las decisiones del modelo de maneras que no son inmediatamente visibles. Por ejemplo, en una tarea de contratación, las puntuaciones internas de los modelos para los candidatos variaban según la raza y el género, aunque las decisiones de contratación finales parecían estadísticamente similares entre los grupos. Los investigadores descubrieron que, si bien los modelos podían ser dirigidos para cambiar sus tasas de contratación, los sesgos internos subyacentes persistían, lo que sugiere que los modelos seguían procesando la información demográfica de una manera que influía en su juicio.
Las implicaciones de este trabajo son significativas para la forma en que evaluamos y mejoramos la inteligencia artificial. Indica que un modelo puede pasar una prueba de seguridad estándar mientras sigue albergando sesgos profundos que podrían activarse mediante instrucciones o condiciones específicas. Los investigadores argumentan que necesitamos mirar más allá del nivel superficial de lo que dice un modelo y examinar cómo piensa. Al medir estas representaciones internas, podríamos detectar y corregir los sesgos antes de que se manifiesten en un comportamiento dañino. Este enfoque ofrece una nueva forma de asegurar que estas poderosas herramientas sean verdaderamente justas, no solo en sus palabras, sino en su propia naturaleza. El estudio concluye que, si bien las métricas conductuales son necesarias, no son suficientes por sí solas; una comprensión robusta de la equidad requiere observar la maquinaria oculta del propio modelo.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.