Resumen Técnico: Los Temas como Proxies de la Sociodemografía

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) se despliegan cada vez más en escenarios de alto riesgo, incluyendo asesoría legal, médica y financiera. Investigaciones previas indican que los usuarios de diferentes grupos sociodemográficos reciben resultados dispares de los LLM, incluso cuando sus historiales de conversación no contienen marcadores demográficos explícitos. Aunque estas disparidades son estadísticamente significativas, su magnitud exacta y sus mecanismos subyacentes siguen sin estar claros. Específicamente, se desconoce si los modelos impulsan estas diferencias mediante la inferencia precisa de la sociodemografía del usuario a partir del contexto conversacional o si reaccionan a otras características lingüísticas que casualmente se correlacionan con esos datos demográficos. Este artículo investiga si los LLM pueden inferir la sociodemografía del usuario a partir de un único historial de conversación e identifica los principales impulsores de las disparidades en la generación de consejos de alto riesgo.

Metodología

El estudio emplea un diseño experimental multifacético utilizando tres LLM de pesos abiertos (Llama 3.1 8B, Gemma 3 12B y Qwen3.6 27B) y un modelo de razonamiento de frontera (Kimi K2.6).

Conjuntos de Datos:

• Historiales Conversacionales: Se utilizaron dos conjuntos de datos: el conjunto de datos PRISM (8,011 conversaciones con 1,500 participantes de 75 países) y el Conjunto de Alineación Comunitaria (26,521 conversaciones en inglés de 1,220 participantes en India y EE. UU.). Ambos incluyen anotaciones sociodemográficas del usuario (p. ej., edad, género, etnia, educación, región).
• Preguntas de Alto Riesgo: El Benchmark de Sesgo Sociolingüístico (SBB) proporcionó 250 preguntas en cinco dominios: Beneficios, Médico, Legal, Político y Salario. Estas preguntas se añadieron a los historiales de conversación para generar las respuestas del modelo.

Procedimientos Experimentales:

1. Medición de la Disparidad de Resultados: Los autores midieron la magnitud de las diferencias en las salidas del modelo (p. ej., recomendaciones salariales, consejos binarios de sí/no) entre grupos sociodemográficos utilizando pruebas ANOVA.
2. Evaluación de la Inferencia Demográfica:
   • Prompting: Se le pidió explícitamente a Kimi K2.6 que infiriera la demografía del usuario a partir de los historiales de conversación en formato JSON.
   • Sondeo Lineal (Linear Probing): Se entrenaron clasificadores lineales sobre las representaciones latentes (posiciones del último token) de Gemma y Llama para predecir la demografía del usuario, probando la separabilidad lineal interna de estas características.
3. Análisis de Factores Predictivos: Los autores computaron una amplia gama de características (psico)lingüísticas para cada conversación, incluyendo:
   • Temas de Conversación: Derivados de los prompts iniciales o mediante agrupamiento (clustering).
   • Características Psicolingüísticas: Métricas del diccionario LIWC-22, emociones (basadas en BERT), sentimiento (basado en RoBERTa), cortesía, concreción y legibilidad (puntuación Flesch).
   • Métricas Lingüísticas: Perplejidad, recuento de tokens y métricas de diversidad.
   • Modelado de Regresión: Se utilizó la regresión ElasticNet para determinar qué características (sociodemográficas vs. lingüísticas/contextuales) predecían mejor los resultados del modelo.
4. Comparación Controlada: Un diseño 2x2 comparó las diferencias en los resultados de los modelos entre usuarios del mismo/diferentes grupos demográficos discutiendo el mismo/diferentes temas para aislar el efecto del tema frente a la identidad.

Contribuciones Clave y Resultados

1. Magnitud Mínima de las Disparidades
Aunque existen diferencias estadísticamente significativas en los resultados entre grupos sociodemográficos, su magnitud es mínima. En todos los modelos y conjuntos de datos, las diferencias salariales significativas entre los grupos más distintos promediaron $342.20 (máximo $882.70). Para otros dominios, las diferencias oscilaron entre 0.66 y 2.22 puntos porcentuales. Esto corresponde a menos de una o como máximo dos preguntas de 50 que se responden de manera diferente entre los grupos más distintos. Estas diferencias son sustancialmente menores que las observadas en relación con la predicción base del modelo sin ningún contexto conversacional.

2. Capacidades de Inferencia Demográfica Deficientes
Los LLM tienen dificultades para inferir con precisión la sociodemografía del usuario a partir de los historiales de conversación:

• Prompting: Cuando se le pidió explícitamente inferir la demografía, Kimi K2.6 no logró superar las líneas base de la clase mayoritaria en cinco de siete categorías, debido principalmente a la sobrepredicción de clases mayoritarias (p. ej., predecir "Masculino", "Blanco", "18-34 años"). Nunca predijo usuarios de 55 años o más.
• Sondeo Lineal: Aunque los sondeos entrenados en las representaciones latentes superaron a las líneas base aleatorias y de la clase mayoritaria en las capas posteriores del modelo, el rendimiento siguió siendo bajo (puntuaciones Macro F1 alrededor de 0.3 para clases desequilibradas y 0.7 para clases equilibradas). Esto sugiere que la sociodemografía no está claramente representada de forma lineal en los componentes internos del modelo.

3. Los Temas de Conversación como Principales Impulsores
El análisis de regresión reveló que los temas de conversación son los predictores más fuertes del comportamiento de los LLM, superando ampliamente a la sociodemografía del usuario.

• Las características de los temas mantuvieron consistentemente los coeficientes de importancia más altos en todos los modelos y dominios.
• Temas específicos se correlacionaron con resultados específicos: p. ej., las conversaciones sobre "viajes de lujo" llevaron a recomendaciones salariales más altas, mientras que "búsqueda de empleo" o "restricciones presupuestarias" llevaron a unas más bajas.
• En la comparación 2x2, las diferencias en los resultados entre usuarios que discutían diferentes temas fueron consistentemente mayores que las diferencias entre usuarios de diferentes grupos demográficos discutiendo el mismo tema.

4. Temas como Proxies
El estudio encuentra que los temas de conversación actúan como proxies de la sociodemografía. Dado que los usuarios de diferentes entornos suelen seleccionar diferentes temas (p. ej., los usuarios más jóvenes discuten la búsqueda de empleo con más frecuencia), la reacción del modelo al tema crea inadvertidamente disparidades demográficas. Sin embargo, el modelo está reaccionando al tema, no a la identidad inferida.

Significancia y Reivindicaciones

El artículo sostiene que el principal impulsor del sesgo demográfico en los consejos de los LLM de alto riesgo no es la capacidad del modelo para inferir y discriminar basándose en la identidad del usuario, sino la sensibilidad del modelo al contexto conversacional, específicamente al tema.

• Sutileza del Sesgo: Los hallazgos resaltan que las disparidades demográficas en escenarios de alto riesgo surgen de manera indirecta y sutil a través de la selección de temas en lugar de una señalización demográfica explícita. Esto hace que tales sesgos sean difíciles de detectar y mitigar.
• Limitaciones de la Mitigación Actual: Se encontró que una estrategia de mitigación simple basada en prompts (instruir al modelo para que ignore las características del usuario) fue en gran medida ineficaz, reduciendo las disparidades solo en el dominio político, pero dejando los dominios de beneficios y salario prácticamente sin cambios.
• Dirección Futura: Los autores argumentan por un cambio en la comprensión de la identidad del usuario en los LLM, yendo más allá de la sociodemografía estática hacia la compleja interacción del contexto conversacional. Abogan por una investigación futura para comprender mejor y mitigar los efectos del contexto conversacional, particularmente el papel de los temas como proxies de la identidad, en aplicaciones de alto riesgo.

El artículo concluye que, si bien existen disparidades en los resultados, estas son impulsadas más por lo que los usuarios hablan que por quiénes son, desafiando la suposición de que los LLM están infiriendo y actuando directamente sobre las identidades demográficas en entornos conversacionales realistas.