An Investigation of Linguistic Biases in LLM-Based Recommendations

A continuación se presenta un resumen técnico detallado del artículo "Una investigación de los sesgos lingüísticos en las recomendaciones basadas en LLM".

1. Declaración del Problema

El artículo investiga los sesgos lingüísticos en los sistemas de recomendación basados en Modelos de Lenguaje Grande (LLM). Específicamente, examina si los LLM alteran sus recomendaciones basándose en variaciones dialectales (diferencias superficiales sintácticas y de forma) incluso cuando la intención semántica de la consulta del usuario permanece idéntica.

Los autores argumentan que los sistemas de recomendación pueden infringir la autonomía descriptiva al dirigir el comportamiento del usuario hacia resultados predeterminados basados en señales lingüísticas latentes (por ejemplo, el dialecto) en lugar de las preferencias explícitas del usuario. Si bien los sesgos relacionados con el género, la raza y la edad están bien estudiados, los sesgos que surgen del dialecto (por ejemplo, inglés americano del sur frente a inglés indio) y del cambio de código (mezcla de hindi e inglés) en contextos de recomendación siguen siendo poco explorados.

2. Metodología

Diseño Experimental

El estudio emplea un escenario de arranque en frío (prompts de cero disparos sin ajuste fino en datos de interacción del usuario) para aislar los sesgos inherentes dentro de los modelos.

• Tareas: Recomendaciones de restaurantes y recomendaciones de productos.
• Dialectos Probados:
  1. Inglés Americano del Sur (AE): Seleccionado como el grupo de acento regional más grande de EE. UU.
  2. Inglés Indio (IE): Inglés indio estandarizado.
  3. Cambio de Código Hindi-Inglés (CS): Una mezcla de hindi e inglés (por ejemplo, "Arre yaar, I'm dying of hunger...").
• Conjuntos de Datos:
  • Restaurantes: Conjunto de datos abierto de Yelp (2023). Se equilibraron subconjuntos de restaurantes de cocina "americana" e "india".
  • Productos: Conjunto de datos de reseñas de productos de Walmart (2020). Las categorías incluyeron Deportes, Salud, Cuidado Personal, Ropa, Hogar, Belleza y Ejercicio.
• Estrategia de Prompting:
  • Se proporcionó a los LLM una lista equilibrada de 100 elementos (50 restaurantes americanos/50 indios o 100 productos por categoría).
  • Se pidió al LLM que seleccionara las 20 mejores recomendaciones de esta lista.
  • Los prompts variaron únicamente por dialecto (por ejemplo, "¿Dónde hay un buen lugar para comer?" vs. "¿Dónde puedo conseguir un buen lugar para comer?" vs. "¿Kahan milta hai tasty food?").
  • Generalización: Para garantizar la robustez, el estudio utilizó 20 semillas aleatorias diferentes para generar listas equilibradas únicas para cada combinación de consulta/dialecto, resultando en 600 listas por tarea.

Modelos Evaluados

Se probaron tres familias de modelos con dos variantes de tamaño cada una para analizar el efecto del tamaño de los parámetros:

1. Llama-3.1: 8B y 70B parámetros.
2. GPT-OSS: 20B y 120B parámetros.
3. Mistral: 7B-instruct y mistral-small-3.1 (24B).

Análisis Estadístico

• Variable Dependiente: Conteos agregados de elementos recomendados por tipo de cocina (para restaurantes) o categoría de producto (para productos).
• Variables Independientes: Tipo de dialecto (AE, IE, CS), Tamaño del Modelo y sus interacciones.
• Modelo: Regresión de Efectos Mixtos Lineales (utilizando lmerTest en R).
  • Efectos Fijos: Dialecto, Tamaño del Modelo e interacciones.
  • Efectos Aleatorios: ID de pregunta e ID de semilla.
• Pruebas: Pruebas de razón de verosimilitud para efectos fijos, seguidas de comparaciones por pares post-hoc (corregidas con Bonferroni) de las medias marginales estimadas.

3. Contribuciones Clave

• Novedad en la Detección de Sesgos: Este es uno de los primeros estudios que aísla específicamente los sesgos dialectales y de cambio de código en los sistemas de recomendación basados en LLM, distintos de los sesgos demográficos o basados en contenido.
• Análisis de Arranque en Frío: Al evitar el ajuste fino, el estudio revela sesgos inherentes presentes en los modelos base preentrenados antes de que se apliquen medidas de entrenamiento correctivo o provisión de contexto.
• Evidencia Estadística Granular: El uso de modelos de efectos mixtos a través de 20 semillas proporciona evidencia estadísticamente significativa de que las variaciones lingüísticas superficiales alteran significativamente las distribuciones de recomendación.

4. Resultados Clave

Recomendaciones de Restaurantes

• Sensibilidad al Dialecto: Todos los modelos probados mostraron una sensibilidad estadísticamente significativa al dialecto.
  • Llama-3.1: Mostró la mayor sensibilidad. El modelo de 70B recomendó significativamente más restaurantes indios cuando se le solicitó con prompts en Cambio de Código (CS) e Inglés Indio (IE) en comparación con el inglés americano (AE).
  • Mistral: El modelo mistral-small-3.1 (24B) mostró sensibilidad, recomendando más restaurantes indios con prompts IE que con prompts AE.
  • GPT-OSS: Mostró la menor sensibilidad, probablemente debido a capacidades de razonamiento superiores que permiten al modelo derivar la intención semántica a pesar de las variaciones superficiales.
• Tendencias del Tamaño del Modelo: No se encontró una tendencia universal donde los modelos más grandes fueran siempre más o menos sesgados. Sin embargo, los modelos más grandes en las familias Mistral y Llama tendieron a recomendar menos restaurantes indios con prompts AE en comparación con sus contrapartes más pequeñas, pero más con prompts CS/IE.

Recomendaciones de Productos

• Cambios de Categoría: El dialecto influyó en el tipo de categorías de productos recomendadas.
  • Belleza y Hogar: Los modelos más grandes (Llama-3.1-70B, Mistral-small-3.1) recomendaron más productos de Belleza con prompts IE. Los modelos más pequeños (Llama-3.1-8B, Mistral-7B) recomendaron más productos de Hogar con prompts CS.
  • Impacto del Cambio de Código: El modelo Llama-3.1-70B fue particularmente sensible a los prompts CS, recomendando más productos en 4 de 7 categorías (Deportes, Hogar, Ropa, Ejercicio) en comparación con los prompts AE/IE.
• Diferencias entre Familias de Modelos:
  • Llama-3.1: Exhibió las diferencias más significativas basadas en dialecto y tamaño de modelo en todas las categorías.
  • GPT-OSS: Mostró las menores diferencias, reforzando la hipótesis de que mejores capacidades de razonamiento mitigan el sesgo lingüístico superficial.

5. Significado e Implicaciones

• Preocupaciones Éticas (Autonomía Descriptiva): Los hallazgos sugieren que los LLM pueden inferir la identidad y las preferencias del usuario basándose puramente en la forma lingüística (dialecto), reforzando potencialmente estereotipos y estrechando la diversidad de opciones presentadas a los usuarios sin su consentimiento.
• Diseño del Sistema: El estudio desafía la suposición de que escalar el tamaño del modelo por sí solo elimina el sesgo. De hecho, los modelos más grandes (como Llama-3.1-70B) pueden exhibir sesgos dependientes del dialecto más fuertes en contextos específicos.
• Equidad en las Recomendaciones: Si los sistemas de recomendación adaptan sus salidas basándose únicamente en el dialecto, los usuarios pueden recibir sugerencias restringidas o estereotipadas. Esto destaca una necesidad crítica de comportamiento invariante al dialecto en los sistemas de IA.
• Futuras Direcciones: Los autores sugieren estrategias de mitigación como la normalización de prompts, el entrenamiento consciente del dialecto o la decodificación restringida por equidad para asegurar que las recomendaciones estén impulsadas por la intención del usuario y no por artefactos lingüísticos.

Conclusión

El artículo demuestra que el dialecto por sí solo es un factor significativo en los resultados de las recomendaciones basadas en LLM. Incluso con una intención semántica idéntica, los prompts en inglés indio o en cambio de código hindi-inglés producen sistemáticamente distribuciones de recomendación diferentes en comparación con el inglés americano. Este sesgo es más pronunciado en la familia Llama-3.1 y varía según la categoría de producto, lo que indica que los LLM actuales codifican asociaciones latentes entre la forma lingüística y las preferencias culturales/demográficas que requieren una mitigación activa.