Responsible Intelligence in Practice: A Fairness Audit of Open Large Language Models for Library Reference Services

Resumen Técnico: Auditoría de Equidad en Modelos de Lenguaje Grandes (LLM) de Código Abierto para Servicios de Referencia Bibliotecaria

1. El Problema

Las bibliotecas (académicas y públicas) están explorando la integración de Modelos de Lenguaje Grandes (LLM) para escalar sus servicios de referencia. Sin embargo, surge una preocupación crítica de equidad: ¿pueden estos sistemas apoyar a todos los usuarios de manera justa, independientemente de su identidad demográfica?

• Contexto: Estudios previos han demostrado que los servicios de referencia humanos y virtuales a menudo presentan disparidades basadas en la raza y el género percibidos (sesgo implícito).
• Riesgo: Los LLMs, al ser entrenados en grandes corpus de texto, pueden reproducir y amplificar los sesgos sociales históricos presentes en sus datos de entrenamiento, socavando el compromiso profesional de las bibliotecas con un servicio imparcial y justo.
• Necesidad: Existe una falta de evidencia empírica sobre si los LLMs de código abierto (que permiten un despliegue local y auditoría) son inherentemente justos en el contexto específico de la asistencia bibliotecaria.

2. Metodología

Los autores emplearon un protocolo de evaluación sistemático llamado Protocolo de Evaluación de Equidad (FEP), que combina clasificación diagnóstica y análisis lingüístico. El estudio se diseñó de la siguiente manera:

• Generación de Datos (Simulación):

  • Se sintetizaron 2.500 correos electrónicos de referencia por modelo, equilibrados en un diseño factorial.
  • Plantillas de consulta: Se utilizaron 3 tipos para bibliotecas académicas (temas de colección, deportes, población) y 3 para bibliotecas públicas (ayuda digital, subida de currículums, recuperación de contraseñas).
  • Síntesis Demográfica: Se generaron 12 grupos demográficos combinando sexo (masculino/femenino) y raza/etnicidad (Blanco, Negro/Afroamericano, Asiático/Pacífico, Indígena Americano, Dos o más razas, Hispano/Latino). Los nombres se extrajeron de datos del SSA (Administración de Seguridad Social) y del Censo de EE. UU. para codificar señales demográficas implícitas.
  • Configuración del Prompt: Se configuró al LLM con un "sistema" que lo definía como un bibliotecario útil, respetuoso y honesto de una institución específica.

• Modelos Evaluados:
  Se probaron tres LLMs de código abierto de última generación, seleccionados por su capacidad de despliegue local:

  1. Llama-3.1 8B (Meta)
  2. Gemma-2 9B (Google)
  3. Ministral 8B (Mistral AI)
  • Configuración: Temperatura 0.7, 5 semillas aleatorias por modelo, generando un corpus total de 15.000 respuestas.

• Protocolo de Evaluación (FEP) en Dos Etapas:

  1. Clasificación Diagnóstica: Se extrajeron características TF-IDF (palabras clave) de las respuestas. Se entrenaron tres clasificadores (Regresión Logística, MLP, XGBoost) para predecir la demografía del usuario (sexo o raza) basándose únicamente en el texto de la respuesta del LLM.
     • Hipótesis: Si la precisión del clasificador es significativamente superior al azar, indica que el modelo está diferenciando sistemáticamente sus respuestas según la demografía.
  2. Interpretación: Si se detectó una diferencia significativa, se ajustó un modelo de regresión logística estadística para identificar marcadores léxicos específicos (palabras) que impulsaban la clasificación, distinguiendo entre sesgo dañino y variación contextual legítima.

3. Contribuciones Clave

• Aplicación del FEP a Bibliotecas: Extiende un marco de auditoría de equidad previamente utilizado en servicios académicos al ámbito de las bibliotecas públicas, cubriendo un espectro más amplio de necesidades de información.
• Evaluación de Modelos de Código Abierto: Proporciona una de las primeras evaluaciones rigurosas de LLMs de código abierto (Llama, Gemma, Ministral) en un contexto de servicio público, validando su viabilidad para despliegues locales con control de datos.
• Distinción entre Sesgo y Variación Contextual: El enfoque metodológico no solo detecta diferencias, sino que las interpreta lingüísticamente para determinar si son prejuicios discriminatorios o ajustes estilísticos inofensivos.

4. Resultados

El análisis arrojó dos hallazgos principales:

• Equidad Racial y Étnica:

  • Resultado: No hubo evidencia convincente de diferenciación sistemática por raza o etnicidad en ninguno de los tres modelos ni en ninguno de los dos entornos (académico y público).
  • Detalle: Las tasas de clasificación de los modelos predictivos se mantuvieron cerca del nivel de azar (16.7% para 6 clases raciales) en todas las pruebas, sin alcanzar significancia estadística tras la corrección de Bonferroni.

• Equidad de Sexo (Género):

  • Resultado General: La mayoría de los modelos trataron a hombres y mujeres de manera equitativa.
  • Excepción Detectada: El modelo Llama-3.1 en el entorno académico mostró una diferenciación estadísticamente significativa, aunque menor.
  • Causa del Sesgo: El análisis de marcadores lingüísticos reveló que la diferencia no se debía a la calidad, completitud o utilidad de la respuesta, sino a un marcador estilístico superficial: el uso del saludo "Dear" (Estimado/a).
    • "Dear" apareció en el 66.2% de las respuestas a usuarias mujeres frente al 48.4% a usuarios hombres.
    • Esto refleja un patrón de "polidez de género" aprendido durante el entrenamiento (posiblemente de datos históricos o procesos RLHF), pero no un sesgo en la información proporcionada.
  • Nota: Este patrón no se replicó en el entorno de bibliotecas públicas ni en los otros dos modelos.

5. Significado e Implicaciones

• Potencial de los LLMs Abiertos: Los resultados son alentadores, sugiriendo que los LLMs modernos de código abierto pueden ofrecer servicios virtuales de referencia que evitan los sesgos demográficos graves que históricamente han afectado a los servicios humanos y a modelos anteriores.
• La Equidad es Dinámica: El estudio enfatiza que la equidad no es una propiedad estática. Aunque los modelos actuales muestran buen comportamiento, requieren monitoreo continuo a medida que evolucionan y cambian los contextos de despliegue.
• Gobernanza Responsable:
  • Las bibliotecas deben adoptar un enfoque de "inteligencia responsable", donde la auditoría técnica se combine con el juicio profesional y la participación de la comunidad.
  • La capacidad de desplegar modelos localmente (on-premises) es crucial para que las instituciones mantengan el control sobre la configuración, los datos y la auditoría.
• Limitaciones y Futuro: El estudio se centró en consultas en inglés estándar y categorías binarias de sexo. Se identifica la necesidad de futuras investigaciones sobre sesgos en dialectos (como el inglés afroamericano), identidades de género no binarias y enfoques interseccionales (ej. raza + género combinados).

En conclusión, el artículo demuestra que, bajo las condiciones probadas, los LLMs de código abierto tienen el potencial de ser herramientas justas para las bibliotecas, pero su implementación requiere una vigilancia activa y una gobernanza participativa para asegurar que se alineen con los valores profesionales de equidad y justicia social.