Bias in the Tails: How Name-conditioned Evaluative Framing in Resume Summaries Destabilizes LLM-based Hiring

Resumen Técnico: Sesgo en las Colas

1. El Problema

La investigación actual sobre el sesgo en la contratación asistida por Grandes Modelos de Lenguaje (LLM) se ha centrado principalmente en disparidades agregadas en resultados finales (como tasas de devolución de llamadas o recomendaciones de salario). Sin embargo, existe una brecha crítica en la comprensión de cómo los LLM generan artefactos intermedios, específicamente resúmenes de currículums, que luego son utilizados por reclutadores humanos o sistemas de IA adicionales.

El problema central es que, aunque los LLM pueden ser instruidos para evitar contenido factual sesgado, podrían introducir sesgo a través del "enmarcado evaluativo" (evaluative framing). Este sesgo no necesariamente se manifiesta como una discriminación direccional clara (ej. "los candidatos X siempre obtienen puntuaciones más bajas"), sino como una inestabilidad simétrica en las colas de la distribución de las evaluaciones. Esto significa que un mismo candidato puede recibir calificaciones drásticamente diferentes dependiendo únicamente del nombre que se le asigne, un fenómeno que podría pasar desapercibido para las auditorías de equidad tradicionales que buscan disparidades de grupo.

2. Metodología

Los autores diseñaron un estudio controlado a gran escala para aislar el efecto del nombre en la generación de resúmenes.

• Datos Sintéticos y Realistas:
  • Construyeron 1,073 currículums sintéticos basados en datos reales de OpenResume y enriquecidos con descripciones de tareas estandarizadas de la base de datos O*NET (Departamento de Trabajo de EE. UU.).
  • Se generaron 5 cohortes distintas para controlar la variabilidad estocástica.
  • Cada currículum se emparejó con 3 ofertas de trabajo reales extraídas de portales como Indeed, LinkedIn y ZipRecruiter.
• Perturbación de Nombres:
  • Se utilizaron 8 grupos interseccionales de raza y género (Hombre/Mujer Blanco, Negro, Hispano y Asiático), utilizando una lista curada de 320 nombres validados estadísticamente para codificar señales raciales y de género.
  • Para cada combinación (Currículum + Oferta de Trabajo + Modelo), se generaron 8 variantes de resumen cambiando solo el nombre del candidato.
• Modelos Evaluados:
  • Se probaron 4 LLMs de diferentes arquitecturas: GPT-4o-mini (cerrado), Qwen2.5-32B, Llama-3.1-8B y Gemma-9B (abiertos).
  • Se generaron casi un millón de resúmenes (982,656 respuestas).
• Diseño del Prompt:
  • Se instruyó a los modelos para generar un resumen de 4 oraciones:
    • S1-S3: Resumen factual basado exclusivamente en las tareas del currículum.
    • S4: Oración evaluativa que explica la adecuación del candidato al puesto.
• Análisis:
  • Análisis de Granos Gruesos: Longitud, superposición léxica (similitud de Jaccard) y valencia de sentimiento (VADER).
  • Análisis de Componentes: Evaluación de la facticidad (MiniCheck) para S1-S3 y medición de subjetividad (TextBlob) y agencia (Language Agency Classifier) para la oración S4.
  • Simulación de Contratación: Se evaluó cómo estos resúmenes afectaban las puntuaciones finales de "Competencia", "Agencia" y "Ajuste" (Fit) en un segundo paso de LLM.

3. Contribuciones Clave

1. Localización del Sesgo: Demostraron que el sesgo condicional al nombre en la contratación basada en LLM no proviene del contenido factual, sino del enmarcado evaluativo (oración S4), concentrándose específicamente en las colas de la distribución (casos extremos).
2. Inestabilidad Simétrica vs. Sesgo Direccional: Identificaron que, a diferencia de la discriminación tradicional que favorece sistemáticamente a un grupo, este fenómeno crea arbitrariedad algorítmica. No hay un grupo sistemáticamente favorecido, pero la variabilidad dentro del mismo grupo (debido al nombre) es alta, violando la equidad contrafactual.
3. Marco de Validación: Propusieron un marco que extiende las auditorías basadas en grupos hacia una validación sensible a umbrales de análisis contrafactual a nivel de instancia, capaz de detectar inestabilidades que las métricas agregadas ocultan.

4. Resultados Principales

• Estabilidad del Contenido Factual (S1-S3):
  • Las oraciones basadas en hechos (S1-S3) mostraron una alta estabilidad factual y una baja variabilidad léxica entre diferentes nombres.
  • No se encontraron diferencias significativas en la longitud, el sentimiento o la estructura narrativa macro (categorías O*NET) en estas secciones.
• Inestabilidad en el Enmarcado Evaluativo (S4):
  • La oración S4 (evaluativa) mostró una variabilidad significativa condicionada al nombre.
  • Los modelos de código abierto (Llama, Gemma, Qwen) exhibieron una amplificación mucho mayor en los niveles de subjetividad y agencia en comparación con GPT-4o-mini.
  • Las parejas de nombres que involucraban señales de Hispanos y Asiáticos aparecieron desproporcionadamente en las colas de la distribución (los casos con mayor cambio de puntuación).
  • La inestabilidad no era direccional (no siempre favorecía a un grupo), sino que representaba cambios extremos y arbitrarios en la redacción (ej. atribuir iniciativa o liderazgo de manera inconsistente).
• Impacto en la Simulación de Contratación:
  • Resumen Directo (Resume-only): Mostró sesgo racial direccional clásico (grupos específicos puntuaban consistentemente más bajo).
  • Solo S4 (Evaluación solo de la oración evaluativa): Eliminó el sesgo direccional (no hubo diferencias significativas entre grupos en promedios), pero duplicó la inestabilidad interna (rango de puntuaciones dentro del mismo grupo) y triplicó la tasa de desacuerdos grandes (cambios de decisión).
  • Efecto de Anclaje: Cuando se evaluó el resumen completo (S1-S4), la inestabilidad de S4 actuó como un "ancla", transmitiendo aproximadamente la mitad de la variación de S4 a la evaluación final, incluso con el contenido factual presente.
  • Tasas de Volteo (Flip Rates): En umbrales de decisión moderados, la evaluación basada solo en S4 provocó tasas de cambio de decisión (candidato aprobado vs. rechazado) mucho más altas que la evaluación del currículum completo.

5. Significado e Implicaciones

• Nueva Forma de Sesgo: El estudio revela un mecanismo de daño que evade las auditorías de equidad estándar. Las auditorías tradicionales buscan disparidades de grupo (ej. "¿Los candidatos negros obtienen peores puntajes?"). Este estudio muestra que el daño puede ser no direccional (arbitrariedad), donde el resultado depende del nombre de manera impredecible, violando la equidad contrafactual sin necesariamente disparar alertas de impacto disparado.
• Riesgo de Automatización LLM-a-LLM: En pipelines de contratación donde un LLM resume y otro LLM decide, este sesgo de "cola" puede amplificarse y propagarse, creando un sistema de toma de decisiones inestable y difícil de rastrear.
• Recomendaciones Técnicas:
  • Desacoplamiento: Separar la extracción de hechos (S1-S3) de la síntesis evaluativa (S4).
  • Auditoría de Colas: Las auditorías deben enfocarse en la variabilidad dentro de los grupos y en los casos extremos (colas de la distribución), no solo en los promedios.
  • Revisión Humana: Los casos identificados como "de cola" (alta variabilidad evaluativa) deben ser sometidos a revisión humana obligatoria.

En conclusión, el papel advierte que la integración de LLM en procesos de contratación de alto riesgo introduce una inestabilidad sistémica que, aunque sutil y no direccional, puede tener consecuencias graves al alterar arbitrariamente las oportunidades de empleo, especialmente en modelos de código abierto y en tareas que requieren juicio interpersonal.