Measuring Validity in LLM-based Resume Screening

Resumen Técnico: Medición de la Validez en la Triaje de Currículums Basado en LLM

1. El Problema

La selección de personal asistida por IA, específicamente mediante Modelos de Lenguaje Grande (LLM), se ha adoptado masivamente (aproximadamente el 90% de los empleadores). Sin embargo, existe una brecha crítica en la investigación actual:

• Enfoque limitado en la equidad: La mayoría de los estudios se centran en la equidad (paridad estadística entre grupos demográficos), ignorando la validez fundamental.
• Definición de Validez: ¿Puede el modelo identificar correctamente al candidato superior basándose en calificaciones relevantes para el trabajo, ignorando factores irrelevantes?
• Falta de "Ground Truth" (Verdad Terrenal): Evaluar la validez es extremadamente difícil porque no existen grandes corpus de currículums reales donde la "verdad" sobre quién es mejor esté conocida y no haya sido utilizada para entrenar a los LLMs. Los datos históricos de contratación son sesgados y las evaluaciones basadas en la opinión humana son subjetivas.
• Contaminación de Datos: Las evaluaciones con datos públicos corren el riesgo de que los modelos hayan sido entrenados con ellos, invalidando los resultados.

2. Metodología Propuesta

Los autores proponen un marco de trabajo novedoso inspirado en principios de ingeniería de software (pruebas metamórficas y pruebas de mutación) para generar escenarios de evaluación controlados, reproducibles y libres de contaminación.

A. Construcción de Casos de Prueba (Framework):
El proceso se basa en descripciones de trabajo reales (scrapeadas de Greenhouse, LinkedIn, Indeed) y sigue cuatro etapas:

1. Parsing: Extracción de calificaciones requeridas ($Q_{req}$) y preferidas ($Q_{pref}$) de la descripción del puesto.
2. Generación de Base: Creación de un currículum base ($c$) que cumple exactamente con las calificaciones requeridas.
3. Creación de Pares Desiguales (Validez de Criterio):
   • Más calificado ($c^+$): Se añaden $k$ calificaciones preferidas al currículum base.
   • Menos calificado ($c^-$): Se eliminan $k$ calificaciones requeridas del currículum base.
   • Objetivo: Verificar si el LLM selecciona consistentemente a $c^+$ sobre $c$ y a $c$ sobre $c^-$.
4. Creación de Pares Iguales (Validez Discriminante):
   • Se duplica el currículum base, se reescribe el texto manteniendo las mismas calificaciones y se añaden señales demográficas irrelevantes (nombres que sugieren raza/género o premios/organizaciones que indican demografía).
   • Objetivo: Verificar si el LLM se abstiene de elegir ($\perp$) cuando los candidatos son cualitativamente idénticos, o si elige basándose en la demografía.

B. Métricas de Evaluación:

• Validez de Criterio (Criterion Validity): Porcentaje de veces que el modelo selecciona correctamente al candidato más calificado en pares desiguales.
• Validez Discriminante (Discriminant Validity): Porcentaje de veces que el modelo se abstiene de elegir en pares de candidatos igualmente calificados.
• Tasa de Sobre-evaluación (Over-Assessment): Frecuencia con la que el modelo elige a un candidato menos calificado o de un grupo demográfico específico sobre otro, indicando un sesgo sistemático.
• Abstinencia: Capacidad del modelo para reconocer incertidumbre o igualdad y abstenerse de tomar una decisión arbitraria.

C. Configuración Experimental:

• Modelos Evaluados: Se probaron 9 modelos de vanguardia (incluyendo GPT-4o-mini, GPT-5, Claude Sonnet 4, Gemini 2.5 Pro, Llama 3.1/3.3, Gemma 3, DeepSeek).
• Variables: Se varió la dificultad de la tarea ($k=1, 2, 3$ diferencias en calificaciones) y el tipo de señal demográfica (implícita por nombre vs. explícita por premios).
• Validación: Se realizó una validación manual de una muestra de currículums generados y se probaron variaciones de prompts y dominios laborales (ingeniería de software, enfermería, etc.).

3. Resultados Clave

A. Validez de Criterio (Capacidad de Distinguir Calificaciones):

• Rendimiento General: Los modelos más grandes y nuevos (GPT-5, Claude Sonnet 4, Gemini 2.5 Pro) alcanzan una validez de criterio superior a 0.95 cuando las diferencias son grandes ($k=3$).
• Fallo en Diferencias Sutiles: El rendimiento cae drásticamente cuando las diferencias son mínimas ($k=1$). Muchos modelos tienen una validez < 0.90 en estos casos, lo que es crítico en la vida real donde los candidatos suelen tener calificaciones muy similares.
• Tipos de Error: La mayoría de los errores no son selecciones incorrectas, sino abstinencias injustificadas (el modelo no elige al candidato claramente superior). Esto sugiere que los modelos tienden a ser demasiado conservadores o inseguros.
• Habilidades Blandas vs. Duras: Los modelos tienen más dificultad para evaluar diferencias en "habilidades blandas" (ej. "pasión", "curiosidad") que en credenciales educativas o técnicas.

B. Validez Discriminante (Equidad y Abstinencia):

• Falta de Abstinencia: La mayoría de los modelos fallan en abstenerse cuando los candidatos son iguales. En lugar de reconocer la igualdad, eligen arbitrariamente a uno.
• Sesgo de Sobre-corrección: Contrario a estudios previos que mostraban sesgo contra minorías, en este estudio se observa que algunos modelos (especialmente en roles de ingeniería) tienden a sobre-evaluar a candidatos de grupos históricamente marginados (mujeres y personas negras) sobre candidatos blancos masculinos cuando las calificaciones son idénticas.
• Señales Explícitas vs. Implícitas: La validez discriminante disminuye cuando las señales demográficas son explícitas (premios, organizaciones) en comparación con las implícitas (nombres).

C. Impacto del Tamaño del Modelo:

• Aunque la validez mejora con el tamaño del modelo, no hay una garantía de perfección. Incluso los modelos más avanzados cometen errores sistemáticos en escenarios de alta precisión.

4. Contribuciones Principales

1. Marco de Validación Controlado: Introducen el primer marco sistemático para auditar la validez y la equidad de los LLMs en la contratación sin depender de datos históricos sesgados o de "ground truth" humano imperfecto.
2. Separación de Validez y Equidad: Demuestran que la validez (hacer lo correcto) y la equidad (tratar a todos igual) son propiedades medibles y separables. Un modelo puede ser válido pero injusto, o consistente pero inválido.
3. Herramienta para Auditores Independientes: Proporcionan una metodología reproducible que permite a reguladores (como en la Ley Local 144 de Nueva York) y empresas evaluar herramientas de contratación "out-of-the-box" sin necesidad de acceso a los datos de entrenamiento del proveedor.
4. Evidencia de "Sobre-alineación": Sugieren que las técnicas actuales de mitigación de sesgos en LLMs podrían estar induciendo un nuevo tipo de invalidez, donde las señales demográficas anulan las calificaciones relevantes.

5. Significado e Implicaciones

• Riesgo en Despliegue Real: La incapacidad de los modelos para distinguir candidatos con diferencias sutiles ($k=1$) implica que, en la práctica, podrían rechazar a miles de candidatos calificados o promover a candidatos menos calificados basándose en ruido.
• Necesidad de Auditoría Continua: Dado que los modelos y las descripciones de trabajo cambian, las evaluaciones estáticas son insuficientes. Este marco permite evaluaciones longitudinales y dinámicas.
• Advertencia sobre la "Caja Negra": El uso de LLMs genéricos para la contratación sin validación específica es peligroso. Las empresas y reguladores deben exigir pruebas de validez específicas para el puesto antes del despliegue.
• Paradigma de Pruebas: El enfoque de tratar al LLM como un sistema de software que debe pasar pruebas de mutación y metamórficas establece un nuevo estándar para la evaluación de sistemas de IA de alto riesgo.

En conclusión, el paper demuestra que, aunque los LLMs son prometedores para el procesamiento de lenguaje natural, su aplicación en la toma de decisiones de contratación de alto riesgo carece actualmente de la validez fundamental necesaria para ser confiables, y que las estrategias actuales de mitigación de sesgos pueden estar creando nuevos problemas de equidad e invalidez.