LLMs Are Not a Silver Bullet: A Case Study on Software Fairness

1. Problema y Contexto

La equidad (fairness) es un requisito crítico para los sistemas de software de alto riesgo en dominios sensibles (crédito, contratación, justicia penal). Tradicionalmente, la investigación en mitigación de sesgos se ha centrado en datos tabulares utilizando métodos de Aprendizaje Automático (ML) tradicional (pre-procesamiento, procesamiento y post-procesamiento).

Con el auge de los Modelos de Lenguaje Grande (LLMs), ha surgido la hipótesis de que estos modelos podrían ofrecer una alternativa superior para mitigar sesgos en tareas de clasificación tabular, principalmente mediante el aprendizaje en contexto (In-Context Learning - ICL), donde se proporcionan ejemplos (demonstraciones) en el prompt sin actualizar los parámetros del modelo.

La brecha de conocimiento: No existe una comparación directa y a gran escala entre los métodos basados en LLM y los métodos tradicionales de ML en escenarios de datos tabulares reales. Los estudios previos sobre LLM a menudo reportan resultados prometedores, pero carecen de una evaluación contra los baselines establecidos de ML, dejando a los ingenieros de software sin orientación clara para la adopción práctica.

2. Metodología

Los autores realizaron un estudio empírico a gran escala comparando el estado del arte en ambas paradigmas.

• Datos: Se utilizaron tres conjuntos de datos reales y ampliamente adoptados (Adult, Compas, Credit) para definir seis tareas de evaluación de equidad (combinando diferentes atributos sensibles como sexo, raza y edad).
• Métodos Comparados:
  • Paradigma ML (Tradicional): Se evaluaron 8 métodos de mitigación de sesgos (pre, in y post-procesamiento, y ensambles) sobre 4 modelos de clasificación (Regresión Logística, Random Forest, SVM, DNN).
  • Paradigma LLM: Se evaluaron 8 estrategias de mitigación basadas en In-Context Learning (ICL), incluyendo Zero-shot, selección aleatoria de demostraciones, manipulación de etiquetas, control de distribución de demostraciones y búsqueda de demostraciones conscientes de la equidad (FCG). Se utilizó GPT-4o-mini como modelo principal, y se validó con otros 4 LLMs avanzados (GPT-5, Gemini, DeepSeek, Qwen).
• Métricas:
  • Equidad: Diferencia de Paridad Estadística (SPD), Diferencia de Odds Promedio (AOD) y Diferencia de Oportunidad Igual (EOD).
  • Rendimiento Predictivo: Precisión, Recall, F1-score y Exactitud (Accuracy).
• Análisis Adicional:
  • RQ3 (Configuración de Evaluación): Comparación entre conjuntos de prueba balanceados artificialmente (usados en estudios previos) y distribuciones de datos desbalanceadas del mundo real.
  • RQ4 (Ajuste Fino): Evaluación de si el Fine-tuning supervisado en el conjunto de entrenamiento completo (en lugar de solo ICL) mejora el rendimiento de los LLM.

3. Contribuciones Clave

1. Estudio Empírico a Gran Escala: La primera comparación directa y exhaustiva entre métodos de mitigación de sesgos basados en ML y LLM en datos tabulares.
2. Análisis de la Sensibilidad de la Evaluación: Demostración de que los resultados favorables de los LLM en estudios anteriores son altamente sensibles a la configuración de prueba (específicamente, el uso de datos de prueba balanceados artificialmente).
3. Evaluación del Fine-Tuning: Investigación de si el acceso completo a los datos de entrenamiento mediante fine-tuning permite a los LLM superar a los métodos tradicionales, encontrando que las ganancias son limitadas.
4. Reproducibilidad: Publicación de un paquete de replicación de código abierto con todos los scripts y datos.

4. Resultados Principales

RQ1: Comparación General (ML vs. LLM)

• El ML tradicional supera consistentemente a los LLM.
• Equidad: Los métodos basados en ML redujeron los sesgos (SPD, EOD, AOD) entre un 48.3% y un 59.6% en comparación con los métodos basados en LLM.
• Rendimiento Predictivo: Los métodos ML lograron una Exactitud 11.1% mayor y un F1-score 9.3% mayor en promedio.
• Significancia Estadística: El ML fue significativamente mejor en el 72.2% de las comparaciones de equidad y en el 83.3% de las comparaciones de rendimiento predictivo.

RQ2: Dependencia del Modelo LLM

• Incluso al probar con modelos LLM más potentes y avanzados (incluyendo modelos de razonamiento como Qwen3-Max-Thinking), la conclusión no cambia. Los LLMs, independientemente de su tamaño o capacidad de razonamiento, no superan a los métodos ML tradicionales en tablas de datos.

RQ3: Impacto de la Configuración de Evaluación

• El sesgo de los datos balanceados: Los estudios previos que reportan buenos resultados para LLM suelen usar conjuntos de prueba artificialmente balanceados (igual número de muestras por grupo demográfico).
• Realidad vs. Laboratorio: Al pasar a distribuciones de datos desbalanceadas (mundo real), el rendimiento de equidad de los LLM se degrada drásticamente. Las métricas de sesgo (SPD, EOD, AOD) aumentaron entre un 36.2% y un 138.4% al cambiar de un entorno balanceado a uno aleatorio/realista. Esto sugiere que las mejoras reportadas anteriormente no se generalizan a escenarios reales.

RQ4: Efecto del Fine-Tuning

• El fine-tuning supervisado en el conjunto de entrenamiento completo mejora significativamente el rendimiento de los LLM en comparación con el In-Context Learning (ICL).
• Sin embargo, sigue siendo limitado: Aunque el fine-tuning reduce el sesgo, no supera consistentemente a los métodos tradicionales de ML.
  • No se observaron ventajas significativas en ninguna comparación de equidad.
  • Solo se observaron ganancias en el 37.5% de las comparaciones de rendimiento predictivo.
• Costo: El fine-tuning introduce costos monetarios y de tiempo adicionales sin garantizar una superioridad sobre las soluciones ML tradicionales.

5. Significado e Implicaciones

El artículo concluye que los LLMs no son una "bala de plata" para la equidad en software tabular.

• Para Ingenieros de Software: No se debe asumir que reemplazar tuberías de ML tradicionales con LLMs mejorará automáticamente la equidad. La selección de métodos debe ser basada en evidencia y específica para la tarea, priorizando los métodos ML tradicionales probados para aplicaciones críticas.
• Para la Investigación:
  • Es crucial realizar evaluaciones cruzadas de paradigmas (comparar ML vs. LLM) en lugar de evaluar solo dentro de un mismo paradigma.
  • Las configuraciones de evaluación deben reflejar distribuciones de datos realistas y desbalanceadas. Los resultados obtenidos en conjuntos de datos balanceados artificialmente pueden ser engañosos y no aplicables al despliegue real.
• Lección General: La adopción de nuevas tecnologías emergentes en Ingeniería de Software debe guiarse por evidencia empírica rigurosa y no por tendencias, ya que los modelos fundacionales avanzados no siempre superan a las técnicas establecidas en tareas específicas de dominio.