Auditing LLMs for Algorithmic Fairness in Casenote-Augmented Tabular Prediction

Resumen Técnico: Auditoría de LLMs para la Equidad Algorítmica en Predicción Tabular con Casos de Nota

1. Problema

Los Grandes Modelos de Lenguaje (LLMs) están siendo considerados cada vez más para tareas de predicción en entornos de servicios sociales de alto riesgo, como la colocación de vivienda para personas sin hogar. Sin embargo, sus propiedades de equidad algorítmica en este contexto específico son poco comprendidas.

• Contexto: Existe una larga historia de discriminación racial en las decisiones de vivienda. Además, las predicciones basadas en datos tabulares (no LLM) a menudo exhiben comportamientos de error dispares debido a tamaños de grupo desiguales, heterogeneidad subyacente o tasas base diferentes.
• Desafío: La organización sin fines de lucro colaboradora genera "notas de caso" (casenotes) no estructuradas durante las interacciones de calle. Estas contienen la información más rica sobre los clientes, pero son difíciles de analizar manualmente. El uso de LLMs para procesar estas notas plantea la pregunta crítica: ¿Introducen los LLMs sesgos adicionales o pueden mitigar los existentes al integrar información textual no estructurada con datos tabulares?

2. Metodología

El estudio realiza una auditoría empírica de la clasificación tabular basada en LLMs para predecir el nivel de colocación en vivienda (0: calle, 1: temporal, 2: refugio, 3: vivienda permanente) de 471 clientes entre 2019 y 2021.

• Datos: Se utilizaron covariables tabulares (demografía, historial de contacto, documentos) y notas de caso redactadas (redactadas para eliminar nombres y ubicaciones exactas).
• Modelos: Se compararon variantes de Llama 3 (17B y 70B parámetros) contra un modelo base de Bosque Aleatorio (Random Forest).
• Configuraciones de Prueba:
  • Zero-shot: Predicción sin entrenamiento específico en el conjunto de datos.
  • Fine-tuning (Ajuste fino): Entrenamiento supervisado en el conjunto de datos de vivienda.
  • Estrategias de Prompt:
    1. Datos tabulares puros (serializados).
    2. Datos tabulares + Resúmenes de notas de caso generados por LLM.
    3. Datos tabulares + Indicadores de importancia de características (señalar la característica más predictiva: "máxima colocación antes de 2019").
• Métricas de Equidad: Dado que es un problema de clasificación multiclase, se utilizaron extensiones multiclase de:
  • Paridad Estadística (SP): Independencia de la pertenencia al grupo en los resultados predichos.
  • Igualdad de Oportunidad (EoO): Tasas de Verdaderos Positivos (TPR) iguales entre grupos para cada clase.

3. Contribuciones Clave

1. Auditoría de Desempeño y Equidad: Evaluación comparativa de modelos LLM (17B/70B) frente a modelos tradicionales (Random Forest) en una tarea de colocación de vivienda real.
2. Análisis de Sesgo en Fine-tuning: Demostración de que el ajuste fino puede mejorar la precisión general pero amplificar las disparidades entre subgrupos (especialmente por género).
3. Evaluación de Estrategias de Prompt: Investigación de cómo los resúmenes de texto y las pistas de importancia de características afectan el equilibrio entre precisión y equidad.

4. Resultados Principales

• Desempeño sin Resúmenes:

  • El modelo Fine-tuned 70B logró la mayor precisión (70.2%), superando al Random Forest (61.2%) y a los modelos Zero-shot.
  • Compensación (Trade-off): Este aumento de precisión vino acompañado de un aumento significativo en las disparidades de equidad (EoO Mean y Max más altos), especialmente afectando a las mujeres (grupo minoritario en el dataset, ratio ~4:1 hombres:mujeres).

• Impacto de los Resúmenes de Notas de Caso:

  • Modelos Zero-shot: La adición de resúmenes mejoró la precisión entre un 7.6% y un 13.9%, ayudando a los modelos a entender el contexto.
  • Modelos Fine-tuned: La precisión se mantuvo estable o disminuyó ligeramente (ruido), pero la equidad mejoró sustancialmente. El modelo Fine-tuned 70B con resúmenes redujo la métrica EoO Mean de 0.071 a 0.021, superando al Random Forest en equidad.
  • Interacción de Modelos: En Zero-shot, el modelo 17B con resúmenes fue más robusto que el 70B (menos sensible al ruido). Sin embargo, tras el ajuste fino, el 70B aprovechó mejor los matices del texto para mejorar tanto la precisión como la equidad.

• Guía de Importancia de Características:

  • Zero-shot: Incluir la característica más importante ("máxima colocación antes de 2019") mejoró la precisión, pero empeoró la equidad, ya que esta característica está correlacionada con sesgos históricos (raza/género).
  • Fine-tuned: Forzar la atención en una sola característica en un modelo ya entrenado rompió el equilibrio aprendido, degradando la equidad sin mejorar significativamente la precisión.
  • Conclusión: Añadir más características no garantiza mejor equidad; a veces amplifica las disparidades.

• Análisis de Tasa de Verdaderos Positivos (TPR):

  • Las mujeres mostraron consistentemente TPR más bajas que los hombres, exacerbado en modelos fine-tuned debido al desbalance de datos.
  • Los modelos Zero-shot tendían a predecir la clase intermedia (nivel 2) como un "apuesta segura".
  • Los resúmenes ayudaron a mitigar las brechas de género.

5. Significado y Conclusiones

• Sesgo Textual vs. Tabular: En este contexto específico (notas cortas y altamente redactadas), el uso de LLMs no introdujo sesgos textuales adicionales más allá de los sesgos inherentes a los datos tabulares. De hecho, los LLMs pueden ser herramientas seguras para integrar información textual.
• Potencial de Mitigación: La combinación de ajuste fino (fine-tuning) y resúmenes de notas de caso es la estrategia más prometedora. Permite aprovechar la información contextual adicional para reducir las disparidades algorítmicas mientras se mantiene o mejora la precisión, superando a los modelos tabulares tradicionales.
• Advertencia sobre el Fine-tuning: El ajuste fino sin información contextual adicional puede amplificar las desigualdades históricas contra grupos minoritarios.
• Recomendación: Es crucial auditar el uso de LLMs en servicios sociales. La implementación de resúmenes de notas de caso representa una carga de implementación baja con un alto potencial para mejorar tanto la equidad como la precisión, siempre que se monitoreen cuidadosamente las métricas de disparidad.

En resumen, el estudio demuestra que, cuando se utilizan correctamente (específicamente combinando fine-tuning con resúmenes de contexto), los LLMs pueden superar a los modelos tabulares tradicionales no solo en precisión, sino también en justicia algorítmica para poblaciones vulnerables.