Resumen Técnico: Auditoría de Patrones Discriminatorios en la Concesión de Hipotecas mediante Reglas de Asociación y Clasificación Justa (Fair Binning)

Planteamiento del Problema

La concesión de hipotecas en los Estados Unidos exhibe disparidades raciales y de género persistentes. Mientras que investigaciones previas se han centrado en auditar el sesgo a nivel de modelo o en construir clasificadores justos, este artículo investiga si las operaciones de gestión de datos upstream, específicamente la clasificación de atributos en intervalos (binning), amplifican estas disparidades. El binning de frecuencia igual estándar de atributos numéricos (por ejemplo, ingresos) puede crear intervalos con composiciones demográficas sesgadas, lo que potencialmente distorsiona la minería de patrones downstream. Los autores se preguntan: ¿Cambia el binning consciente de la equidad los patrones discriminatorios extraídos de los datos de préstamos?

El estudio utiliza el conjunto de datos HMDA 2023 (Home Mortgage Disclosure Act), una rica fuente pública que contiene más de 10 millones de registros anuales, centrándose en el área metropolitana de Chicago.

Metodología

Los autores proponen un pipeline de tres etapas para auditar los patrones discriminatorios:

1. Limpieza de Datos y Clasificación en Intervalos (Binning)

• Fuente de Datos: 103,481 solicitudes de hipotecas limpias de la División Metropolitana de Chicago-Naperville-Elgin (filtradas del snapshot nacional de HMDA 2023).
• Preprocesamiento: El pipeline filtra préstamos originados y denegados, elimina registros con datos demográficos faltantes, convierte campos financieros y recorta valores atípicos de ingresos (percentiles 0.5–99.5).
• Estrategias de Binning:
  • Binning de Frecuencia Igual Estándar: Divide atributos numéricos (ingresos, monto del préstamo) en $k=5$ cubetas con conteos aproximadamente iguales.
  • Binning Justo con Sesgo $\epsilon$ ($\epsilon$-Biased Fair Binning): Implementa el algoritmo Divide-and-Conquer (D&C) propuesto por Asudeh et al. [1]. Este algoritmo busca limitar la desviación demográfica dentro de cada intervalo a un máximo de $\epsilon$. Minimiza el "Precio de la Equidad" (PoF, Price of Fairness), definido como la desviación de los tamaños de los intervalos respecto a la frecuencia igual.

2. Minería de Reglas de Asociación (FP-Growth)

• Técnica: Se utiliza FP-Growth para extraer conjuntos de elementos frecuentes y reglas de asociación que predicen la denegación del préstamo.
• Entrada: Las solicitudes se convierten en transacciones de 1 de 11 elementos categóricos (ej. raza, sexo, intervalo de ingresos, categoría de DTI, resultado).
• Objetivo: Comparar los conjuntos de reglas generados bajo el binning estándar frente al binning justo para identificar si las restricciones de equidad alteran los patrones discriminatorios explícitos (ej. reglas donde la raza es un antecedente).
• Parámetros: Soporte mínimo de 0.10, confianza mínima de 0.50, lift mínimo de 1.0.

3. Clustering y Auditoría de Impacto Dispar

• Clustering: Se aplica K-Means clustering a cuatro características financieras (ingresos, monto del préstamo, DTI, relación préstamo-valor combinada) para agrupar a los solicitantes por perfil financiero. Se excluyen las tasas de interés para evitar filtrar préstamos denegados.
• Auditoría: Dentro de cada cluster, se calcula la Relación de Impacto Dispar (DIR, Disparate Impact Ratio) para grupos demográficos (raza, etnia, sexo) contra un grupo de referencia.
• Métrica: Un DIR inferior a 0.80 (la "regla de los cuatro quintos") indica impacto dispar. Este enfoque aísla la discriminación que no puede explicarse por factores de riesgo financiero legítimos capturados en los clusters.

Resultados Clave

1. Sesgo de Binning y Factibilidad

• Binning Estándar: Produce un sesgo racial del 9.63% en la discretización de ingresos, consistente con hallazgos previos (8–10%).
• Factibilidad del Binning Justo: Con siete grupos raciales, el algoritmo $\epsilon$-sesgado es inviable con umbrales estrictos ($\epsilon=0.03$). Solo tiene éxito con $\epsilon=0.08$ para ingresos y $\epsilon=0.06$ para el monto del préstamo.
• Precio de la Equidad (PoF): Lograr la equidad en estos umbrales incurre en un alto costo, con tamaños de intervalo que se desvían significativamente de la frecuencia igual (PoF del 29.4% para ingresos y 23.5% para el monto del préstamo).

2. Minería de Reglas de Asociación (FP-Growth)

• Predictor Dominante: Una alta relación deuda-ingreso (DTI) es el principal predictor de denegación (confianza del 67.2%, lift de 2.81).
• Consistencia de las Reglas: Las principales reglas de denegación son idénticas bajo los regímenes de binning estándar y justo.
• Ausencia de Sesgo Explícito: Ninguna regla con raza, sexo o etnia como antecedentes cumplió con el umbral de soporte del 10%. Los autores señalan que esto no implica una ausencia de sesgo; más bien, el sesgo racial opera de manera indirecta a través de características financieras correlacionadas (ej. los solicitantes negros tienen ingresos promedio más bajos, situándolos en cubetas de mayor riesgo).

3. Clustering e Impacto Dispar

• Perfiles de Clusters: Se identificaron cinco clusters, que van desde solicitantes con exceso de deuda (79% de denegación) hasta solicitantes acaudalados (11% de denegación).
• Hallazgos de Impacto Dispar: Aunque FP-Growth no encontró reglas raciales explícitas, la auditoría K-Means + DIR señaló 10 de 45 pares de grupo-cluster como muestra de impacto dispar (DIR < 0.80).
• Hallazgos Específicos:
  • Todos los pares señalados involucraban la raza.
  • En el Cluster 3 (grupo financieramente similar: ingreso promedio $104K, DTI 34.5), los solicitantes negros enfrentaron una tasa de denegación del 44.8% en comparación con el 20.3% de los blancos (DIR = 0.693).
  • El DIR medio para las auditorías basadas en raza fue de 0.814, mientras que las auditorías de etnia y sexo no mostraron un impacto dispar sistemático (DIR medios de 0.932 y 1.094, respectivamente).

Contribuciones y Significado

El artículo realiza las siguientes contribuciones:

1. Validación del Sesgo Upstream: Confirma que el preprocesamiento de datos estándar (binning) introduce un sesgo racial medible (9.63%) en los datos de HMDA, validando la relevancia de los problemas de binning no sesgado en el contexto de préstamos.
2. Restricciones de Factibilidad de la Equidad Multigrupo: Demuestra que, si bien el binning $\epsilon$-sesgado funciona para grupos binarios, aplicarlo a siete grupos raciales reduce drásticamente el conjunto de soluciones factibles e incurre en un alto Precio de la Equidad, sugiriendo limitaciones prácticas para la equidad multigrupo en la discretización de datos.
3. Enfoques de Auditoría Complementarios: El estudio destaca que FP-Growth y el Clustering ofrecen perspectivas complementarias:
   • FP-Growth identifica los factores dominantes de denegación (DTI) en toda la población pero puede pasar por alto el sesgo indirecto debido a los umbrales de soporte.
   • El Clustering combinado con las auditorías DIR revela un impacto dispar sistémico que persiste incluso entre solicitantes financieramente similares, descubriendo la discriminación que la minería de reglas estándar podría pasar por alto.
4. Evidencia Empírica de Sesgo Indirecto: Los resultados sugieren que el sesgo racial en la concesión de hipotecas a menudo se manifiesta indirectamente a través de distribuciones financieras correlacionadas (ingresos/DTI), en lugar de como reglas explícitas de alto soporte que involucren atributos protegidos.

Limitaciones

Los autores reconocen varias limitaciones:

• Falta de Puntajes de Crédito: Los datos de HMDA carecen de puntajes de crédito, un factor de préstamo primario, lo que significa que el clustering no puede separar totalmente la discriminación del riesgo legítimo.
• Umbrales de Soporte: El umbral de soporte del 10% para FP-Growth puede ser demasiado alto para capturar patrones de grupos minoritarios; reducirlo conlleva el riesgo de resultados espurios.
• Alcance Geográfico: El análisis se limita al área metropolitana de Chicago.
• Supuestos Algorítmicos: K-Means asume clusters esféricos de tamaño similar, lo que puede no ajustarse perfectamente a la asimetría de los datos (tamaños de cluster que varían de 3,500 a 48,000).