Mitigating Label Bias with Interpretable Rubric Embeddings

Resumen Técnico: Mitigación del Sesgo de Etiquetado con Incrustaciones de Rúbricas Interpretables

Enunciado del Problema
En dominios de toma de decisiones de alto riesgo, como la contratación, las admisiones universitarias y la moderación de contenido, las etiquetas de verdad fundamental para la cantidad de interés (por ejemplo, la calidad real del solicitante o el rendimiento laboral futuro) a menudo no están disponibles o son prohibitivamente costosas de obtener. En consecuencia, los modelos se entrenan frecuentemente sobre evaluaciones humanas históricas (etiquetas proxy), como decisiones de contratación pasadas o puntuaciones de admisión. El artículo argumenta que si estas evaluaciones históricas contienen sesgos injustos que favorecen a grupos demográficos específicos, los modelos entrenados sobre ellas heredarán y potencialmente amplificarán estos sesgos.

Los autores demuestran que los enfoques estándar que utilizan incrustaciones de texto de caja negra exacerban este problema. Estas incrustaciones, aunque ricas en información, codifican implícitamente atributos sensibles (por ejemplo, el género) incluso cuando se eliminan los marcadores explícitos. Teóricamente, los autores muestran que si una representación $R$ codifica la pertenencia a un grupo, los modelos entrenados sobre etiquetas sesgadas $Y' = Y + B$ (donde $B$ es un término de ruido dependiente del grupo) están garantizados para replicar y amplificar el sesgo en sus predicciones.

Metodología
El artículo propone Incrustaciones de Rúbrica como solución. A diferencia de las incrustaciones de caja negra que capturan todas las regularidades estadísticas en el texto, las incrustaciones de rúbrica se construyen a partir de criterios definidos por expertos alineados con el constructo subyacente de interés.

1. Construcción de la Rúbrica: Los autores colaboraron con oficiales de admisión para definir 396 medidas interpretables y fundamentadas en el dominio (por ejemplo, claridad del ensayo, trayectoria laboral, calificaciones específicas de cursos, fortaleza de las cartas de recomendación).
2. Extracción de Características: Se utilizan Modelos de Lenguaje Grande (LLM) para puntuar las solicitudes a lo largo de estas dimensiones específicas de la rúbrica, creando un vector de características estructurado y semánticamente significativo.
3. Líneas Base de Comparación: El método propuesto se evalúa frente a:
   • Incrustaciones de Caja Negra: Incrustaciones de texto estándar (por ejemplo, text-embedding-3-large).
   • Redacción: Eliminación de indicios de género antes de la incrustación.
   • Marginalización: Promedio de predicciones sobre manipulaciones contrafactuales de género.
   • Ortogonalización: Proyección de características para que sean independientes de la pertenencia al grupo.
   • Kitchen Sink (Fregadero de Cocina): Combinación de características de caja negra y de rúbrica.

Marco Teórico
Los autores formalizan el sesgo utilizando el marco de experimentos de correspondencia (estudios de auditoría). Definen el sesgo como la diferencia esperada en las predicciones del modelo cuando las características de un solicitante se manipulan para parecer de un género diferente ($T(X, m)$ vs. $T(X, f)$).

• La Proposición 2 demuestra que el sesgo de un modelo entrenado sobre una etiqueta proxy depende de la medida en que la representación codifica la pertenencia al grupo. Si la representación $R$ permite un cambio en las características basado en el género, el modelo hereda el sesgo de la etiqueta.
• La Proposición 3 destaca que incluso con etiquetas imparciales, las incrustaciones de caja negra pueden inducir sesgo si omiten variables relevantes que están correlacionadas tanto con el resultado como con el atributo protegido (sesgo de variable omitida).
• El análisis teórico sugiere que las incrustaciones de rúbrica, al restringir el espacio de hipótesis a características semánticamente relevantes y excluir el ruido correlacionado con el grupo, deberían eliminar teóricamente el mecanismo por el cual se propaga el sesgo de etiquetado.

Resultados Empíricos
El estudio utiliza un conjunto de datos de 1.112 solicitudes para un programa de maestría en políticas públicas. Los autores inyectaron sintéticamente grados variables de sesgo ($b$) en las puntuaciones de admisión para simular la discriminación histórica contra las solicitantes mujeres.

• Incrustaciones de Caja Negra: Los modelos entrenados con estas incrustaciones exhibieron un alto sesgo. A medida que aumentó la ventaja masculina sintética ($b$), la proporción de mujeres admitidas cayó precipitadamente (a casi 0% en niveles altos de sesgo), y la calidad promedio de la cohorte admitida (medida por puntuaciones de verdad fundamental) disminuyó. Las incrustaciones predijeron el género con un AUC del 99,6%, confirmando que codifican atributos sensibles.
• Redacción y Marginalización: Aunque teóricamente imparciales con respecto a la manipulación específica $T$, estos métodos fallaron en la práctica. Las incrustaciones redactadas aún permitieron que los modelos predijeran el género con un AUC del 81,2% debido a regularidades estadísticas residuales. La marginalización corrigió el sesgo aparente pero penalizó inadvertidamente al grupo que era en realidad más calificado en la verdad fundamental, lo que llevó a una menor calidad de la cohorte.
• Incrustaciones de Rúbrica: Los modelos entrenados con incrustaciones de rúbrica mostraron sesgo casi nulo en todos los niveles de sesgo de etiquetado inyectado. Crucialmente, mantuvieron una cohorte admitida demográficamente diversa (porcentaje estable de mujeres) y lograron la mayor calidad de cohorte (mayores puntuaciones medias de verdad fundamental) en comparación con todos los demás métodos.
• Precisión Predictiva: Contra intuitivamente, mientras que los modelos de caja negra lograron un Menor Error Cuadrático Medio (RMSE) en las etiquetas proxy sesgadas, los modelos de incrustación de rúbrica lograron el RMSE más bajo en las etiquetas de verdad fundamental. Esto respalda la afirmación teórica de que incluir características correlacionadas con el sesgo (como señales de género en las incrustaciones de caja negra) degrada el rendimiento en el resultado real cuando las etiquetas están sesgadas.

Contribuciones Clave

1. Insight Teórico: El artículo proporciona una descomposición formal que muestra que la propagación del sesgo de etiquetado depende de la capacidad de la representación para codificar la pertenencia al grupo. Distingue entre el sesgo de etiquetado y el sesgo de variable omitida, mostrando cómo las incrustaciones de caja negra pueden confundir ambos.
2. Propuesta Metodológica: Introduce las incrustaciones de rúbrica como un método práctico y constructivo para la selección de características que operacionaliza la eliminación de características que inducen sesgo sin depender de supuestos estructurales fuertes sobre el proceso de etiquetado.
3. Validación Empírica: Utilizando un conjunto de datos novedoso con inyección de sesgo sintético, los autores demuestran que las incrustaciones de rúbrica mejoran simultáneamente la equidad (paridad de grupo) y la utilidad (calidad de la cohorte), superando las intervenciones de equidad estándar como la ortogonalización y la redacción.

Significado y Afirmaciones
Los autores afirman que las incrustaciones de rúbrica ofrecen una estrategia práctica para mitigar el sesgo de etiquetado en contextos de toma de decisiones donde la verdad fundamental no está disponible. El significado radica en cambiar el enfoque de simplemente ajustar funciones de pérdida o reponderar datos a reconsiderar cómo se representan las entradas.

El artículo argumenta que fundamentar las predicciones en criterios interpretables y específicos del dominio permite que los modelos se alineen con el constructo subyacente de interés, filtrando efectivamente las correlaciones espurias (como las señales de género) que conducen a resultados sesgados. Si bien los autores reconocen limitaciones, específicamente el alto costo de construir rúbricas y la posible incapacidad de abordar ciertas formas de impacto dispar o justificar intervenciones específicas por grupo, concluyen que este enfoque proporciona una manera principista de aprender en presencia de etiquetas sesgadas, abordando un desafío de larga data en el diseño equitativo de algoritmos.