Resumen Técnico: Efectos de la Perturbación en la Robustez y la Equidad Individual

Declaración del Problema

Las redes neuronales profundas (DNN) son vulnerables a las perturbaciones adversarias que pueden degradar tanto la robustez de la predicción como la equidad individual. Sin embargo, los protocolos de evaluación existentes suelen evaluar estas dimensiones de forma aislada. Esta separación oscurece modos de falla críticos donde un modelo puede parecer robusto pero injusto, o justo pero no robusto. Específicamente, las métricas de un solo eje suelen omitir regímenes de falla acoplados:

• Sesgado Robusto (RB - Robust Biased): El modelo permanece correcto (robusto) pero produce predicciones inconsistentes para individuos semánticamente equivalentes (injusto).
• Justo No Robusto (UF - Unrobust Fair): El modelo produce predicciones consistentes para individuos similares (justo) pero ambos son incorrectos (no robusto).
• Sesgado No Robusto (UB - Unrobust Biased): El modelo falla en ambos aspectos.

Los métodos actuales suelen depender de la proximidad geométrica (p. ej., similitud de coseno) o del acceso a gradientes de caja blanca, lo cual puede no preservar las condiciones de verdad semántica o ser inaplicable a despliegues de API de caja negra. Además, muchas pruebas de equidad permiten la deriva semántica, lo que hace imposible distinguir entre un fallo del modelo y un cambio en la verdad de base (ground truth).

Metodología

1. Definición Formal: Equidad Individual Robusta (RIF)

Los autores proponen la Equidad Individual Robusta (RIF - Robust Individual Fairness) como un criterio unificado fundamentado en la semántica de condiciones de verdad.

• Equivalencia Semántica: Dos entradas $v$ y $v'$ se consideran semánticamente equivalentes si comparten idénticas condiciones de verdad. El artículo operacionaliza esto mediante implicación bidireccional utilizando un modelo de Inferencia de Lenguaje Natural (NLI). Una edición es admisible solo si $v \models v'$ y $v' \models v$.
• El Criterio: Un clasificador $f$ satisface $\epsilon$-RIF si, para cada contraparte semánticamente equivalente $v'$ y cada perturbación admisible $\delta$, el error de predicción permanece acotado por $\epsilon$. Esto requiere que el modelo sea tanto correcto (anclado a la verdad de base) como consistente (invariante ante individuos similares) bajo perturbaciones que preservan el significado.

2. Marco de Trabajo: RIFair

Para exponer las violaciones de RIF, los autores introducen RIFair, un marco adversario de caja negra.

• Estrategia de Sustitución Desacoplada: A diferencia de los ataques acoplados que aplican sustituciones idénticas a pares similares, RIFair aplica sustituciones distintas pero semánticamente equivalentes a cada miembro de un par (p. ej., mapear "hablar" $\to$ "discutir" para una entrada y "hablar" $\to$ "charlar" para la otra). Esto aisla los fallos causados por la sensibilidad heterogénea de la forma superficial.
• Pipeline de Dos Etapas:
  1. Construcción de Similitud: Los atributos sensibles (p. ej., género, raza) se enmascaran y reemplazan con alternativas para crear pares semánticamente emparejados $(v, v')$ manteniendo el contenido no sensible idéntico.
  2. Generación-Filtrado de Perturbación: Un Modelo de Lenguaje Grande (LLM) genera paráfrasis candidatas para los tokens, que luego son filtradas por un modelo NLI para asegurar la implicación bidireccional (preservación semántica).
• Objetivo de Optimización: RIFair minimiza una función de objetivo conjunta que combina la pérdida de robustez (entropía cruzada con la verdad de base) y la discrepancia de equidad (distancia entre predicciones). Al variar los pesos ($\alpha, \beta$), el marco apunta a cuadrantes específicos: RB, UF o UB.
• Eficiencia de Consultas: El método utiliza la saliencia por oclusión para clasificar los tokens y busca solo candidatos extremos (mínimo/máximo de confianza) para minimizar las consultas al modelo, lo que lo hace adecuado para entornos de caja negra.

Contribuciones Clave

1. Criterio Unificado (RIF): Formaliza un requisito conjunto de robustez y equidad individual bajo perturbaciones que preservan el significado, abordando la desalineación de las métricas existentes de un solo eje.
2. Rigor Semántico: Fundamenta las perturbaciones en la semántica formal mediante la implicación bidireccional, asegurando que las instancias adversarias generadas preserven las condiciones de verdad originales, a diferencia de los métodos que dependen únicamente de la proximidad geométrica (coseno).
3. Marco de Caja Negra (RIFair): Propone una estrategia de sustitución desacoplada que expone eficazmente las vulnerabilidades ocultas (RB y UF) que los ataques acoplados pasan por alto.
4. Evidencia Empírica: Demuestra que las métricas de solo robustez y de solo equidad fallan frecuentemente en detectar fallos multidimensionales, proporcionando un caso para la evaluación conjunta.

Resultados Experimentales

Los experimentos se realizaron en diversos arquitecturas de transformadores (BERT, RoBERTa, DistilBERT, DeBERTa-v3) a través de conjuntos de datos textuales (Bias in Bios, Jigsaw, SST-2) y un conjunto de datos tabular verbalizado (Census Income).

• Desalineación de Métricas: La Tabla 3 muestra que las clasificaciones de los modelos varían significamente dependiendo del eje de evaluación. Por ejemplo, DistilBERT clasificó más alto en robustez ($R$), BERT en equidad ($F$), pero DeBERTa-v3 logró la mayor resistencia conjunta ($RIF$).
• Detección de Fallos Ocultos: RIFair identificó con éxito modos de falla que las métricas de un solo eje no detectaron.
  • La Robustez ($R$) fue insensible a los escenarios RB (donde las predicciones son estables pero sesgadas).
  • La Equidad ($F$) fue insensible a los escenarios UF (donde las predicciones derivan juntas, manteniendo la consistencia pero perdiendo precisión).
  • RIF proporcionó una señal consistentemente sensible en todos los modos de falla (RB, UF, UB).
• Preservación Semántica: Los estudios de ablación confirmaron que las restricciones basadas en la implicación producen puntuaciones de equivalencia semántica significativamente más altas ($S_{eq} \approx 0.97$) y puntuaciones de jueces humanos en comparación con las restricciones geométricas (coseno), que a menudo resultan en deriva semántica ($S_{eq} \approx 0.33$).
• Eficacia del Desacoplamiento: Se encontró que la estrategia desacoplada es $2.3\times$ más efectiva para exponer violaciones de RB y $3.0\times$ más efectiva para exponer violaciones de UB en comparación con los ataques acoplados.
• Defensa: El reentrenamiento adversario utilizando instancias generadas por RIFair redujo sustancialmente las tasas de falla en todas las categorías (por ejemplo, reduciendo las tasas de falla de UB en aproximadamente un $16\%$).

Significado y Reivindicaciones

El artículo argumenta que la robustez y la equidad no son propiedades independientes y que evaluarlas de forma aislada conduce a una evaluación incompleta y potencialmente engañosa de la confiabilidad del modelo.

• Necesidad de Evaluación Conjunta: Los autores afirman que RIF es un criterio necesario para la evaluación confiable de modelos, particularmente en aplicaciones de alto riesgo (p. ej., identificación de contenido tóxico, análisis de sentimiento, predicción de ingresos) donde tanto la fiabilidad como la equidad son esenciales.
• Limitaciones: Los autores reconocen modestamente que su dependencia de modelos NLI para la equivalencia semántica es una aproximación que puede codificar sesgos o tener dificultades con entidades raras y contextos largos. Sugieren que el trabajo futuro debería incorporar supervisión humana en el bucle (human-in-the-loop) y mejores funciones de enmascaramiento.
• Perspectiva Central: La principal contribución es la demostración de que los modelos pueden exhibir "fallos compuestos" bajo perturbaciones que las métricas de un solo eje no pueden detectar, lo que requiere un marco unificado como RIF y RIFair para exponer estas vulnerabilidades.