Resumen Técnico: UNMASK – Descubrimiento y Verificación Causal de Atajos Espurios en Clasificadores de Texto

Declaración del Problema

Los modelos de lenguaje neuronales entrenados en grandes corpus de recolección masiva (crowdsourced) frecuentemente alcanzan una alta precisión en los benchmarks explotando patrones superficiales espurios (atajos) que correlacionan con las etiquetas objetivo pero carecen de relevancia lingüística o causal verdadera. Aunque los enfoques existentes han progresado en la identificación de estas correlaciones, sufren de dos limitaciones primarias:

1. Dependencia Humana: La mayoría de los métodos requieren la especificación manual del vocabulario de características o dependen de proxies opacos para la estructura de grupos.
2. Brecha entre Correlación y Causalidad: El descubrimiento automatizado existente a menudo se detiene en la correlación estadística a nivel de conjunto de datos, fallando en verificar si un modelo entrenado específico realmente explota estas características. Una característica puede estar estadísticamente correlacionada con una etiqueta en el conjunto de datos (porاً ejemplo, la palabra "nunca" en pares de contradicción) sin que el modelo dependa de ella para la predicción.

El artículo aborda la pregunta fundamental: ¿Cómo podemos identificar características superficiales espurias sin conocimiento previo y cómo podemos verificar si un modelo entrenado depende causalmente de ellas?

Metodología: El Pipeline UNMASK

UNMASK es un pipeline completamente automatizado que opera sin anotación humana adicional. Consta de cuatro etapas distintas, unificadas por el uso de expresiones booleanas ejecutables como la representación de las características candidatas.

1. Generación de Candidatos (Descubrimiento)

• Entrada: Ejemplos de entrenamiento no etiquetados.
• Proceso: Un Modelo de Lenguaje Grande (LLM), denominado SCGENLLM, es instado a proponer patrones de superficie que aparecen consistentemente a través de los ejemplos pero que no son lógicamente necesarios para la tarea.
• Salida: Para cada candidato, el LLM devuelve una descripción en lenguaje natural y, crucialmente, una expresión booleana ejecutable $b(x)$ que evalúa determinísticamente como TRUE/FALSE en cualquier texto de entrada.
• Racional: El uso de expresiones booleanas permite una evaluación determinista en todas las etapas posteriores, a diferencia de las descripciones en lenguaje natural que son ambiguas.

2. Validación Estadística

Esta etapa filtra los candidatos para asegurar que representan artefactos genuinos del conjunto de datos.

• Deduplicación: Los candidatos se deduplican basados en la similitud de su descripción y, posteriormente, en su cobertura realizada (el conjunto de muestras que activan).
• Validación Lógica: Un EVALUATORLLM verifica la corrección sintáctica y semántica de las expresiones booleanas. Las expresiones incorrectas se reescriben iterativamente.
• Replicación de Dos Fases:
  • Fase de Descubrimiento: Las características se prueban contra las etiquetas utilizando la prueba exacta de Fisher en un conjunto de descubrimiento. La Tasa de Falso Descubrimiento (FDR) se controla mediante Benjamini-Hochberg.
  • Fase de Validación: Las características significativas se vuelven a probar en un conjunto de validación mantenido fuera (held-out).
  • Filtros: Las características se excluyen si son definitorias (techo de cobertura) o no predictivas (suelo de precisión).
• Salida: Un conjunto de características estadísticamente validadas ($F_{val}$).

3. Verificación Causal

Esta etapa distingue entre las características que el modelo podría usar y las características en las que realmente depende.

• Tamizaje de Dependencia: Antes de la generación de contrafácticos, el pipeline realiza un tamizaje de "dependencia espuria" verificando si el modelo sobre-predice la etiqueta asociada cuando la característica está presente pero la etiqueta verdadera la contradice.
• Generación de Contrafácticos: Para las características supervivientes, un GENERATORLLM crea ediciones mínimas ($x_{cf}$) que eliminan el patrón de superficie preservando la etiqueta semántica. Un EVALUATORLLM independiente verifica la edición.
• Medición de Efecto: El pipeline mide el cambio en la probabilidad predicha del modelo para la etiqueta espuria ($\Delta p$) entre las entradas originales y contrafácticas.
• Clasificación: Una característica se clasifica como causalmente explotada ($F_{causal}$) solo si eliminarla disminuye significativamente la confianza del modelo en la etiqueta espuria. Esto separa la correlación a nivel de dataset de la explotación a nivel de modelo.

4. Mitigación de Sesgos del Modelo (Debiasing)

• Definición de Grupos: Las expresiones booleanas validadas sirven como etiquetas de grupo sin anotación. Para cada característica y etiqueta, los grupos se definen por el producto cartesiano de la presencia/ausencia de la característica y las etiquetas de clase.
• Mitigación: Estos grupos se utilizan para entrenar modelos sin sesgos utilizando técnicas estándar como el Re-ponderado de Características Profundas (DFR), Producto de Expertos (PoE) o SCER, sin requerir anotaciones demográficas o de sesgo manuales.

Contribuciones Clave

1. Pipeline Completamente Automatizado: UNMASK genera, valida y mitiga características espurias utilizando expresiones booleanas ejecutables, eliminando la necesidad de vocabularios de características definidos por humanos.
2. Protocolo de Verificación Causal: El pipeline introduce una etapa de verificación contrafáctica que separa la correlación a nivel de dataset de la explotación de atajos a nivel de modelo. Revela que las altas razones de probabilidad (odds ratios) en el dataset no garantizan la dependencia del modelo.
3. Debiasing Sin Anotación: Al utilizar las expresiones booleanas descubiertas como etiquetas de grupo, UNMASK logra un rendimiento comparable al Deep Feature Reweighting (DFR) etiquetado a mano en el dataset CivilComments-WILDS sin usar anotaciones demográficas.
4. Generalización de Tarea: Las etapas de descubrimiento y validación se generalizan a los datos de preferencia de RewardBench2, sacando a la luz sesgos interpretables (por ejemplo, longitud, formato, lenguaje de rechazo) en modelos de recompensa sin modificación específica de la tarea.

Resultados Experimentales

Inferencia de Lenguaje Natural (MNLI, HANS, etc.)

• Redescubrimiento: En BERT y RoBERTa entrenados en MNLI, UNMASK redescubrió de forma independiente sesgos establecidos, incluyendo el solapamiento léxico y los sesgos de negación.
• Tasas de Verificación: Verificó 9 de 10 características en BERT y 6 de 10 en RoBERTa.
• Divergencia de Arquitectura Cruzada: La verificación causal reveló que RoBERTa es inmune a tres características de la clase de contradicción que BERT explota, una divergencia invisible para el análisis basado solo en correlación.
• Desempeño: En el benchmark HANS (diseñado para probar la robustez ante atajos), el debiasing basado en UNMASK mejoró la precisión de BERT en hasta 12.58 puntos porcentuales (de 52.41% a 64.99% usando PoE-IPW-Group) mientras preservaba el desempeño in-distribution.

CivilComments-WILDS (Detección de Toxicidad)

• Recuperación Demográfica: El pipeline minó características que contenían tokens de identidad demográfica, recuperando 6 de 8 identidades canónicas sin acceso a etiquetas demográficas.
• Precisión del Peor Grupo (WGA): Usando grupos programáticos derivados de UNMASK, DFR logró un WGA del 71.84% en BERT y 72.12% en RoBERTa. Esto iguala el WGA del 70.1% reportado en trabajos previos (Kirichenko et al., 2023) que dependían de anotaciones demográficas manuales.
• Comparación con Baselines: UNMASK superó a los baselines de descubrimiento más simples (estadísticas PMI y candidatos de solo LLM) por 3.65 pp en WGA, demostrando el valor de las expresiones booleanas composicionales sobre las estadísticas de un solo token.

Análisis de Sentimiento (SST-2, IMDB)

• Rol de Portero (Gatekeeping): Como una ablación controlada, el pipeline se aplicó a tareas de sentimiento donde las palabras de superficie son la señal de la tarea, no atajos espurios.
• Resultado: La verificación causal devolvió correctamente cero características explotadas, confirmando que el pipeline actúa como una puerta de decisión en lugar de una herramienta de refinamiento que fuerza el debiasing donde no es necesario.

RewardBench2

• Aplicado a datos de preferencia de modelos de recompensa, el pipeline recuperó sesgos conocidos como preferencias de longitud/formato en respuestas rechazadas y una jerarquía de lenguaje de rechazo en tareas de seguridad, demostrando aplicabilidad más allá de la clasificación.

Significado y Reivindicaciones

El artículo afirma que UNMASK cierra la brecha entre los artefactos estadísticos del dataset y la explotación de atajos por parte del modelo. Su principal significancia radica en:

• Auditabilidad: Hacer que los atajos de un clasificador sean "nombrables, testeables y eliminables" a través de expresiones booleanas deterministas.
• Rigor Causal: Proporcionar evidencia de que no todas las características correlacionadas son explotadas, y que la arquitectura del modelo (por ejemplo, BERT vs. RoBERTa) influye significativamente en qué atajos se utilizan.
• Practicidad: Permitir un debiasing de alta calidad en tareas complejas como la detección de toxicidad sin el costo prohibitivo de la anotación demográfica manual, logrando la paridad con los métodos etiquetados a mano.

Los autores señalan limitaciones: el pipeline está limitado por la expresividad de las expresiones booleanas ejecutables (perdiendo atajos semánticos/latentes) y la etapa causal está limitada por la capacidad del generador para crear ediciones mínimas sin alterar otras propiedades de la entrada.