Attribution-Guided Masking for Robust Cross-Domain Sentiment Classification

Resumen Técnico: Enmascaramiento Guiado por Atribución para Clasificación de Sentimientos Robusta entre Dominios

Enunciado del Problema

Los modelos Transformer preentrenados (por ejemplo, BERT, RoBERTa) logran un rendimiento de vanguardia en la clasificación de sentimientos dentro del dominio, pero a menudo sufren una degradación severa del rendimiento al transferirse a datos fuera del dominio. Los autores hipotetizan que esta brecha de generalización ($\Delta$) es impulsada por la sobredependencia de los modelos en tokens espurios específicos del dominio (por ejemplo, @menciones, hashtags, jerga) en lugar de marcadores de sentimientos invariantes al dominio.

El artículo investiga inicialmente si la deriva de atribución a nivel de token post-hoc puede predecir este fallo. Introducen la Puntuación de Deriva de Atribución (ADS) para cuantificar los cambios en la importancia a nivel de token entre dominios. Sin embargo, las pruebas exhaustivas a través de múltiples formulaciones no revelaron ninguna correlación significativa entre la ADS y la brecha de generalización. Este hallazgo negativo indica que la deriva de atribución post-hoc es una señal insuficiente para predecir la dificultad de transferencia, lo que requiere un cambio de la predicción a la intervención durante el entrenamiento.

Metodología: Enmascaramiento Guiado por Atribución (AGM)

Los autores proponen el Enmascaramiento Guiado por Atribución (AGM), un marco diseñado para detectar dinámicamente y penalizar la dependencia de tokens espurios durante la fase de ajuste fino. El método opera sin requerir etiquetas del dominio objetivo ni anotación humana.

Componentes Principales:

1. Cálculo de Atribución: El modelo utiliza una aproximación Gradiente$\times$Entrada para calcular puntuaciones de atribución a nivel de token ($a$) basadas en la pérdida de entropía cruzada ($L_{CE}$).
   $$a = \nabla_h L_{CE} \odot h$$

2. Detección de Tokens Espurios: Los tokens con magnitudes de atribución absolutas que superan el percentil 75 ($\tau_{high} = 0.75$) dentro de una secuencia se marcan como potencialmente espurios.

3. Generación Contrafactual: Los tokens marcados se reemplazan con [MASK], y un Modelo de Lenguaje enmascarado (MLM) de pesos compartidos predice reemplazos contextualmente apropiados. La secuencia contrafactual se conserva solo si la etiqueta de sentimiento predicha por el modelo permanece sin cambios, asegurando que el sentimiento central se preserve.

4. Objetivo de Entrenamiento: La función de pérdida de AGM combina la pérdida de clasificación estándar con dos términos auxiliares:

   • Pérdida de Enmascaramiento por Atribución ($L_{mask}$): Penaliza directamente las puntuaciones de atribución altas en los tokens marcados.
     $$L_{mask} = \frac{1}{|M|} \sum_{i \in M} (a_i)^2$$
   • Pérdida Contrastiva Contrafactual ($L_{CCL}$): (Opcional) Alinea las representaciones agrupadas de las entradas originales y contrafactuales utilizando el Error Cuadrático Medio para imponer representaciones invariantes al dominio.

   El objetivo total es:
   $$L_{AGM} = L_{CE} + \lambda_1 L_{mask} + \lambda_2 L_{CCL}$$

Configuración Experimental y Resultados

El método se evaluó utilizando un protocolo estricto de transferencia zero-shot y de dejar-uno-fuera a través de cuatro dominios diversos: IMDb, Amazon, TripAdvisor y Sentiment140. La métrica principal fue la Brecha de Generalización ($\Delta = |F1_{fuente} - F1_{objetivo}|$), donde un valor más bajo indica una mayor robustez.

Hallazgos Clave:

• Rendimiento en Transferencias Difíciles: En la tarea de transferencia más difícil (Sentiment140), AGM logró una brecha de generalización de $\Delta = 0.244$. Esto superó al Entrenamiento Adversarial de Dominio (DANN, $\Delta=0.264$), a la Optimización Robusta Distribucional (DRO, $\Delta=0.248$) y a Fish ($\Delta=0.247$). Se desempeñó de manera comparable a la Minimización de Riesgo Invariante (IRM, $\Delta=0.238$) pero con varianza sustancialmente menor ($\pm 0.015$ para AGM frente a $\pm 0.036$ para IRM).
• Estabilidad e Interpretabilidad: A diferencia de IRM, que requirió un ajuste extenso de hiperparámetros y mostró inestabilidad, AGM proporcionó resultados consistentes a través de ocho semillas aleatorias. De manera única, AGM ofrece interpretabilidad a nivel de token, revelando exactamente qué características impulsan la brecha de generalización.
• Análisis Cualitativo: Los mapas de calor confirmaron que AGM suprime con éxito la atribución en artefactos específicos del dominio (por ejemplo, @menciones, números, jerga) y desplaza la dependencia hacia marcadores de sentimientos invariantes al dominio.
• Estudio de Ablación: El estudio confirmó que el enmascaramiento guiado por atribución es el componente crítico. Eliminar $L_{mask}$ o reemplazar la selección guiada por atribución con una selección aleatoria de tokens degradó consistentemente el rendimiento en transferencias difíciles (aumentando $\Delta$ a $\approx 0.260$). Se encontró que la pérdida contrastiva contrafactual ($L_{CCL}$) es opcional; la variante "solo enmascaramiento" logró un rendimiento equivalente con menos sobrecarga computacional.

Significado y Contribuciones

El artículo afirma tres contribuciones principales:

1. Insight Diagnóstico: Demuestra que la deriva de atribución post-hoc es un predictor poco fiable del fallo de generalización, explicando que los tokens de vocabulario compartido llevan atribuciones estables mientras que los tokens problemáticos específicos del dominio se excluyen de las comparaciones entre dominios.
2. Intervención Novel: Introduce AGM, una intervención durante el entrenamiento que identifica y penaliza automáticamente la dependencia de tokens espurios mediante atribución basada en gradientes, sin requerir supervisión externa ni etiquetas objetivo.
3. Generalización Robusta: A través de una evaluación rigurosa, muestra que AGM logra una generalización competitiva en las tareas de transferencia más difíciles, superando a los métodos de alineación de representaciones globales (como DANN) que fallan cuando las distancias estilísticas son extremas.

Limitaciones:
Los autores señalan que el estudio se limita a la clasificación de sentimientos binarios en inglés. El enfoque introduce un costo computacional de un entrenamiento aproximadamente 2–3$\times$ más lento debido al doble paso hacia atrás y la generación contrafactual. Además, aunque AGM se desempeña de manera competitiva con IRM en Sentiment140, las diferencias caen dentro de intervalos de confianza superpuestos, lo que sugiere que los resultados deben interpretarse con cautela en cuanto a la significancia estadística.

Conclusión:
El trabajo proporciona un camino para desarrollar clasificadores de sentimientos que se basen en el significado semántico intrínseco en lugar de artefactos específicos del dominio explotables, ofreciendo una solución escalable para la transferencia zero-shot que es tanto robusta como interpretable.