Resumen Técnico: Aprendiendo a Explicar (ExpNet)

Planteamiento del Problema

El despliegue de modelos basados en transformadores en dominios de alto riesgo (salud, legal, finanzas) se ve obstaculizado por su opacidad, lo que socava la confianza y la rendición de cuentas. Aunque los mecanismos de autoatención en los transformadores ofrecen una fuente potencial de interpretabilidad, los métodos existentes para extraer explicaciones sufren limitaciones significativas:

1. Métodos Agnósticos al Modelo (p. ej., LIME, SHAP): Tratan al modelo como una caja negra, ignorando el razonamiento interno. Incurren en altos costos computacionales y, en el procesamiento de lenguaje natural (NLP), a menudo generan entradas semánticamente inválidas mediante perturbaciones (enmascaramiento/reemplazo de palabras), lo que produce ejemplos fuera de la distribución que confunden la interpretación causal.
2. Métodos Basados en la Atención: Aunque utilizan señales internas, dependen de estrategias de agregación definidas manualmente y reglas heurísticas fijas (p. ej., promediar los pesos de atención entre cabezales o capas). Estas reglas predeterminadas pueden no capturar las combinaciones óptimas de características de atención requeridas para alinearse con el razonamiento humano en diferentes tareas.

El problema central abordado es la falta de un método que pueda aprender automáticamente a mapear los patrones de atención de los transformadores hacia la importancia de los tokens juzgada por humanos sin depender de reglas rígidas y manuales o de costosas perturbaciones de caja negra.

Metodología

El artículo presenta ExpNet (Explanation Network), una red neuronal ligera diseñada para aprender un mapeo explícito de los patrones de atención de los transformadores hacia puntuaciones de importancia a nivel de token.

1. Modelo Base y Extracción de Características

• Modelo Base: El enfoque utiliza un modelo BERT-base congelado como extractor de características. El modelo no se modifica; solo se utilizan sus patrones de atención.
• Diseño de Características: ExpNet extrae características de la última capa de autoatención (Capa 12) de BERT, la cual contiene 12 cabezales de atención. Para cada token $j$, captura dos perspectivas distintas y no simétricas de la atención con respecto al token [CLS]:
  • Atención de Tarea-a-Token ($A_{[CLS],j}$): Mide qué tan fuertemente la mecánica de agregación ([CLS]) atiende al token $j$.
  • Atención de Token-a-Tarea ($A_{j,[CLS]}$): Mide cuánto atiende el token $j$ a la representación de la tarea.
• Vector de Entrada: Estas características se concatenan para formar un vector de 24 dimensiones ($2 \times 12$ cabezales) para cada token, preservando las contribuciones individuales de cada cabezal desde ambas direcciones en lugar de promediarlas.

2. Arquitectura de la Red

ExpNet es una red feed-forward simple que consiste en:

• Capa de Entrada: 24 dimensiones.
• Capa Oculta: 16 unidades con activación ReLU.
• Capa de Salida: Una unidad sigmoide única que produce una probabilidad $\hat{y}_j \in [0, 1]$ que representa la verosimilitud de que el token $j$ sea importante.

3. Procedimiento de Entrenamiento

• Supervisión: La red se entrena como un clasificador binario a nivel de token utilizando justificaciones (rationales) anotadas por humanos. Las etiquetas se proyectan desde anotaciones a nivel de palabra hacia tokens de subpalabras (si algún subtoken de una palabra es marcado como importante, todos los subtokens reciben una etiqueta positiva).
• Filtrado de Datos: El entrenamiento se realiza exclusivamente en instancias donde el clasificador BERT subyacente realizó una predicción correcta. Esto asegura que el explicador aprenda patrones de atención asociados con un razonamiento exitoso, evitando el ruido de los patrones de error.
• Función de Pérdida: Para abordar el desequilibrio de clases (la mayoría de los tokens no son importantes), se utiliza Focal Loss en lugar de la entropía cruzada. Esto reduce el peso de los ejemplos fáciles y se enfoca en el aprendizaje de los tokens difíciles de clasificar.
• Inferencia: Se aplica un umbral de 0.5 para generar predicciones binarias. Un mecanismo de respaldo asegura que al menos un token sea marcado como importante por ejemplo para evitar explicaciones vacías.

4. Diseño Experimental

La evaluación emplea un protocolo de generalización entre tareas. ExpNet se entrena en los datos de justificación combinados de dos tareas de NLP y se evalúa en una tercera tarea no utilizada en el entrenamiento. Las tareas utilizadas son:

• HateXplain: Detección de discurso de odio (Justificaciones humanas).
• SST-2: Análisis de sentimiento (Justificaciones de LLM + Humanas).
• CoLA: Aceptabilidad gramatical (Justificaciones de LLM + Humanas).

Esta configuración pone a prueba si ExpNet aprende patrones de explicación generalizables en lugar de heurísticas específicas de la tarea.

Contribuciones Clave

1. Marco Novedoso: Un enfoque de aprendizaje supervisado que descubre automáticamente combinaciones óptimas de características de atención, reemplazando las reglas de agregación fijas por un mapeo aprendible desde los patrones de atención hacia las justificaciones humanas.
2. Generalización entre Tareas: Demostración de que las explicaciones basadas en la atención pueden generalizarse a través de distintos dominios de NLP (sentimiento, gramática, discurso de odio) cuando se entrenan en una combinación de tareas.
3. Validación Arquitectónica: Estudios de ablación exhaustivos que justifican el uso de características de atención bidireccionales (tarea-a-token y token-a-tarea) y el diseño específico de la red.
4. Rendimiento Empírico: Evaluación extensiva que muestra un rendimiento de vanguardia frente a un amplio espectro de métodos de referencia, incluyendo métodos agnósticos al modelo (LIME, SHAP), métodos basados en gradientes (Integrated Gradients, Grad-CAM) y técnicas basadas en atención (Rollout, GAE, AttCAT).

Resultados

ExpNet fue evaluado contra 13 métodos de referencia en tres conjuntos de datos utilizando la puntuación F1 a nivel de token y AUROC.

• Rendimiento de la Puntuación F1: ExpNet logró las puntuaciones F1 más altas en las tres tareas en el entorno de generalización entre tareas:
  • SST-2: 0.398 (frente al mejor método de referencia GAE/MGAE con 0.350).
  • CoLA: 0.468 (frente al mejor método de referencia Grad-CAM con 0.356), una mejora relativa del 31%.
  • HateXplain: 0.473 (frente al mejor método de referencia Grad-CAM con 0.396), una mejora relativa del 19%.
• Rendimiento de AUROC: ExpNet logró valores de AUROC competitivos (consistentemente por encima de 0.7), aunque no siempre lideró esta métrica. Los autores señalan una distinción: ExpNet destaca en la selección del conjunto correcto de tokens importantes (alta precisión de clasificación binaria), mientras que algunos métodos basados en gradientes pueden preservar la calidad del ranking relativo entre todos los tokens de manera más efectiva.
• Eficiencia: ExpNet es computacionalmente eficiente, requiriendo solo una pasada hacia adelante de un MLP ligero sobre características de atención precomputadas, evitando los costos de muestreo y perturbación de los métodos agnósticos al modelo.

Significado y Reivindicaciones

El artículo afirma que ExpNet demuestra que la atención de los transformadores puede refinarse sistemáticamente en explicaciones alineadas con los humanos mediante el aprendizaje supervisado. Su importancia radica en:

• Alineación Superior: Supera consistentemente a los métodos de referencia establecidos en la alineación con las justificaciones humanas, lo que sugiere que los mapeos aprendidos son superiores a las heurísticas diseñadas a mano para extraer explicaciones.
• Generalizabilidad: La capacidad de entrenar en dos tareas y explicar con éxito una tercera indica que el modelo captura patrones fundamentales de cómo las características importantes para los humanos se manifiestan en la atención de los transformadores, independientemente de los objetivos de clasificación específicos.
• Practicidad: Al mantener la eficiencia computacional mientras mejora la calidad de la explicación, ExpNet ofrece una vía viable para el despliegue de modelos interpretables en aplicaciones de tiempo real y alto riesgo.

Los autores reconocen limitaciones, incluyendo la dependencia de justificaciones anotadas por humanos para el entrenamiento (aunque los resultados entre conjuntos de datos sugieren una posible aplicación zero-shot a tareas no anotadas), el enfoque en modelos de solo codificador (encoder-only) y la granularidad a nivel de token que puede perder la semántica a nivel de frase. Posicionan esto no como fallos fundamentales, sino como áreas para futuras extensiones a modelos de solo decodificador (decoder-only) y una cobertura de dominio más amplia.