Unveiling Decision-Making in LLMs for Text Classification : Extraction of influential and interpretable concepts with Sparse Autoencoders

Resumen Técnico: ClassifSAE para la Interpretación de LLMs en Clasificación de Texto

1. Planteamiento del Problema

Aunque los Modelos de Lenguaje Grande (LLMs) han mejorado significativamente el rendimiento en tareas de clasificación de texto, su arquitectura basada en Transformers opera en espacios latentes de alta dimensión donde las representaciones vectoriales carecen de interpretabilidad intuitiva.

• La brecha: Los métodos existentes de interpretabilidad (como atribuciones de gradientes) a menudo son inestables o no revelan los conceptos de alto nivel que el modelo utiliza realmente para tomar decisiones.
• Limitaciones actuales: Los enfoques basados en conceptos (como TCAV o ConceptSHAP) suelen ser supervisados (requiriendo ejemplos definidos por humanos) o no han sido explorados exhaustivamente en el contexto específico de la clasificación de oraciones utilizando Sparse Autoencoders (SAEs).
• El objetivo: Extraer conceptos lineales interpretables de las representaciones internas de un LLM que sean completos (reconstruyan la decisión), causales (su ablación cambie la predicción) e interpretables (se alineen con nociones humanas semánticas).

2. Metodología: ClassifSAE

Los autores proponen ClassifSAE, una variante supervisada de los Sparse Autoencoders (SAE) diseñada específicamente para la clasificación de oraciones. A diferencia de los SAE tradicionales entrenados en grandes corpus para predecir tokens, ClassifSAE se entrena desde cero en el conjunto de datos de clasificación específico.

Arquitectura y Componentes Clave:

1. SAE TopK: Se utiliza una función de activación TopK para forzar la dispersidad (sparsity), seleccionando un número fijo de conceptos activos por entrada. Esto ayuda a controlar la sparsity ($L_0$) directamente.
2. Entrenamiento Conjunto (Joint Training):
   • Se entrena un SAE junto con un clasificador ligero ($g_\theta$).
   • El clasificador intenta reproducir las predicciones del LLM original utilizando únicamente un subconjunto de las características del SAE ($z_{class}$).
   • Objetivo: Esto incentiva al SAE a agrupar las características relevantes para la tarea en un subespacio específico, mientras que el resto de características se encarga de la reconstrucción general.
3. Mecanismo de Dispersidad de Tasa de Activación ($L_{sparse}^{feature}$):
   • Para evitar que unos pocos conceptos dominen el conjunto de datos (alta correlación y baja diversidad), se introduce una penalización basada en la tasa de activación.
   • Se define un hiperparámetro $\gamma$ (tasa máxima objetivo). Si un concepto se activa en más de un porcentaje $\gamma$ de las oraciones de un lote, se penaliza. Esto promueve conceptos más discriminativos y monosemánticos.
4. Pérdida Total: La función de pérdida combina la pérdida de reconstrucción del SAE, la pérdida de entropía cruzada del clasificador y la pérdida de dispersidad de características.

3. Métricas de Evaluación Propuestas

El artículo introduce dos nuevas métricas cuantitativas para evaluar la interpretabilidad sin depender de evaluadores humanos:

• ConceptSim: Mide la coherencia semántica de un concepto individual. Se calcula como la similitud coseno promedio entre las incrustaciones (embeddings) de las oraciones que activan dicho concepto. Un valor alto indica que el concepto es monosemántico (activa oraciones semánticamente similares).
• SentenceSim: Evalúa la consistencia entre oraciones que comparten los mismos conceptos activos. Mide si las oraciones que activan el mismo conjunto de conceptos están más cercanas en el espacio de incrustaciones.

Métricas Estándar Utilizadas:

• Completitud (RAcc): Precisión de recuperación. Mide si la predicción del modelo se mantiene igual cuando el estado oculto original se reemplaza por su reconstrucción basada en conceptos.
• Causalidad ($\Delta f$): Tasa de cambio de etiqueta (label-flip rate) cuando se abla (elimina) un concepto específico.

4. Resultados Experimentales

Los autores compararon ClassifSAE contra cuatro líneas base (ICA, TopK-SAE, ConceptSHAP y HI-Concept) en cuatro conjuntos de datos (AG News, IMDB, TweetEval Offensive, TweetEval Sentiment) y siete LLMs de fondo (desde BERT hasta LLaMA 3.1).

Hallazgos Principales:

• Interpretabilidad Superior: ClassifSAE obtuvo consistentemente las puntuaciones más altas en ConceptSim, demostrando que extrae conceptos más coherentes y monosemánticos que las otras metodologías.
• Causalidad Competitiva: Aunque HI-Concept (que optimiza explícitamente la causalidad) obtuvo los mejores puntajes en $\Delta f$, ClassifSAE logró el segundo mejor rendimiento en causalidad condicional, manteniéndose a la par en los modelos más grandes.
• Eficiencia Computacional: ClassifSAE es significativamente más rápido. Requiere hasta un 83% menos de tiempo de entrenamiento que HI-Concept y un 69% menos que ConceptSHAP. Esto se debe a que no necesita realizar pasadas forward a través de las capas posteriores del LLM para calcular la reconstrucción o la causalidad durante el entrenamiento.
• Calidad de Conceptos: Los conceptos extraídos no colapsan en una sola categoría por clase; en su lugar, revelan subtemas finos (ej. "Aeronáuticas - Quiebras" dentro de la categoría "Negocios").

5. Contribuciones Clave

1. ClassifSAE: Un nuevo método supervisado basado en SAE para extraer características de nivel de oración que alinean conceptos interpretables con resultados de clasificación.
2. Nuevas Métricas: Introducción de ConceptSim y SentenceSim para cuantificar la monosemanticidad y coherencia de los conceptos de manera automatizada.
3. Análisis Exhaustivo: Comparación empírica rigurosa a través de múltiples modelos y tareas, demostrando que la arquitectura consciente de la tarea mejora la calidad de las características del SAE.
4. Compromiso (Trade-off) Causalidad-Interpretabilidad: El trabajo evidencia que, aunque los métodos optimizados para causalidad pura pueden sacrificar la interpretabilidad, ClassifSAE logra un equilibrio superior, ofreciendo alta interpretabilidad con causalidad robusta y menor costo computacional.

6. Significado e Impacto

Este trabajo avanza el campo de la Interpretabilidad Mecanística en NLP al demostrar que es posible extraer conceptos humanos comprensibles de LLMs de caja negra sin depender de anotaciones humanas costosas.

• Práctica: Permite a los usuarios entender por qué un modelo clasifica un texto de cierta manera, identificando no solo la categoría, sino los matices semánticos específicos (subtemas) que impulsaron la decisión.
• Eficiencia: Al reducir drásticamente el tiempo de entrenamiento y eliminar la necesidad de cargar partes pesadas del LLM durante el entrenamiento del SAE, hace que la interpretabilidad profunda sea más accesible para aplicaciones en producción.
• Futuro: Sugiere que la integración de pérdidas de clasificación y mecanismos de dispersidad controlada es un camino prometedor para desentrañar la "caja negra" de los modelos de lenguaje, superando las limitaciones de los enfoques puramente no supervisados o puramente causales.