Interpreto: An Explainability Library for Transformers

Resumen Técnico: INTERPRETO - Una Biblioteca de Explicabilidad para Transformers

1. El Problema

Aunque los modelos de lenguaje basados en Transformers (como los de Hugging Face) se despliegan masivamente para tareas de clasificación y generación de texto, comprender su comportamiento interno sigue siendo un desafío crítico para la depuración, la detección de sesgos y la seguridad.

• Fragmentación de herramientas: Existen numerosas bibliotecas que ofrecen métodos de atribución (puntuaciones de importancia) o explicaciones basadas en conceptos, pero estas capacidades suelen estar divididas entre diferentes paquetes o adaptadas a modalidades específicas.
• Complejidad de la tubería (pipeline): Los flujos de trabajo de explicación, especialmente los basados en conceptos (que van desde la extracción de activaciones hasta el aprendizaje y la interpretación), requieren ensamblar múltiples herramientas, carecen de documentación unificada y a menudo omiten métricas de evaluación.
• Falta de estandarización: No existe una solución unificada que cubra tanto la clasificación como la generación de texto con una API coherente, visualizaciones y métricas de fiabilidad.

2. Metodología

INTERPRETO es una biblioteca de código abierto en Python diseñada para interpretar modelos de lenguaje de Hugging Face (desde variantes tempranas de BERT hasta LLMs). Se estructura en dos módulos complementarios que comparten una API unificada:

A. Módulo de Atribuciones (interpreto.attributions)

• Función: Explica las predicciones estimando la contribución de las características de entrada (tokens o palabras).
• Enfoque: Soporta dos familias de métodos:
  1. Basados en perturbación: Modifican la entrada para medir el efecto en la salida (ej. LIME, KernelSHAP, Occlusion).
  2. Basados en gradientes: Utilizan derivadas de la salida respecto a la entrada (ej. Integrated Gradients, Saliency, SmoothGrad).
• Características: Permite controlar la granularidad (token, palabra, oración), soporta tanto clasificación como generación de texto, e incluye métricas de fiabilidad (Insertion, Deletion).

B. Módulo de Conceptos (interpreto.concepts)

• Función: Proporciona un flujo de trabajo end-to-end para explicaciones basadas en conceptos (una rama de la interpretabilidad mecánica).
• Pipeline de 4 pasos:
  1. División del modelo: Utiliza nnsight para dividir el modelo de Hugging Face en un extractor de características y un predictor, extrayendo un conjunto de datos de activaciones latentes.
  2. Aprendizaje de conceptos: Entrena un modelo de conceptos sobre las activaciones para descubrir patrones recurrentes. Soporta 15 opciones de aprendizaje, incluyendo diccionarios sobredeterminados (overcomplete), KMeans, PCA, NMF, Semi-NMF y Autoencoders Dispersos (SAEs).
  3. Interpretación: Asigna etiquetas legibles por humanos a los conceptos aprendidos, utilizando métodos como los top-k tokens del vocabulario, ejemplos de activación máxima (MaxAct) o etiquetado asistido por LLM.
  4. Evaluación de importancia: Cuantifica la contribución de cada concepto a la predicción final mediante gradientes o productos de conceptos por gradientes.

3. Contribuciones Clave

• Unificación de API: Ofrece una interfaz unificada para clasificación y generación de texto, abstrayendo la complejidad de las herramientas subyacentes.
• Pipeline de Conceptos Completo: A diferencia de otras librerías que se centran solo en una etapa (ej. solo SAEs o solo visualización), INTERPRETO integra la extracción de activaciones, el aprendizaje de conceptos, la interpretación y la puntuación de importancia en un solo paquete.
• Extensibilidad Modular: Diseñado para que los usuarios implementen nuevos métodos de forma ligera heredando de abstracciones base (perturbadores, agregadores, etc.).
• Soporte Amplio: Compatible con más de 15 arquitecturas de modelos (BERT, RoBERTa, GPT-2, Llama, Qwen, etc.) y ofrece 10 métodos de atribución y 15 opciones de aprendizaje de conceptos.
• Recursos Educativos y Demostrativos: Incluye documentación completa, tutoriales, métricas de evaluación y un sitio web demostrativo con explicaciones precalculadas y fragmentos de código ejecutables.

4. Resultados y Validación

• Validación Técnica: Se han realizado pruebas unitarias para todas las funciones y se han probado más de 15 arquitecturas de modelos. Se incluyen "chequeos de cordura" (sanity checks) para verificar que los métodos de atribución superan a las atribuciones aleatorias en métricas de fiabilidad.
• Caso de Uso Industrial: El artículo menciona que INTERPRETO ha sido utilizado en un entorno industrial (por Mussot et al., 2026) para la depuración de modelos de reconocimiento de emociones, demostrando su utilidad práctica.
• Eficiencia: Las explicaciones de atribución son rápidas (segundos), mientras que los pipelines de conceptos (especialmente con SAEs grandes) pueden tomar minutos u horas, dependiendo del hardware (ej. RTX 3080).
• Comparativa: Las tablas del artículo muestran que INTERPRETO es la única biblioteca que cubre simultáneamente la división de modelos, el aprendizaje de conceptos, la interpretación y las métricas de referencia (benchmarks) en un solo paquete con documentación.

5. Significado e Impacto

• Democratización de la Interpretabilidad: INTERPRETO reduce la barrera de entrada para aplicar métodos avanzados de interpretabilidad (tanto atribución como mecanística) a modelos de lenguaje modernos, facilitando su adopción por parte de ingenieros y científicos de datos.
• Auditoría y Seguridad: Al hacer accesibles las explicaciones, permite una auditoría más efectiva de modelos para identificar sesgos, modos de fallo recurrentes y problemas de seguridad antes del despliegue.
• Puente entre Investigación y Práctica: Integra métodos de investigación de vanguardia (como SAEs y diccionarios sobredeterminados) en una herramienta lista para usar, fomentando la estandarización y la comparación justa entre diferentes métodos de explicación.
• Advertencia Ética: El artículo enfatiza que las explicaciones deben tratarse como evidencia diagnóstica y no como "verdad absoluta", advirtiendo sobre el compromiso entre plausibilidad y fiabilidad, y la necesidad de corroborar hallazgos con pruebas adicionales.

En conclusión, INTERPRETO representa un avance significativo al consolidar herramientas dispersas en un ecosistema coherente, permitiendo a los practicantes no solo ver qué tokens son importantes, sino entender qué conceptos internos está utilizando el modelo para tomar decisiones.