LAMP: Extracting Local Decision Surfaces From Large Language Models

Resumen Técnico: LAMP (Local Attribution Mapping Probe)

Título original: LAMP: Extracting Local Decision Surfaces From Large Language Models

1. El Problema: La Falta de Fidelidad en las Explicaciones de los LLM

El problema central que aborda este trabajo es la desconexión entre las racionalizaciones (explicaciones en lenguaje natural) que generan los Grandes Modelos de Lenguaje (LLM) y su verdadero proceso de decisión.

Investigaciones previas han demostrado que los LLM a menudo producen explicaciones que son "no fieles" (unfaithful); es decir, el modelo puede dar una razón lógica para una predicción, pero su decisión real puede estar basada en sesgos, pistas estructurales irrelevantes o errores. El desafío es cómo auditar estos modelos "caja negra" (donde no tenemos acceso a gradientes ni activaciones internas) para verificar si sus explicaciones coinciden con su comportamiento real.

2. Metodología: El Marco LAMP

Los autores proponen LAMP (Local Attribution Mapping Probe), un método de auditoría basado en el comportamiento que no requiere acceso interno al modelo. La metodología se divide en cuatro etapas principales:

1. Extracción de explicaciones: Se le pide al modelo que clasifique un texto y, simultáneamente, que proporcione sus razones (factores $f$) y la importancia que asigna a cada uno (pesos $w$).
2. Perturbación estocástica: En lugar de cambiar el texto original, LAMP perturba los pesos de las explicaciones proporcionadas por el propio modelo. Se generan múltiples versiones del mismo problema variando ligeramente los pesos de los factores (usando un ruido $\delta$).
3. Muestreo y Re-consulta: El modelo se vuelve a consultar con estos pesos modificados para observar cómo cambia su probabilidad de predicción. Esto crea un conjunto de datos de "pesos vs. probabilidades".
4. Ajuste de un modelo sustituto (Surrogate Model): Se ajusta un modelo lineal local ($\hat{y} = X\hat{\beta}$) que actúa como una aproximación de la "superficie de decisión" del modelo en esa vecindad específica.

Innovaciones técnicas clave:

• Meta-agregación: Para evitar la inestabilidad de tener demasiados factores, utilizan un LLM para consolidar una lista larga de razones en un conjunto pequeño y manejable de "temas" o factores principales.
• Radio de perturbación óptimo ($\delta^*$): Utilizan una expansión de Taylor de segundo orden para calcular matemáticamente el radio de perturbación ideal que minimiza el error cuadrático medio (MSE), asegurando que la aproximación lineal sea válida y no se pierda en la curvatura de la superficie.

3. Contribuciones Principales

• Auditoría de Caja Negra: Proporciona un marco práctico y ligero para auditar modelos propietarios (como GPT-4 o Claude) sin necesidad de conocer su arquitectura.
• Mapeo de Superficies de Decisión: Permite visualizar cómo "reacciona" el modelo ante cambios en sus propios criterios de decisión.
• Validación de Consistencia: Establece un método para medir si un modelo es consistente con sus propias explicaciones mediante el uso de contrafactuales generados por lenguaje natural.

4. Resultados Experimentales

Los autores evaluaron LAMP en tareas de análisis de sentimiento (IMDB), detección de temas controvertidos (Pseudo-Harmful) y detección de discurso de odio (HateBenchSet), además de un caso de uso clínico en gastroenterología.

• Calidad del ajuste ($R^2$): Los modelos sustitutos de LAMP capturan una parte significativa de la varianza del comportamiento del modelo, demostrando que las superficies de decisión de los LLM tienen una estructura localmente lineal.
• Capacidad Predictiva: LAMP superó significativamente a métodos tradicionales como LIME en la predicción de salidas fuera de la muestra. Aunque es competitivo con SHAP, LAMP presenta una varianza mucho menor, lo que lo hace más estable.
• Consistencia con Expertos: En el conjunto de datos médico, los coeficientes de LAMP mostraron una alineación con el juicio de gastroenterólogos, superando incluso la concordancia entre los propios médicos, lo que sugiere que el modelo captura señales factualmente válidas.
• Comportamiento en las "Colas" (Tails): Descubrieron que en regiones de alta confianza (probabilidades cercanas a 0 o 1), la superficie es más plana (menos sensible a cambios), lo cual es consistente con el comportamiento sigmoidal esperado.

5. Significado e Impacto

La importancia de LAMP radica en su capacidad para transformar la interpretabilidad de un ejercicio puramente cualitativo (leer una explicación) a uno cuantitativo y geométrico.

En aplicaciones de alto riesgo (como la medicina o la seguridad), LAMP permite a los profesionales no solo leer lo que el modelo "dice", sino verificar si el modelo realmente "sigue" lo que dice. Si un médico ve que un factor clínico tiene un peso bajo en el modelo sustituto de LAMP, a pesar de que el modelo lo mencionó en su texto, el médico sabrá que no debe confiar plenamente en esa explicación.