Probabilistic Attribution For Large Language Models

Resumen Técnico: Atribución Probabilística para Modelos de Lenguaje Grandes

Enunciado del Problema
La naturaleza generativa de los Modelos de Lenguaje Grandes (LLM) depende del cálculo de probabilidades condicionales para muestrear tokens de respuesta basándose en el contexto previo. Si bien estos modelos se despliegan cada vez más en dominios de alto riesgo, su naturaleza de "caja negra" complica la evaluación de la validez de la salida, la incertidumbre y la influencia específica de los tokens de entrada en las respuestas generadas. Los métodos existentes de Inteligencia Artificial Explicable (XAI) a menudo caen en dos categorías: enfoques específicos del modelo (por ejemplo, mapas de saliencia basados en gradientes) que requieren acceso a la arquitectura interna, y enfoques agnósticos al modelo (por ejemplo, SHAP, LIME) que dependen de la perturbación de entrada-salida pero pueden carecer de estabilidad o fidelidad causal. Existe la necesidad de un método que interprete el comportamiento de los LLM a través de la lente de los primeros principios estadísticos, independiente de la estructura computacional subyacente, para comprender mejor la sensibilidad de los tokens, la estabilidad del modelo y la convergencia del entrenamiento.

Metodología
Los autores sitúan la inferencia de LLM dentro de la teoría matemática de los procesos estocásticos. En este marco, un LLM se considera que define una distribución de probabilidad sobre secuencias de tokens, donde la medida de probabilidad se construye a partir de los datos de entrenamiento del modelo. El núcleo de la metodología es la Puntuación de Atribución (AS), una métrica agnóstica al modelo diseñada para cuantificar la importancia de un token específico en un prompt dada una respuesta generada.

La AS se deriva invirtiendo los log-probabilidades del siguiente token utilizando la regla de Bayes. Específicamente, para un prompt $p$ y una respuesta $r$, la puntuación de atribución $A_\mu$ para el $\mu$-ésimo token en el prompt se define como el log-ratio de dos probabilidades:

1. La probabilidad de la respuesta $r$ dado el prompt completo $p$.
2. La probabilidad de la respuesta $r$ dado el prompt con el $\mu$-ésimo token marginalizado (es decir, $p$ donde $p_\mu$ se permite tomar cualquier valor en el vocabulario).

Matemáticamente, $A_\mu = \log \frac{Pr(R=r | P=p)}{Pr(R=r | P - P_\mu = p - p_\mu)}$.

Dado que los LLM no emiten directamente probabilidades para secuencias no contiguas o marginalizadas, los autores derivan un método para reconstruir el denominador utilizando únicamente las probabilidades condicionales estándar emitidas por el modelo (Ecuaciones 4–9). Esto implica sumar sobre todos los tokens posibles del vocabulario para la posición marginalizada, ponderados por la probabilidad del contexto restante.

Complementando la AS, los autores introducen medidas de Entropía Contextual:

• Entropía Contextual solo de Prompt ($S^{(P)}$): La entropía de la distribución de tokens en una posición específica condicionada únicamente a los tokens restantes del prompt.
• Entropía Contextual Prompt+Respuesta ($S^{(P+R)}$): La entropía condicionada tanto a los tokens restantes del prompt como a la respuesta generada.
• Divergencia KL: La divergencia entre las distribuciones de tokens bajo los dos contextos, utilizada para detectar anomalías donde la respuesta altera significativamente la incertidumbre del modelo sobre un token del prompt.

Adicionalmente, se calcula la Entropía de Reemplazo midiendo la distribución de frecuencia de coincidencias exactas de respuestas cuando los tokens del prompt se reemplazan por los 90% superiores de tokens candidatos, proporcionando una medida empírica de la estabilidad de la respuesta.

Contribuciones Clave
El artículo describe cuatro contribuciones principales:

1. Atribución Agnóstica al Modelo: La AS es aplicable a tareas de generación de texto en cualquier LLM sin requerir acceso a pesos internos o gradientes, dependiendo únicamente de los log-probabilidades emitidos.
2. Diseño Libre de Parámetros: El método no requiere hiperparámetros (a diferencia de LIME o ReAgent), mejorando la reproducibilidad y la objetividad.
3. Métricas de Estabilidad y Convergencia: Las medidas de entropía contextual y de reemplazo sirven como indicadores de la estabilidad del modelo y del grado en que un modelo ha convergido hacia la distribución de sus datos de entrenamiento.
4. Sensibilidad Integrada: Debido a que el método se basa en primeros principios estadísticos, la puntuación de atribución evalúa inherentemente la corrección de los resultados explicables como parte de su metodología central.

Resultados Experimentales
Los autores evaluaron 8 LLM (que van desde 137M hasta 1.7B de parámetros, incluyendo variantes de GPT-2, GPT-Neo, Llama y Qwen) en 7 prompts que involucraban diversas tareas (por ejemplo, comprensión lectora, recuperación de hechos y consultas engañosas).

• Sensibilidad de Tokens: Los valores altos de AS correspondieron a tokens que eran críticos para la respuesta específica, mientras que los valores negativos de AS indicaron tokens que el modelo habría preferido reemplazar dado el contexto de la respuesta.
• Convergencia del Modelo: El análisis de la entropía contextual reveló que los modelos más antiguos (GPT-2, GPT-Neo) exhibían mayor entropía en valores de AS cercanos a cero en comparación con los modelos modernos ajustados por instrucción (por ejemplo, Llama 3.1). Los autores interpretan la alta entropía en valores de AS cercanos a cero como "tokens de ruido"—tokens que contribuyen poco a la probabilidad de la respuesta y sin embargo permanecen sin restricciones por el contexto—sugiriendo una peor convergencia del entrenamiento en modelos antiguos.
• Detección de Anomalías: El marco identificó con éxito anomalías específicas, como tokens donde el modelo prefería una reformulación del prompt (por ejemplo, preferir "en" sobre "?" en una pregunta específica) o donde el contexto de la respuesta ampliaba inesperadamente la distribución de tokens (aumentando la entropía).
• Evaluación frente a Líneas Base de XAI: La AS se comparó con Input X Gradient, Gradient Shapley, LIME, Occlusion y ReAgent utilizando métricas como Infidelidad, Borrado/NAOPC, Comprensividad y Suficiencia. La AS rindió de manera competitiva, a menudo igualando o superando el rendimiento de otros métodos, destacando particularmente su robustez a través de diferentes modelos sin ajuste específico de la arquitectura.
• Costo Computacional: El método es intensivo computacionalmente, requiriendo horas de GPU proporcionales al tamaño del vocabulario debido a la suma sobre todos los tokens de reemplazo posibles. Sin embargo, los autores señalan el potencial de optimización restringiendo las sumas a los tokens de mayor probabilidad.

Significado y Afirmaciones
El artículo afirma que al enmarcar los LLM como procesos estocásticos, proporciona un marco riguroso y agnóstico al modelo para la interpretabilidad que evita suposiciones sobre la "representación del conocimiento" interna. El significado radica en la capacidad de:

• Cuantificar la influencia causal de los tokens del prompt en las respuestas sin acceder a los internos del modelo.
• Diagnosticar la calidad del entrenamiento del modelo (convergencia) mediante análisis de entropía, identificando "tokens de ruido" que indican un entrenamiento deficiente.
• Guiar a los usuarios hacia partes inciertas o inestables de una generación, mejorando así la interpretabilidad.
• Servir como una línea base libre de parámetros para ajustar hiperparámetros en otros métodos de XAI más rápidos.

Los autores concluyen que, si bien el enfoque incurre en mayores costos computacionales, ofrece una comprensión más profunda y fundamentada estadísticamente del comportamiento de los LLM, permitiendo la identificación de deficiencias en el entrenamiento y la ingeniería de prompts para producir respuestas más coherentes.