Resumen Técnico: Regla de Pulgar (Rule of Thumb): Explicando Sistemas de Inteligencia Artificial mediante Información Parcial

Declaración del Problema

La Inteligencia Artificial Explicable (XAI) enfrenta limitaciones críticas en tres áreas de aplicación emergentes: la clasificación zero-shot con Modelos de Lenguaje de Gran Escala (LLMs), la auditoría de sistemas de IA propietarios opacos y el uso de la IA para el descubrimiento científico. Los métodos existentes, basados principalmente en el análisis de sensibilidad (por ejemplo, SHAP, LIME, Integrated Gradients), dependen de la perturbación de las características de entrada para observar cambios en la salida del modelo. Este enfoque encuentra barreras fundamentales:

1. Inaccesibilidad: Los métodos basados en la sensibilidad a menudo requieren acceso a los pesos del modelo (gradientes) o la capacidad de consultar el modelo con datos sintéticos perturbados. Esto es imposible para los LLMs de código cerrado a los que se accede solo vía API, y resulta prohibitivamente costoso debido al alto número de llamadas a la API requeridas (por ejemplo, de 500 a 5000 llamadas por explicación).
2. El Efecto Rashomon en la Auditoría: Al auditar sistemas propietarios, los investigadores suelen construir modelos "miméticos" para aproximar el sistema objetivo. Sin embargo, diferentes modelos miméticos con una precisión similar pueden poseer mecanismos internos distintos, lo que conduce a explicaciones contradictorias (el efecto Rashomon). Esto socava la validez de las auditorías basadas en modelos miméticos.
3. Validez Científica: El análisis de sensibilidad asume que el comportamiento del modelo en datos fuera de la distribución (sintéticos) refleja la causalidad del mundo real. Esto puede generar hipótesis espurias, donde características no informativas aparecen como importantes simplemente porque el modelo reacciona arbitrariamente a las perturbaciones sintéticas.

Metodología: Regla de Pulgar (ROT)

Los autores proponen "Rule of Thumb" (ROT), una novedosa formulación de XAI que define la importancia de las características basándose en la predictibilidad en lugar de la sensibilidad. En lugar de preguntar cómo el cambio de una característica altera la salida, ROT pregunta cómo el conocimiento de un valor específico de una característica actualiza la predicción del comportamiento del sistema de IA.

Formulación

ROT modela la salida del sistema de IA $C(x)$ como una suma de funciones aditivas que representan la información proporcionada por los valores individuales de las características. Para un conjunto de datos $X$ y un conjunto de características $\mathcal{J}$, el modelo estima:
$$C(x) \approx F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)$$
donde:

• $F$ es una función sigmoide (clasificación) o de identidad (regresión).
• $f_{\theta_j}(x_j)$ es una función aprendida que representa la importancia de la característica $j$ al tomar el valor $x_j$.
• $G$ es un término de sesgo global.
• La estimación se mantiene para cualquier subconjunto de características $J \subseteq \mathcal{J}$.

Optimización

El objetivo es encontrar los pesos óptimos $\theta$ que minimicen la pérdida entre la salida real del modelo $C(x)$ y la estimación derivada de subconjuntos aleatorios de características. La función de pérdida $L$ se marginaliza sobre todos los puntos de datos y todos los posibles subconjuntos de características:
$$\min_{\theta} L = \min_{\theta} \sum_{J \subseteq \mathcal{J}} \sum_{x \in X} p^{|J|} (1-p)^{(|\mathcal{J}|-|J|)} \cdot \ell\left[C(x), F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)\right]$$
Crucialmente, esta optimización se resuelve eficientemente utilizando dropout aplicado a las importancias de las características durante el entrenamiento. Esto permite que el modelo se ajuste al conjunto de datos completo sin perturbaciones, sin necesidad de realizar consultas adicionales al modelo para cada explicación. Una vez ajustado, la importancia de la característica para un punto de datos específico es simplemente el valor de $f_{\theta_j}(x_j)$.

Distinciones Clave

• Sin Perturbación: ROT no requiere la generación de datos sintéticos ni la perturbación de las entradas.
• Características No-Entrada: ROT puede incorporar características externas y no de entrada (por ejemplo, atributos demográficos que no se pasan al modelo) en la explicación mediante el ajuste sobre conjuntos de datos extendidos, permitiendo la detección de sesgos incluso si el modelo afirma no utilizarlos.
• Agnóstico al Modelo: Solo requiere la capacidad de observar las predicciones sobre los datos existentes, no el acceso a los pesos ni la capacidad de consultar nuevas entradas.

Contribuciones Clave y Resultados

1. Clasificación Zero-Shot con LLMs

• Experimento: Los autores aplicaron ROT a la clasificación de imágenes zero-shot (API GPT-4o-mini) y a la clasificación de texto (casos judiciales y reseñas de películas).
• Resultados: Las explicaciones de ROT se alinearon estrechamente con las anotaciones humanas (AUROC ponderado de 0.77 para casos judiciales, comparable al 0.74 de SHAP).
• Eficiencia: Mientras que la primera explicación de ROT requirió entrenamiento (aprox. 1160 segundos para el conjunto de datos judicial), las explicaciones subsiguientes fueron virtualmente instantáneas (<0.1 ms). En contraste, SHAP requirió ~1320 segundos por explicación. ROT permitió explicaciones para LLMs donde los métodos basados en sensibilidad eran computacionalmente inviables.

2. Auditoría de Sistemas Propietarios de Caja Negra

• Experimento: Los autores auditaron el sistema de recomendación de comercio electrónico de Amazon, replicando un estudio de The Markup que utilizó un modelo mimético de Bosque Aleatorio (Random Forest).
• Resultados:
  • Efecto Rashomon: Diferentes modelos miméticos (con variaciones en hiperparámetros o algoritmos) produjeron explicaciones de SHAP/LIME contradictorias respecto a la importancia de las características (por ejemplo, si "reseñas de productos" o "la marca es Amazon" era lo más importante).
  • Ventaja de ROT: ROT proporcionó explicaciones consistentes sin necesidad de un modelo mimético. Identificó "la marca es Amazon" como la característica más importante, pero también destacó de forma única "vendido por Amazon" como un factor significativo, revelando un posible comportamiento de auto-preferencia que las auditorías basadas en modelos miméticos pasaron por alto.

3. Descubrimiento Científico

• Experimento: Los autores probaron ROT en conjuntos de datos de predicción de diabetes, reincidencia y aprobación de préstamos, diseñando específicamente escenarios donde ciertas características eran o bien no informativas o bien enmascaradas por características "señuelo" (foil) adversarias.
• Resultados:
  • Características No Informativas: Cuando la "edad" fue matemáticamente desacoplada de los resultados de la diabetes, SHAP y LIME aún le asignaron importancia (generando hipótesis espurias), mientras que ROT la identificó correctamente como no importante.
  • Robustez Adversaria: En configuraciones adversarias diseñadas para engañar a los explicadores para que priorizaran características "señuelo" sobre las sensibles (por ejemplo, raza o género), SHAP y LIME fallaron (recuperando la característica sensible <5% de las veces). ROT mantuvo una tasa de éxito >89%, identificando correctamente las verdaderas características sensibles.

4. Eficiencia Computacional e Impacto Ambiental

• ROT es órdenes de magnitud más rápido que SHAP y LIME para explicaciones a gran escala. El artículo señala que, tras el ajuste inicial, ROT puede computar millones de explicaciones en el tiempo que SHAP tarda en computar una sola, reduciendo significativamente la huella ambiental de la XAI.

Significancia y Reivindicaciones

El artículo sostiene que ROT aborda problemas de validez y practicidad de larga data en la XAI al cambiar el paradigma de la análisis de sensibilidad al de la predictibilidad de las características.

• Cumplimiento Regulatorio: ROT se posiciona como una herramienta que cumple con los requisitos de la Ley de IA de la UE (por ejemplo, Artículos 15 y 74) para la auditoría de sistemas de alto riesgo donde los reguladores pueden tener acceso a los conjuntos de datos, pero no al acceso total al modelo o a la capacidad de consultar nuevas entradas.
• Rigor Científico: Al evitar suposiciones sobre mecanismos causales o comportamientos fuera de la distribución, ROT ofrece una base más robusta para generar hipótesis científicas en comparación con los métodos basados en la sensibilidad.
• Despliegue Práctico: ROT se presenta como un reemplazo directo para las bases de código de XAI existentes que es agnóstico al modelo, más rápido y capaz de explicar sistemas (como los LLMs accesibles solo por API) que antes eran inexplicables.

Los autores enfatizan que ROT no pretende resolver la inferencia causal, sino que proporciona un método fiable para comprender el comportamiento del modelo basado en la predictibilidad de los datos observados, lo que lo hace excepcionalmente adecuado para las restricciones de los sistemas de IA modernos y propietarios.