Statistical Aspects of SHAP: Functional ANOVA for Model Interpretation

Imagina que estás tratando de averiguar por qué una bola de cristal mágica dio una predicción específica. Tal vez te dijo que sacarías una A en tu examen de matemáticas, o que una solicitud de préstamo fue rechazada. En el mundo de la informática, esto se llama "aprendizaje automático" (machine learning), y la bola de cristal es un algoritmo complejo que ha aprendido a tomar decisiones observando miles de pistas, o "características" (features). Pero aquí está la parte difícil: estos algoritmos suelen ser tan complicados que incluso sus creadores no pueden explicar fácilmente por qué tomaron una decisión específica. Es como una caja negra. Para solucionar esto, los científicos han desarrollado herramientas para asomarse al interior y asignar una "puntuación" a cada pista, indicándonos cuánto contribuyó esa pista específica a la respuesta final. Una de las herramientas más populares para esto es llamada SHAP. Se basa en una vieja idea de la teoría de juegos llamada "valor de Shapley", que es esencialmente una forma justa de repartir un premio entre un equipo de jugadores basándose en cuánto ayudó cada persona a que el equipo ganara. La gran pregunta que los investigadores se han estado haciendo es: ¿Cómo calculamos estas puntuaciones de manera justa cuando hay cientos de pistas, y cómo decidimos qué aspecto tiene lo "normal" para la comparación?

Este artículo, escrito por Andrew Herren, P. Richard Hahn y Rafael Alcantara, se sumerge profundamente en las matemáticas detrás de SHAP para ver cómo funciona realmente. Los autores tratan el problema como un rompecabezas gigante, conectando los puntos entre la explicabilidad del aprendizaje automático y un campo llamado "análisis de sensibilidad", que se utiliza en física e ingeniería para ver cómo el cambio en los parámetros afecta a los resultados. Descubren que SHAP está haciendo algo muy similar a una técnica estadística llamada "ANOVA funcional", que descompone una función compleja en piezas más pequeñas y manejables, como separar un batido en sus frutas individuales para ver cuánta azúcar aporta cada una. El artículo sugiere que los mayores dolores de cabeza que la gente enfrenta al usar SHAP provienen de dos decisiones principales: decidir qué "línea base" (baseline) o punto de referencia usar para la comparación (como preguntar: "¿Comparado con qué?") y decidir cuántas de los miles de millones de combinaciones posibles de pistas se van a verificar realmente.

Los autores argumentan que, si bien SHAP es una herramienta poderosa, no es una varita mágica que lo resuelve todo automáticamente. Muestran que las respuestas que obtienes dependen en gran medida de la distribución de los datos que elijas como referencia de fondo. Por ejemplo, si comparas una predicción específica con una "línea base única" (como una persona promedio), podrías obtener un resultado muy diferente que si la comparas con una "línea base correlacionada" (donde las características que suelen ir juntas se mantienen juntas). En sus simulaciones, descubrieron que el uso de una línea base correlacionada puede cambiar drásticamente las puntuaciones, a veces invirtiendo por completo la importancia de una característica. También exploran cómo manejar el hecho de que verificar cada una de las combinaciones de características es imposible cuando tienes miles de ellas. Sugieren que, en lugar de revisar ciegamente todo, podríamos usar métodos de muestreo más inteligentes —como buscar primero las interacciones de "bajo orden" más importantes— para obtener una respuesta lo suficientemente buena sin esperar una eternidad.

En última instancia, el artículo no pretende haber encontrado la única forma perfecta de usar SHAP. En su lugar, clarifica las decisiones técnicas que los usuarios están tomando, a menudo sin darse cuenta, cuando ejecutan el software. Los autores sugieren que la conexión entre explicar los modelos de IA y el análisis de sensibilidad es una conexión fascinante que podría conducir a mejores métodos en el futuro. Sin embargo, advierten que no existe un único valor de Shapley "correcto" para cada situación; la respuesta "correcta" depende de qué pregunta estás intentando responder y qué tipo de datos de fondo eliges para comparar. Así que, aunque SHAP nos ayuda a asomarnos dentro de la caja negra, el artículo nos recuerda que todavía debemos ser cuidadosos con la forma en que interpretamos la luz que vemos.