Towards Attributions of Input Variables in a Coalition

Este artículo aborda el desafío de particionar variables de entrada en métodos de atribución para IA explicable mediante el análisis de interacciones lógicas y la extensión del valor de Shapley, proponiendo nuevas métricas para evaluar la fidelidad de las coaliciones y resolver conflictos de atribución validados en diversos dominios.

Lo esencial

Imagina que tienes un equipo de cocina muy complejo (una Inteligencia Artificial) que prepara un plato delicioso. Quieres saber quién fue el verdadero héroe de la receta: ¿fue el chef principal? ¿El que cortó las verduras? ¿O fue la combinación mágica de tres ingredientes específicos?

Hasta ahora, los científicos tenían dos formas de responder:

1. Método individual: Decir "El chef aportó un 20% del sabor, el cortador un 10%".
2. Método de grupo: Decir "El grupo de los que cortaron verduras aportó un 30%".

El problema: A veces, si sumas los puntos individuales (20% + 10%), no te da el mismo resultado que el punto del grupo (30%). ¡Hay una discrepancia! Los científicos se preguntaban: "¿Por qué pasa esto? ¿Es el grupo un buen equipo o es solo una suma de extraños?"

Este paper, escrito por investigadores de la Universidad Jiao Tong de Shanghái, resuelve este misterio con una idea brillante y sencilla.

1. La metáfora del "Equipo vs. Individuo"

Imagina que la IA es un equipo de fútbol.

• Atribución individual: Es como decir cuánto vale cada jugador por separado (el goleador, el portero).
• Atribución de coalición (grupo): Es decir cuánto vale un trío específico que juega juntos (por ejemplo, el delantero, el mediocampista y el lateral derecho trabajando en conjunto).

El problema es que a veces el valor del trío no es igual a la suma de los valores individuales. ¿Por qué? Porque en el fútbol, la magia no está solo en los jugadores, sino en cómo interactúan.

2. La clave: Las "Interacciones AND-OR"

Los autores descubrieron que la IA funciona como una red de luces y interruptores.

• Interacción AND (Y): Imagina un candado de seguridad. Necesitas TODAS las llaves (ingredientes, palabras, píxeles) a la vez para que se abra. Si falta una, no pasa nada.
  • Ejemplo: En la frase "Lloviendo gatos y perros", la IA entiende "lluvia fuerte" solo si tiene las palabras "lloviendo", "gatos", "y" y "perros" juntas. Si quitas una, la magia desaparece.
• Interacción OR (O): Imagina una alarma de incendio. Si suena CUALQUIERA de las alarmas (humo, calor, fuego), la alarma se activa.
  • Ejemplo: En una reseña de película, si dices "aburrida" O "decepcionante", la IA entiende que es mala. No necesitas las dos.

3. ¿Por qué hay conflicto? (El secreto revelado)

Aquí está la parte genial. Los autores explican que el "conflicto" (cuando la suma de los individuos no iguala al grupo) ocurre por interacciones parciales.

Imagina que tienes un grupo de amigos: Ana, Benito y Carlos.

• Si Ana y Benito son un dúo perfecto (Interacción AND), pero Carlos es un amigo que a veces juega con Ana y a veces con Benito, pero no siempre con los tres juntos...
• Cuando calculamos el valor de Ana y Benito como grupo, contamos su magia perfecta.
• Pero cuando sumamos el valor individual de Ana y el de Benito, también contamos las veces que Ana jugó con Carlos y Benito con Carlos (las interacciones parciales).

La conclusión: El valor del grupo es "puro" (solo cuenta la magia del grupo completo). El valor individual es "sucio" (cuenta la magia del grupo completo más las veces que esos individuos interactuaron con otros que no están en el grupo).

4. La solución: ¿Es un grupo fiel?

Los autores crearon una "regla de verdad" para saber si un grupo de variables (palabras, píxeles, piedras de Go) es un verdadero equipo o solo una mezcla aleatoria.

Usaron tres métricas (como tres tipos de pruebas):

1. ¿Es el grupo el protagonista? (¿La magia ocurre solo cuando están todos juntos?)
2. ¿Son los miembros leales? (¿Sus valores individuales dependen principalmente del grupo?)
3. ¿Es el grupo coherente? (¿Tiene sentido lógico unirse?)

5. ¿Dónde lo probaron?

• En el lenguaje (NLP): Analizaron frases como "Lloviendo gatos y perros". Descubrieron que el grupo "gatos y perros" era un equipo fiel, pero si separabas "gatos" de "perros" y los mezclabas con otras palabras al azar, el grupo perdía su valor.
• En imágenes: En fotos de gatos, los píxeles que forman la oreja funcionaban como un equipo fiel. Si mezclabas píxeles de la oreja con píxeles del fondo, el grupo dejaba de tener sentido.
• En el juego de Go (Ajedrez japonés): ¡Esto es lo más divertido! Analizaron cómo una IA (KataGo) juega. Descubrieron patrones de piedras que los humanos expertos reconocían como buenas jugadas ("shoulder-hit"). Pero también encontraron nuevos patrones que la IA había aprendido pero que los humanos no conocían. ¡La IA les enseñó a los humanos a jugar mejor!

En resumen

Este paper nos dice: "No intentes forzar a que la suma de las partes sea igual al todo. A veces, el todo es más que la suma de las partes porque hay magia en la interacción."

Han creado una herramienta matemática que nos permite:

1. Entender por qué a veces los grupos no suman lo que esperamos.
2. Saber si un grupo de datos (palabras, píxeles) es un "verdadero equipo" o una mezcla confusa.
3. Usar esto para explicar mejor cómo piensan las máquinas, desde entender sentimientos en textos hasta ayudar a ganar en el juego de Go.

Es como tener una lupa mágica que nos permite ver no solo quiénes son los jugadores, sino quiénes juegan realmente bien juntos.

Resumen técnico

Resumen Técnico: Atribuciones de Variables en Coaliciones para IA Explicable

1. Planteamiento del Problema

En el campo de la Inteligencia Artificial Explicable (XAI), un desafío fundamental es la partición de las variables de entrada. Los métodos de atribución basados en el valor de Shapley (y otros como el valor de Banzhaf) calculan la importancia de las variables asumiendo una partición predefinida (por ejemplo, píxeles individuales en imágenes o palabras individuales en texto).

Sin embargo, surge un conflicto de atribuciones cuando se agrupan variables en "coaliciones" (unidades semánticas como frases o regiones de imagen):

• La atribución de una coalición $S$, denotada como $\phi(S)$, a menudo no es igual a la suma de las atribuciones de sus variables individuales $\sum_{i \in S} \phi(i)$.
• La falta de una guía teórica sobre cómo formar particiones significativas y la ausencia de una explicación matemática de por qué ocurre este conflicto han limitado la fiabilidad de estas explicaciones.

El objetivo del trabajo es identificar el mecanismo fundamental de este conflicto y proporcionar una métrica de atribución para coaliciones que sea teóricamente consistente.

2. Metodología y Marco Teórico

Los autores proponen un enfoque basado en la descomposición de los efectos numéricos de las interacciones AND-OR dentro de los modelos de IA.

A. Interacciones AND-OR
El modelo de IA se descompone en efectos de interacciones no lineales:

• Interacción AND ($I_{and}$): Representa relaciones donde la presencia de todas las variables en un conjunto es necesaria para activar un efecto (ej. "lluvia", "gatos", "y", "perros" juntos significan "lluvia torrencial").
• Interacción OR ($I_{or}$): Representa relaciones donde la presencia de cualquier variable en un conjunto activa un efecto.
• Se demuestra que cualquier salida de un modelo de IA puede explicarse exactamente como la suma de estos efectos de interacción (propiedad de coincidencia universal).

B. Reformulación del Valor de Shapley
El artículo demuestra teóricamente que el valor de Shapley $\phi(i)$ de una variable individual es el resultado de una asignación uniforme de los efectos de las interacciones AND-OR a las variables que las componen.

• $\phi(i) = \sum_{S \subseteq N, i \in S} \frac{1}{|S|} [I_{and}(S) + I_{or}(S)]$

C. Nueva Métrica de Atribución para Coaliciones
Extendiendo la lógica anterior, los autores definen una nueva métrica de atribución para una coalición $S$, denotada como $\phi(S)$:

• $\phi(S) = \sum_{T \supseteq S} \frac{|S|}{|T|} [I_{and}(T) + I_{or}(T)]$
• Esta métrica asigna el efecto de una interacción $T$ a la coalición $S$ proporcionalmente al tamaño de la intersección, considerando solo las interacciones que cubren completamente a $S$.

D. Explicación del Conflicto de Atribuciones
El núcleo de la contribución teórica es la Descomposición del Conflicto (Teorema 3.4). Se demuestra que la diferencia entre la suma de las atribuciones individuales y la atribución de la coalición se debe exclusivamente a las interacciones que contienen solo una parte de las variables de la coalición, pero no todas.

• $\sum_{i \in S} \phi(i) = \phi(S) + \phi_{conflict}(S)$
• Donde $\phi_{conflict}(S)$ es la suma de efectos de interacciones $T$ tales que $T \cap S \neq \emptyset$ y $T \cap S \neq S$.
• Conclusión: El conflicto es inevitable si el modelo codifica interacciones que cruzan los límites de la coalición definida. Si el modelo trata a $S$ como una unidad indivisible (sin interacciones parciales), no hay conflicto.

E. Métricas de Fidelidad de la Coalición
Para evaluar si una partición de variables es "fiel" (es decir, si forma una unidad semántica coherente para el modelo), se proponen tres métricas:

1. $R(i)$: Evalúa si el efecto compartido (dentro de la coalición) domina sobre el efecto de conflicto para una variable específica.
2. $R'(i)$: Mide la significancia de una variable dentro de la coalición en comparación con su participación en otras interacciones.
3. $Q(S)$: Evalúa la fidelidad de la coalición completa $S$ midiendo la proporción de efectos asignados a la coalición frente a todos los efectos que involucran sus variables.

3. Resultados Experimentales

Los autores validaron su enfoque en cuatro escenarios distintos:

1. Datos Sintéticos:

   • Se entrenaron redes neuronales para regredir funciones con interacciones conocidas.
   • Las métricas propuestas identificaron correctamente coaliciones "puras" (fidelidad alta, valores cercanos a 1) frente a coaliciones "no fieles" (fidelidad baja, valores cercanos a 0) y parciales.

2. Procesamiento de Lenguaje Natural (NLP):

   • Se utilizaron modelos BERT-large y LLaMA en el dataset SST-2 (análisis de sentimientos).
   • Hallazgo: Frases semánticamente coherentes (ej. "mesmerizing performances") obtuvieron puntuaciones de fidelidad altas. En cambio, agrupaciones arbitrarias que rompían la sintaxis (ej. "rivaling blair" en lugar de "blair witch") mostraron baja fidelidad, alineándose con la intuición humana.

3. Clasificación de Imágenes:

   • Se probaron VGG-11 y ResNet-20 en MNIST y CIFAR-10.
   • Las regiones de imagen que formaban conceptos visuales completos (ej. la cabeza de un caballo) se clasificaron como coaliciones fieles, mientras que regiones aleatorias no lo fueron.

4. Juego de Go (Aplicación Práctica):

   • Se aplicó el método al motor de Go KataGo.
   • Se identificaron patrones de forma (coaliciones de piedras) que influyen en la ventaja del juego.
   • Resultado clave: Los patrones identificados por el modelo coincidían con la intuición de jugadores profesionales de Go (ej. patrones de "golpe de hombro"). Además, el método reveló patrones de largo plazo aprendidos por la red que los humanos no habían considerado explícitamente, ayudando a los expertos a descubrir nuevas interpretaciones de aperturas estándar.

4. Contribuciones Clave

1. Mecanismo Interno del Conflicto: Se clarifica teóricamente que el conflicto entre atribuciones individuales y de coalición no es un error, sino una consecuencia matemática de las interacciones parciales (AND-OR) que cruzan los límites de la coalición.
2. Nueva Métrica de Atribución: Se propone $\phi(S)$, una extensión del valor de Shapley para coaliciones que respeta la estructura de interacciones del modelo.
3. Métricas de Evaluación: Se introducen tres métricas ($R, R', Q$) para cuantificar objetivamente la "fidelidad" de una coalición, permitiendo a los investigadores determinar si una partición de variables es semánticamente válida para el modelo.
4. Validación Empírica: Demostración de consistencia con la intuición humana en NLP, visión por computadora y juegos de estrategia complejos.

5. Significado e Impacto

Este trabajo transforma la comprensión de la XAI al pasar de tratar el conflicto de atribuciones como un problema a "solucionar" mediante pérdida de regularización, a entenderlo como una propiedad inherente de la estructura de interacciones del modelo.

• Guía Teórica: Proporciona criterios matemáticos para decidir cómo agrupar variables (píxeles, palabras, nodos) para obtener explicaciones significativas.
• Interpretabilidad Profunda: Permite a los investigadores y expertos de dominio (como jugadores de Go) entender no solo qué variables son importantes, sino cómo el modelo las agrupa conceptualmente para tomar decisiones.
• Descubrimiento de Conocimiento: La capacidad de detectar coaliciones fieles permite descubrir patrones ocultos en modelos de caja negra que pueden ser nuevos para la comunidad humana.

En resumen, el artículo establece una base teórica sólida para la atribución en coaliciones, resolviendo la paradoja de la partición de variables mediante la descomposición de interacciones AND-OR y ofreciendo herramientas prácticas para evaluar la calidad de las explicaciones en IA.