Resumen Técnico: El Límite Representacional de las Interacciones Escalares

1. Planteamiento del Problema

El artículo aborda una limitación fundamental en la IA Explicable (XAI) con respecto a cómo se cuantifica la cooperación de características en las redes neuronales profundas. Los paradigmas actuales dependen de puntuaciones de interacción de pares con signo (por ejemplo, el Índice de Interacción de Shapley, Faith-SHAP) para explicar las dependencias entre características. Estos métodos asignan un único valor escalar a un par de características, interpretando los valores positivos como sinergia y los negativos como redundancia.

Los autores argumentan que este enfoque escalar es fundamentalmente defectuoso porque conglama tres mecanismos cooperativos distintos:

1. Unicidad (U): El valor predictivo que una característica proporciona y que ninguna otra puede aportar.
2. Redundancia (R): El valor predictivo compartido entre múltiples características.
3. Sinergia (S): El valor predictivo que emerge solo cuando las características se combinan, excediendo la suma de sus contribuciones individuales.

El problema central es que un escalar único no puede codificar simultáneamente estas tres dimensiones ortogonales. El artículo demuestra que, en Modelos Causales Estructurales (SCM) de orden superior mínimos, específicamente un XOR de 3 vías, los índices fieles devuelven cero (borrando la señal), mientras que los índices proyectivos redistribuyen la señal de orden superior en coeficientes espurios de orden inferior, fallando al distinguir el mecanismo subyacente.

2. Metodología: Stochastic Hi-Fi

Para resolver este cuello de botella representacional, los autores introducen Stochastic Hi-Fi, un estimador post-hoc que no requiere reentrenamiento y que descompone la importancia de las características en perfiles de U/R/S por característica.

Cambio Operativo Central

A diferencia de los métodos que dependen del reentrenamiento de modelos en subconjuntos de características (que responden a lo que un modelo podría aprender) o de las descomposiciones de varianza observacional (que no pueden disambiguar la sinergia de la redundancia sin intervención), Stochastic Hi-Fi utiliza la inferencia con máscara intervencional.

• Pérdida Intervencional: Para una coalición de características $S$, el método calcula la pérdida esperada $L(S)$ enmascarando las características en $S$ y reemplazándolas con muestras de una distribución de fondo $p_{bg}$ (el marginal de las características inactivas). Esto audita lo que el modelo desplegado realmente utiliza.
• Descomposición LOCO: El método define la ganancia Leave-One-Covariate-Out (LOCO) para una característica $i$ en un contexto $C$ como la reducción en la pérdida cuando $i$ se añade a $C$.
  • Unicidad ($U_i$): La ganancia LOCO mínima a través de todos los contextos (valor predictivo en el contexto menos favorable).
  • Efecto de primer orden ($\pi_i$): La ganancia LOCO en un contexto vacío.
  • Capacidad Predictiva Máxima ($L^{\max}_i$): La ganancia LOCO máxima a través de todos los contextos.
  • Redundancia ($R_i$) y Sinergia ($S_i$): Derivadas algebraicamente como $R_i = \pi_i - U_i$ y $S_i = L^{\max}_i - \pi_i$.

Estrategia de Estimación

Evaluar todas las $2^n$ coaliciones es intratable. Stochastic Hi-Fi emplea un enfoque de vocabulario estocástico:

1. Vocabulario de Coaliciones: Mantiene una tabla de coaliciones visitadas, estimando su media de pérdida y varianza en línea utilizando el algoritmo de Welford.
2. Política de Exploración: Una estrategia $\epsilon$-greedy con un término softmin prioriza las coaliciones submuestreadas, asegurando que cada coalición tenga una probabilidad no nula de ser muestreada (condición de masa positiva).
3. Muestreo de Diamante (Diamond Sampling): Para reducir la varianza en la estimación de las interacciones de pares (la diferencia mixta $\Delta_{ij}$), el método evalúa cuatro coaliciones estructuralmente adyacentes ($C, C\cup\{i\}, C\cup\{j\}, C\cup\{i,j\}$) utilizando el mismo lote de fondo. Este acoplamiento de "diamante" aprovecha la covarianza positiva entre coaliciones adyacentes para cancelar el ruido, siempre que se cumpla una condición de covarianza de dominancia de adyacencia.

3. Contribuciones Clave

1. El Teorema de la Conflación (Teórico)

Los autores demuestran el Teorema 1, evidenciando que en un SCM de XOR de 3 vías mínimo, ningún índice escalar puede representar conjuntamente U, R y S.

• Los índices fieles (ej. Shapley-Taylor) devuelven exactamente cero para todos los pares, borrando la señal de orden superior.
• Los índices proyectivos (ej. SII estándar) redistribuyen el efecto del triplete en coeficientes de pares espurios de magnitud $\pm 1/4$.
• Conclusión: El fallo es representacional, no computacional. El espacio de salida debe cambiar de un escalar a un vector (U, R, S).

2. Estimador Stochastic Hi-Fi (Metodológico)

El artículo introduce un estimador sin reentrenamiento con garantías estadísticas rigurosas:

• Semántica Intervencional: Audita modelos desplegados mediante inferencia con máscara en lugar de reentrenamiento.
• Límites de Muestra Finita: Proporciona límites de concentración tipo Hoeffding para la aproximación de Monte Carlo de las pérdidas de las coaliciones.
• Reducción de Varianza: Demuestra que el muestreo de "diamante" reduce estrictamente la varianza en comparación con el muestreo independiente bajo condiciones de covarianza específicas (Teorema 3).
• Convergencia: Establece garantías de convergencia uniforme para el perfil U/R/S sobre un vocabulario finito.

3. Validación Empírica

El método se valida en tres dominios distintos:

• SCMs Tabulares: Stochastic Hi-Fi recupera la estructura real de U/R/S de los modelos XOR y AND-OR, mientras que los baselines escalares fallan al distinguir los mecanismos (ratios de recuperación hasta 411$\times$ mayores que los baselines).
• Circuitos de Transformers (GPT-2): Aplicado al circuito de Identificación de Objeto Indirecto (IOI), separa las cabezas de respaldo redundantes de los pares de cabezas sinérgicas. Identifica cabezas que son invisibles para el parcheo de activación de primer orden (bajo efecto de un elemento único) pero que portan una sustancial sinergia a nivel de par.
• Imagen Médica (ChestX-ray14): En un modelo DenseNet121, el método iguala a GradCAM en el Juego de Apuntar (localización), pero supera significativamente su desempeño en el AUC de Eliminación (fidelidad causal), demostando que los perfiles de cuadrícula gruesa de U/R/S preservan mejor la fidelidad causal que los mapas de saliencia estándar.

4. Resultados y Reclamaciones

Métricas de Rendimiento

• SCMs: En el XOR de 3 vías, los baselines escalares confluyen roles distintos con ratios de hasta 411$\times$. Stochastic Hi-Fi recupera el perfil dominante de sinergia para las características activas y separa la característica espectadora.
• GPT-2 IOI: La descomposición revela que los pares dentro del mismo rol (ej. cabezas de inhibición de S) están dominados por la redundancia, mientras que los pares de roles cruzados (ej. Inducción + Inhibición de S) están dominados por la sinergia. Identifica con éxito cabezas con unicidad negativa (indicando comportamiento de respaldo) y alta sinergia a pesar de bajos puntajes de primer orden.
• ChestX-ray14:
  • Localización: La precisión del Juego de Apuntar es estadísticamente indistinguible de GradCAM ($p=0.140$). El IoU@15 muestra un déficit pequeño pero significativo, atribuido a la cuadrícula gruesa de $14\times14$.
  • Fidelidad Causal: El AUC de Eliminación mejora sustancialmente de 0.332 (GradCAM) a 0.269 ($p=1.61 \times 10^{-78}$), indicando un desempeño superior en la identificación de características cuya eliminación degrada el rendimiento del modelo.

Significado y Alcance

El artículo sostiene que la interacción de pares con signo es una proyección útil pero no es una explicación completa de la cooperación.

• Desentrelazamiento de Mecanismos: La contribución principal es el cambio del codominio de salida de un escalar a un perfil desentrelazado de mecanismos (U, R, S), permitiendo a los investigadores distinguir entre contribuciones únicas, redundantes y sinérgicas.
• Fidelidad del Modelo: Al evitar el reentrenamiento, el método audita el modelo específico desplegado en lugar de uno hipotético reentrenado.
• Limitaciones: Los autores señalan explícitamente que las estimaciones de unicidad ($U_i$) son límites superiores conservadores cuando el vocabulario no es exhaustivo. En imágenes, las cuadrículas gruesas sacrifican resolución espacial por fidelidad causal. El método depende de la elección de la distribución de fondo $p_{bg}$, la cual define el estimando y requiere un reporte de sensibilidad explícito.

El artículo concluye que las explicaciones de interacción deben reportar mecanismos, no solo signos, y que Stochastic Hi-Fi proporciona un marco post-hoc tratable para ello con una semántica intervencional estricta.