Actionable Interpretability Must Be Defined in Terms of Symmetries

Resumen Técnico: La interpretabilidad accionable debe definirse en términos de simetrías

1. Planteamiento del problema

El artículo sostiene que la investigación actual en Inteligencia Artificial (IA) interpretable es fundamentalmente mal planteada (ill-posed). Si bien existen numerosas definiciones de interpretabilidad (por ejemplo, Kim et al., 2016; Miller, 2019; Doshi-Velez & Kim, 2017), estas son en gran medida informales y descriptivas. En consecuencia, el campo carece de:

1. Un marco formal para verificar si un modelo es interpretable.
2. Un conjunto de principios de diseño para construir modelos interpretables.

Las definiciones existentes no especifican cómo se puede probar o diseñar la interpretabilidad de manera formal. Los autores postulan que, sin una base rigurosa, se pasan por alto limitaciones clave y el campo permanece fragmentado en listas de propiedades deseables (por ejemplo, dispersión, modularidad) en lugar de principios unificados.

2. Metodología: El marco basado en simetrías

Inspirados en el Programa de Erlangen (Klein, 1893), los autores proponen que una definición accionable de interpretabilidad debe formularse en términos de simetrías (transformaciones que preservan la estructura). Adoptan una vispectiva probabilística composicional utilizando categorías de Markov (específicamente la categoría BorelStoch) para formalizar a los usuarios humanos y los modelos.

La metodología introduce cuatro simetrías específicas que, al cumplirse, caracterizan la clase de modelos interpretables para un usuario humano $h$ dado:

• Simetría I: Equivarianza de Inferencia

  • Definición: Un modelo $P_{Y|X}$ es interpretable si un usuario puede "simular" el proceso de decisión del modelo. Formalmente, debe existir un "modelo mental" $P^{[h]}_{Y|X}$ en el espacio de hipótesis del usuario $H_m$ tal que traducir las entradas al espacio del usuario y predecir arroje el mismo resultado que predecir en el espacio original y luego traducir la salida.
  • Mecanismo: Esto se representa mediante un diagrama conmutativo donde la ruta de traducción-luego-predicción es igual a predicción-luego-traducción.
  • Limitación: Verificar esto de manera ingenua es intratable para espacios de entrada grandes (Desafío C1).

• Simetría II: Invarianza de Información

  • Definición: Para abordar la intratabilidad, el modelo debe retener solo la información de entrada suficiente para la tarea, descartando detalles irrelevantes.
  • Mecanismo: Un mapa suprayectivo $P_{Z|X}$ comprime la entrada $X$ en una variable latente $Z$ tal que la información mutua $I(Y; X)$ sea invariante bajo marginalización ($I(Y; X|Z) = 0$).
  • Resultado: Esto reduce la verificación de la equivariancia de inferencia desde el espacio exponencial de $X$ al espacio tratable de $Z$.

• Simetría III: Invarianza de Clausura de Conceptos

  • Definición: Para asegurar que la traducción entre las salidas del modelo y la comprensión humana sea "sólida" (preserve el significado), el modelo debe operar sobre conceptos que se alineen con la semántica humana.
  • Mecanismo: Utilizando el Análisis de Conceptos Formales, un "concepto" se define como un punto fijo de una relación entre objetos y enunciados. Una traducción $\tau_C$ es sólida si preserva la clausura de conceptos (el diagrama de objetos, enunciados y sus mapeos conmuta).
  • Resultado: Esto asegura que las variables latentes utilizadas por el modelo correspondan a conceptos comprensibles para el humano, evitando interpretaciones conflictivas.

• Simetría IV: Invarianza Estructural

  • Definición: La estructura interna del modelo debe ser compatible con las capacidades cognitivas del usuario (su "modelo mental" o espacio de hipótesis $H_m$).
  • Mecanismo: Si un usuario solo puede razonar linealmente, el modelo debe ser lineal. Formalmente, las propiedades estructurales se preservan bajo un funtor $F$ que mapea la categoría de modelos interpretables a la categoría de modelos mentales humanos.
  • Resultado: Esto hace que la interpretabilidad sea explícitamente centrada en el usuario; un modelo es interpretable solo si su complejidad estructural coincide con la capacidad de razonamiento del usuario.

3. Contribuciones clave

A. Definición formal de modelos interpretables
Los autores definen un modelo interpretable como aquel que satisface las cuatro simetrías. Construyen una Categoría de Modelos Interpretables ($I_m$) como una subcategoría de BorelStoch.

• Objetos: Espacios de conceptos ($C_1, \dots, C_k$).
• Procesos: Probabilidades condicionales basadas en conceptos, mapas de copia y mapas de descarte.
• Composición: Reglas de composición secuencial y paralela.
  Esta categoría sirve como una "receta" (vía diagramas de cuerdas) para construir cualquier modelo interpretable.

B. Unificación de tipos de inferencia como Inversión Bayesiana
El artículo demuestra que, bajo este marco, tres tipos críticos de inferencia utilizados en la interpretabilidad se unifican como formas de inversión bayesiana:

1. Alineación de conceptos: Aprender conceptos humanos computando la distribución posterior de los parámetros dada la evidencia del concepto real.
2. Intervenciones: Actualizar el estado del modelo basándose en intervenciones externas (por ejemplo, cálculo $do$ o anulaciones de la verdad de base) mediante inferencia posterior.
3. Contrafácticos: Reescribir el modelo para aislar variables exógenas (abducción), intervenir y predecir resultados en el modelo modificado.

C. Derivación de propiedades existentes
El marco muestra que las propiedades citadas frecuentemente como deseables en la literatura (dispersión, compacidad, fidelidad, modularidad) no son axiomas primitivos, sino consecuencias de satisfacer las simetrías propuestas. Por ejemplo:

• La dispersión y la compacidad surgen de la Invarianza de Información.
• La fidelidad y la alineación surgen de la Invarianza de Clausura de Conceptos.
• Los requisitos de linealidad o monotonicidad surgen de la Invarianza Estructural.

4. Resultados y afirmaciones

El artículo no presenta nuevos puntos de referencia experimentales o resultados empíricos. En su lugar, sus "resultados" son teóricos y estructurales:

• Tractabilidad: Al imponer la Invarianza de Información, el artículo afirma resolver la intratabilidad de verificar la equivariancia de inferencia en espacios de alta dimensión.
• Solidez (Soundness): Al imponer la Invariancia de Clausura de Conceptos, el artículo proporciona un criterio formal para distinguir traducciones sólidas (ej. "negro" $\to$ "noir") de las que no lo son.
• Centrado en el usuario: Al imponer la Invarianza Estructural, el artículo formaliza que la interpretabilidad no es una propiedad intrínseca de un modelo, sino una relación entre el modelo y el espacio de hipótesis de un usuario específico.
• Unificación: El artículo afirma unificar tareas de inferencia dispares (alineación, intervención, contrafácticos) bajo una única operación matemática (inversión bayesiana dentro de una categoría de Markov).

5. Significado y llamado a la acción

El artículo argumenta que su importancia radica en desplazar el campo de la enumeración informal de propiedades hacia la verificación formal vía simetrías.

• Refutación al escepticismo: Los autores abordan la visión de que "no existe una definición matemática universal" argumentando que las simetrías proporcionan un marco universal que incorpora el centrado en el usuario (vía $H_m$) sin sacrificar el rigor matemático.
• Refutación a las preocupaciones de accesibilidad: Argumentan que, aunque el formalismo (teoría de categorías) es riguroso, las simetrías admiten interpretaciones intuitivas a nivel de ejemplos accesibles para una audiencia amplia.
• Dirección futura: Los autores llaman a la comunidad a:
  1. Mapear los métodos de interpretabilidad existentes a estas cuatro simetrías.
  2. Identificar qué simetrías se asumen implícitamente o se violan en los trabajos actuales (por ejemplo, notar que los Modelos de Cuello de Botella de Conceptos pueden satisfacer la Clausura de Conceptos, pero pueden fallar en la Invarianza Estructural si utilizan redes neuronales profundas sin restricciones).
  3. Desarrollar nuevos métodos que sean explícitamente "completos en simetría" para sus tareas y usuarios previstos.

En resumen, el artículo postula que la interpretabilidad accionable no es una cualidad vaga, sino una propiedad estructural específica definida por cómo un modelo preserva la información, los conceptos y la estructura en relación con un usuario humano, todo lo cual puede ser diseñado y verificado formalmente utilizando el marco de simetría propuesto.