From Mechanistic to Compositional Interpretability

Resumen Técnico: De la Interpretabilidad Mecanicista a la Composicional

Enunciado del Problema
La interpretabilidad mecanicista busca desentrañar los modelos neuronales en componentes comprensibles para el humano. Sin embargo, los enfoques actuales carecen de un marco formal, lo que hace que las explicaciones sean difíciles de verificar, comparar o componer de manera objetiva. Los métodos existentes a menudo aproximan la fidelidad en lugar de imponerla estructuralmente. Además, sin una definición medible de la calidad de la interpretación, las explicaciones corren el riesgo de convertirse en "historias ad hoc" que se correlacionan con el comportamiento superficial pero fallan en capturar los mecanismos internos. El desafío central es definir la interpretabilidad de modo que sea composicional (las partes suman al todo), fiel (coincide con el cómputo interno) y concisa (baja longitud de descripción para los humanos).

Metodología
Los autores introducen la Interpretabilidad Composicional, un marco fundamentado en la teoría de categorías y el principio de Longitud Mínima de Descripción (MDL).

1. Definiciones Formales mediante Teoría de Categorías:

   • Modelo Composicional: Definido como una tupla $(D, S, C, [[\cdot]])$, donde $D$ es un diagrama de cadenas que representa la sintaxis (estructura) del modelo, $S$ es la categoría sintáctica, $C$ es la categoría semántica (implementación concreta) y $[[\cdot]]$ es un funtor que mapea la sintaxis a la semántica.
   • Interpretación Composicional: Definida como un par de mapeos: una interpretación basada en sintaxis $I_S: S \to H$ (asignando explicaciones a componentes estructurales) y una interpretación basada en semántica $I_C: C \to H$ (asignando explicaciones a comportamientos).
   • Conmutatividad: Una interpretación válida requiere que el diagrama conmute ($I_S = I_C \circ [[\cdot]]$). Esto impone consistencia, asegurando que las explicaciones derivadas de la estructura del modelo se alineen con las explicaciones derivadas de su comportamiento observado.

2. Optimización mediante MDL:

   • La interpretabilidad se enmarca como un problema de optimización con restricciones: encontrar la explicación más concisa que permanezca fiel a la semántica del modelo.
   • Fidelidad: Se mide por el costo de información requerido para corregir una explicación y que coincida con la semántica verdadera del modelo. Los autores definen la fidelidad composicional, que requiere que la explicación permita la reconstrucción de las semánticas de componentes individuales, no solo del comportamiento global de entrada-salida.
   • Complejidad: Se mide por la Longitud de Descripción Composicional ($L(M, I_S)$), que se descompone en:
     • Complejidad de Representación ($L_{rep}$): El costo de describir la sintaxis y la complejidad semántica de los componentes atómicos.
     • Complejidad de Interpretación ($L_{int}$): El costo subjetivo de alinear estos componentes con conceptos humanos.
   • La longitud total de descripción sirve como límite superior para la longitud mínima de descripción de la explicación en sí misma.

3. Refinamiento Compresivo:

   • Para optimizar la interpretabilidad, el artículo propone Refinamiento Sintáctico: un funtor $R: S \to S'$ que reestructura la sintaxis del modelo preservando la semántica ($[[\cdot]] = [[\cdot]]' \circ R$).
   • El Refinamiento Compresivo ocurre cuando esta reestructuración reduce la complejidad de representación ($L_{rep}(M') \leq L_{rep}(M)$).
   • Criterio de Parsimonia: Un refinamiento produce una mejor explicación solo si la reducción en la complejidad de representación supera cualquier aumento en la complejidad de interpretación.

Contribuciones Clave

• Marco Formal: El artículo establece una base de teoría de categorías para la interpretabilidad, distinguiendo entre sintaxis (estructura) y semántica (comportamiento) y requiriendo su alineación mediante diagramas conmutativos.
• Objetivo Cuantificable: Plantea la interpretabilidad como un problema de optimización con restricciones utilizando MDL, separando la fidelidad (distorsión) y la complejidad (longitud de descripción).
• Refinamiento Compresivo: Introduce un método sistemático para reestructurar modelos en partes más simples sin alterar su función, generalizando los métodos mecanicistas existentes (como la descomposición basada en dispersión) como subclases de refinamiento.
• Criterio de Parsimonia y Garantías Teóricas:
  • Los autores demuestran que el refinamiento compresivo garantiza explicaciones más concisas si la distribución de codificación es comonótona con la distribución de interpretación (vinculando la simplicidad estructural con la comprensibilidad humana).
  • Invocan la Dispersión Composicional (Teorema 4.5) para argumentar que las redes profundas de tamaño polinomial aproximan funciones que admiten descomposiciones dispersas, asegurando que la búsqueda de "átomos de cómputo" sea factible y no conduzca a tamaños de diagramos inmanejables.
  • Formalizan el Principio Débil del Optimismo Explicativo, sugiriendo que si un modelo funciona bien, sus mecanismos centrales son probablemente comprensibles para el humano, justificando el uso de la compresión como filtro para estos mecanismos.

Resultados y Afirmaciones
El artículo no presenta nuevos experimentos empíricos, sino que ofrece una unificación teórica y una prueba de concepto:

• Demuestra que los métodos mecanicistas prominentes (por ejemplo, aquellos que utilizan heurísticas de dispersión) pueden considerarse instancias específicas de refinamiento sintáctico.
• Prueba que, bajo el criterio de parsimonia, minimizar la complejidad de representación garantiza teóricamente explicaciones más concisas y alineadas con el humano, siempre que se mantenga el prior de "optimismo explicativo".
• Aclara por qué las heurísticas de compresibilidad a menudo se alinean con la interpretabilidad humana: eliminan redundancias para aislar mecanismos centrales que corresponden a conceptos humanos.

Significado
El artículo afirma proporcionar una base medible y optimizable para automatizar el descubrimiento y la evaluación de explicaciones mecanicistas. Al pasar del desmontaje ad hoc a un marco composicional formal, aborda la falta de verificación objetiva en la investigación actual de la interpretabilidad. La obra sitúa la interpretabilidad como un objetivo de optimización continuo en lugar de una restricción arquitectónica binaria, cerrando la brecha entre la interpretabilidad intrínseca y la explicación post-hoc. Los autores sugieren que el trabajo futuro puede aprovechar este marco para integrar el refinamiento compresivo con la inferencia causal y utilizar herramientas como redes tensoriales para una optimización escalable.