Critical Percolation as a Synthetic Data Model for Interpretability

Resumen Técnico: Percolación Crítica como Modelo de Datos Sintéticos para la Interpretabilidad

Declaración del Problema
Las redes neuronales profundas aprenden características que reflejan la estructura jerárquica y multiescala de los datos naturales. Sin embargo, los conjuntos de datos sintéticos utilizados actualmente para evaluar métodos de interpretabilidad mecánica carecen de esta estructura realista, lo que limita su utilidad como modelos de juguete. Los modelos sintéticos existentes pueden capturar la dispersión o la jerarquía de forma aislada, pero no logran unificar propiedades como las estadísticas de ley de potencia, la baja dimensionalidad intrínseca y la autosimilitud presentes en las distribuciones de datos naturales. Además, la "maldición de la dimensionalidad" implica que los datos naturales deben poseer una alta estructura para ser aprendibles de manera eficiente. La investigación actual en interpretabilidad, particularmente respecto a los Autoencoders Dispersos (SAEs), observa fenómenos como la división y absorción de características, lo que sugiere que las características aprendidas poseen una organización jerárquica compleja que los modelos simples de dispersión no capturan plenamente. Existe la necesidad de un modelo de datos con principios analíticos tratables que incorpore estas propiedades estructurales para servir como un banco de pruebas realista para la investigación de la interpretabilidad.

Metodología
Los autores introducen una familia de conjuntos de datos sintéticos basados en la teoría de la percolación de campo medio crítica. El modelo se construye a través de los siguientes componentes:

1. Generación de Datos mediante Percolación:

   • Espacio: Los puntos de datos se extraen de una red hipercúbica de alta dimensión ($\Lambda \subset \mathbb{R}^d$).
   • Criticidad: Los sitios se ocupan con una probabilidad $p = p_c$ (el umbral crítico), asegurando que el sistema se encuentre en un régimen crítico donde los cúmulos exhiben propiedades fractales y distribuciones de tamaño de ley de potencia ($n_s \propto s^{-5/2}$).
   • Supuesto de Campo Medio: Se asume que la dimensión $d$ es suficientemente grande ($d \gg 6$) de modo que la red se comporte como una red de Bethe (un árbol), haciendo que el modelo sea analíticamente tratable.
   • Geometría: Los cúmulos resultantes son fractales dispersos de baja dimensión con una dimensión intrínseca $D=4$.

2. Generación de Objetivos Jerárquicos:

   • Los objetivos se generan mediante variables latentes organizadas en una estructura de árbol binario (un "bosque latente").
   • A medida que los enlaces entre sitios ocupados adyacentes se activan, estos fusionan los cúmulos. Se introduce una nueva variable latente por cada fusión, actuando como el padre de las latentes de los sub-cúmulos fusionados.
   • El valor objetivo $y_x$ para un punto de datos $x$ es una función lineal de las variables latentes a lo largo del camino desde la hoja (el punto) hasta la raíz del árbol de su cúmulo, normalizada por la profundidad.

3. El Algoritmo de Coalescencia Cíclica:

   • Simular directamente la percolación en redes de alta dimensión es computacionalmente costoso y no produce explícitamente la descomposición jerárquica.
   • Los autores aprovechan una equivalencia matemática entre los cúmulos de percolación de campo medio crítica, los árboles etiquetados aleatorios uniformes y el proceso de coalescencia aditiva.
   • Proponen un algoritmo de coalescencia cíclica que muestrea conjuntamente un árbol aleatorio y su descomposición jerárquica latente. Al disponer los nodos en un orden cíclico aleatorio e iterar la fusión de un nodo con su sucesor, el algoritmo genera un árbol aleatorio uniforme y la jerarquía correspondiente en un tiempo casi lineal, $O(n \alpha(n))$, donde $\alpha$ es la función inversa de Ackermann.

4. Configuración Experimental:

   • Se generaron dos conjuntos de datos: uno de "un solo cúmulo" ($2 \times 10^5$ puntos) y uno de "múltiples cúmulos" ($2 \times 10^6$ puntos, filtrados para tamaño de cúmulo $\ge 500$).
   • Se entrenó un MLP (Perceptrón Multicapa) residual, diseñado para asemejarse a un bloque feed-forward de un Transformer, en estos conjuntos de datos.
   • Experimentos de Sondeo (Probing): Se entrenaron sondas lineales para decodificar las variables latentes reales a partir de las activaciones de la red neuronal (entrada, capas ocultas y flujo residual).

Contribuciones Clave

1. Un Modelo de Datos Sintéticos con Principios Definidos: El artículo introduce un modelo de datos que unifica la dispersión, la jerarquía taxonómica, las estadísticas de ley de potencia, la baja dimensionalidad intrínseca y la autosimilitud, todo derivado de la teoría de la percolación crítica.
2. Tractabilidad Analítica: El modelo se basa en exponentes críticos conocidos (por ejemplo, $\tau=5/2$, $D=4$) y no requiere el ajuste de hiperparámetros para fijar sus propiedades estadísticas.
3. Algoritmo de Muestreo Eficiente: Los autores desarrollan y prueban la corrección del algoritmo de coalescencia cíclica, permitiendo la generación de conjuntos de datos de percolación jerárquica a escalas arbitrarias en tiempo casi lineal.
4. Validación Empírica: El estudio demuestra que las variables latentes reales en este modelo pueden decodificarse linealmente de las activaciones de la red neuronal, validando la utilidad del modelo para la investigación de la interpretabilidad.

Resultados

• Rendimiento del Modelo: El MLP entrenado alcanzó un rendimiento comparable al de una línea base de 1-vecino más cercano (1NN) y superó significativamente a la regresión Ridge, confirmando la no linealidad y la capacidad de aprendizaje de la tarea.
• Decodificabilidad Lineal: Los experimentos de sondeo revelaron que las variables latentes reales son linealmente representables en las activaciones de la red.
  • Las sondas entrenadas en las activaciones de las capas ocultas lograron consistentemente un Error Cuadrático Medio (MSE) menor que aquellas entrenadas en las entradas originales.
  • La brecha de rendimiento de la sonda respecto a la entrada original disminuyó a medida que aumentó la "Figura de Mérito" (FOM), definida como la relación entre el tamaño del latente y la raíz cuadrada del tamaño del cúmulo.
• Tendencias de Ley de Potencia: El MSE por latente exhibió una tendencia de ley de potencia en función de la FOM, lo que sugiere que la importancia estadística de un latente (determinada por su tamaño y contexto de cúmulo) es un mejor predictor de la decodificabilidad que su profundidad en la jerarquía por sí sola.
• Estructura por Capas: No se observó una progresión clara por capas; el MSE de la sonda fue similar en todos los bloques del MLP. Esto sugiere que la red no necesariamente construye una suma jerárquica capa por capa de manera interpretable, o que la jerarquía se representa de forma distinta a los modelos composicionales.

Significado y Reivindicaciones
El artículo afirma que la percolación crítica proporciona un banco de pruebas con principios definidos para la investigación de la interpretabilidad. Al ofrecer un conjunto de datos con latentes jerárquicos de verdad fundamental y propiedades estructurales realistas (dispersión, leyes de potencia, fractales), permite a los investigadores:

• Validar y mejorar las herramientas de interpretabilidad (como los SAE) frente a una verdad fundamental conocida.
• Investigar si las patologías de los SAE (división y absorción de características) surgen cuando se entrenan con jerarquías taxonómicas.
• Estudiar la relación entre la estructura de los datos y la estructura de las activaciones neuronales.

Los autores posicionan este trabajo como un complemento a los estudios empíricos de los Modelos de Lenguaje Extensos (LLM), ofreciendo un entorno controlado para probar hipótesis sobre cómo las redes neuronales aprenden características jerárquicas. Expresan explícitamente las limitaciones, como el supuesto de población de datos aleatoria y su soporte actual para la regresión escalar en lugar de la clasificación de tokens, presentándolas como direcciones para trabajos futuros en lugar de soluciones inmediatas. El trabajo no pretende resolver la interpretabilidad, sino proporcionar un entorno sintético riguroso y matemáticamente fundamentado para facilitar dicha investigación.