Resumen Técnico: Aprendizaje de Representaciones Coherentes: Un Enfoque Topológico para la Interpretabilidad

Planteamiento del Problema

Las redes neuronales profundas (DNN) suelen aprender representaciones donde las características latentes individuales carecen de un significado interpretable. Si bien el entrenamiento de clasificación separa con éxito los manifolds de clase en el espacio latente, esto no garantiza que las neuronas individuales correspondan a conceptos comprensibles para los humanos. En entornos no supervisados como los autoencoders, el problema se exacerba: sin etiquetas de clase que guíen la separación, las redes pueden aprender representaciones donde las muestras semánticamente relacionadas están dispersas, y las características individuales se activan en subconjuntos incoherentes y desconectados del manifold de los datos.

Las técnicas de regularización existentes, como la dispersión (L1), fomentan que las características se activen en pocos ejemplos, pero no logran asegurar que dichos ejemplos estén geométricamente relacionados. Una característica dispersa puede seguir activándose en regiones dispersas del manifold de datos. Por el contrario, los circuitos neuronales biológicos (por ejemplo, las células de red y las células de dirección de la cabeza) logran la interpretabilidad mediante la localidad: las neuronas responden a regiones contiguas del espacio de estados. Este artículo postula que la localidad es un principio de diseño para códigos neuronales interpretables y busca formalizar este principio para imponerlo en las redes neuronales artificiales.

Metodología

1. Marco Teórico: Matrices Coherentes

Los autores introducen la coherencia, una propiedad geométrica inspirada en la codificación neuronal y fundamentada en el análisis de datos topológicos (TDA). Modelan el espacio latente de una red con activaciones no negativas como una matriz no negativa $M$, donde las filas representan muestras y las columnas representan características.

Una matriz se define como $\epsilon$-coherente si satisface dos condiciones:

1. $\epsilon$-localidad: Cada fila (muestra) atiende a un conjunto de columnas (características) agrupadas geométricamente, y viceversa. Esto se cuantifica mediante la varianza de Fréchet. Específicamente, el mapa baricéntrico $\phi$ (que mapea una muestra al promedio ponderado de las características) y $\psi$ (que mapea una característica al promedio ponderado de las muestras) deben tener una varianza baja en relación con las características/muestras reales.
2. $\epsilon$-cobertura: Cada muestra está bien descrita por alguna característica, y cada característica es necesaria para alguna muestra. Esto asegura que ninguna parte del espacio quede sin cubrir o sea redundante.

Garantía Topológica:
El artículo demuestra que, si una matriz es $\epsilon$-coherente y los mapas baricéntricos son Lipschitz continuos, las filtraciones de Vietoris-Rips de las muestras y las características están $\epsilon^{1/2}$-entrelazadas. Esto implica que el espacio de muestras y el espacio de características comparten estructuras topológicas compatibles. Por ejemplo, si los datos yacen sobre un círculo, las características coherentes deben tejer ese círculo en arcos contiguos, asegurando que el espacio de características refleje la topología del espacio de muestras.

2. El Objetivo COH

Para imponer la coherencia durante el entrenamiento, los autores derivan un objetivo diferenciable llamado COH, basado en la varianza de Fréchet.

• Normalización: El método utiliza la normalización L1 al cuadrado para tratar las filas y columnas como distribuciones de probabilidad.
• Componentes de Pérdida: La pérdida penaliza las cantidades de varianza (localidad) y cobertura tanto para las filas como para las columnas.
• Implementación: El objetivo se añade a cualquier arquitectura con activaciones no negativas (por ejemplo, usando Softplus). Calcula los mapas baricéntricos y sus varianzas, agregando los casos más deficientes (top-$k$) para asegurar la robustez contra valores atípicos.

Contribuciones Clave

1. Definición de Coherencia: Los autores definen formalmente la $\epsilon$-coherencia para matrices no negativas, vinculándola con el entrelazamiento de las filtraciones de Vietoris-Rips. Esto proporciona una garantía teórica de que el espacio latente de las muestras y el espacio latente de las características comparten una topología compatible.
2. Objetivo Diferenciable (COH): Introducen COH, una función de pérdida práctica que impone restricciones de localidad y cobertura. A diferencia de la dispersión, que limita el número de activaciones, COH limita la conectividad geométrica de las activaciones.
3. Validación Empírica: El método se valida en tres entornos distintos:
   • Datos Sintéticos: Recuperación de la topología de círculos disjuntos.
   • MNIST Rotado: Aprendizaje de características interpretables para dígitos rotados.
   • Modelos de Lenguaje: Aplicación de la coherencia a los embeddings de tokens de BERT para obtener características interpretables alineadas con categorías legibles por humanos.

Resultados Experimentales

Autoencoders de Datos Sintéticos y MNIST Rotado

• Recuperación de la Topología: En el experimento de juguete de "Dos Círculos", los autoencoders estándar y los modelos con regularización L1 fallaron en producir un espacio de características con la topcción circular correcta. Solo el modelo COH recuperó la topología circular disjunta esperada tanto en el espacio de muestras como en el de características.
• Dígito Único (MNIST Rotado): Para un solo dígito rotado (6), COH logró un 100% de características ajustadas (características que se activan en arcos de rotación coherentes), frente al 63% de L1. Las características de COH eran menos dispersas pero significativamente más interpretables respecto al ángulo de rotación.
• Dígito Doble (MNIST Rotado): En un entorno más complejo con dos dígitos, COH produjo consistentemente espacios latentes coherentes. Aunque las métricas de interpretabilidad (como la pureza) variaron entre semillas debido a la existencia de múltiples soluciones coherentes válidas (por ejemplo, círculos separados vs. círculos fusionados), las métricas de coherencia (Localidad y Cobertura) se mantuvieron estables. Combinar COH con la dispersión L1 guio con éxito al modelo hacia una solución desenredada con una separación de clases fiable.

Embeddings de Tokens de BERT

• Configuración: Se entrenó un modelo BERT pequeño con embeddings de tokens no negativos (vía Softplus) y el objetivo COH.
• Interpretabilidad:
  • Solapamiento: Las características en el modelo COH mostraron un solapamiento significativamente mayor con los vecindarios de los tokens más cercanos de un modelo BERT estándar (con signo) (Solapamiento Medio: 0.45 vs. 0.22 para solo Softplus).
  • Categorías Legibles por Humanos: Usando un LLM (Claude Opus) para juzgar la interpretabilidad, 87.6 de 256 características en el modelo COH fueron consideradas interpretables, en comparación con 0 para la línea base de solo Softplus.
  • Categorías Identificadas: Las características de COH se alinearon con categorías semánticas específicas, incluyendo años, términos de parentesco, nombres de lugares, unidades de medida, adverbios de duda, preposiciones de dirección y tipos de verbos específicos (ej. movimiento, cognición, pasado).

Significancia y Reivindicaciones

El artículo afirma proporcionar un marco riguroso para acoplar muestras latentes y características latentes de modo que compartan una topología compatible. La importancia radica en desplazar el enfoque de la interpretabilidad de la característica individual hacia la interpretabilidad del espacio de características en su totalidad.

• Garantía Geométrica: El trabajo demuestra que imponer la conectividad geométrica (coherencia) produce características que no solo son dispersas, sino que están estructuralmente alineadas con el manifold de los datos.
• Complementariedad: Los autores señalan que la coherencia es complementaria a otros objetivos; por ejemplo, la dispersión puede usarse para seleccionar entre múltiples soluciones coherentes válidas sin sacrificar la garantía geométrica.
• Limitaciones: Los autores reconocen modestamente que la suposición de Lipschitz en los mapas baricéntricos se verifica empíricamente en lugar de ser impuesta. También señalan que el método no controla qué solución coherente específica se encuentra en configuraciones complejas de múltiples clases (por ejemplo, si los dígitos se fusionan o se separan), aunque garantiza que la solución sea coherente.

El trabajo conecta el análisis de datos topológicos, la neurociencia y el aprendizaje de representaciones, ofreciendo tanto una base teórica (vía analogías de dualidad de Dowker e entrelazamiento) como una herramienta práctica para aprender espacios latentes interpretables sin necesidad de supervisión explícita.