Absolute abstraction: a renormalisation group approach

El artículo propone que la abstracción absoluta en redes neuronales depende tanto de la profundidad como de la amplitud del conjunto de datos, demostrando mediante un enfoque de grupo de renormalización y experimentos numéricos que las representaciones convergen hacia un modelo de características jerárquicas a medida que aumenta la diversidad de los datos y la profundidad de la red.

Lo esencial

Imagina que tu cerebro es como un chef experto y los datos que recibe (fotos, sonidos, textos) son ingredientes crudos.

Este paper, titulado "Abstracción Absoluta: un enfoque de grupo de renormalización", nos cuenta una historia fascinante sobre cómo aprendemos a entender el mundo, no solo memorizándolo, sino resumiéndolo.

Aquí tienes la explicación sencilla, usando analogías de la vida real:

1. El problema: ¿Memorizar o Entender?

Imagina que tienes que aprender a reconocer animales.

• Nivel superficial (Capas poco profundas): Ves un gato y memorizas que tiene bigotes, orejas puntiagudas y cola. Ves un perro y memorizas su hocico. Si ves un gato negro, lo reconoces. Si ves un gato blanco, quizás te confundas. Estás atrapado en los detalles.
• Nivel abstracto (Capas profundas): Tu cerebro deja de mirar el color o el tamaño y empieza a entender el concepto de "gato": es un felino, tiene cuatro patas, maúlla. Ya no importa si es negro o blanco, grande o pequeño. Has extraído la esencia.

El paper dice que tener muchas capas (profundidad) en una red neuronal ayuda, pero no es suficiente. Si solo miras muchos gatos negros, tu cerebro seguirá pensando que "gato" significa "negro".

2. La clave: La "Amplitud" (Breadth)

Aquí entra la gran idea del paper: Para lograr una abstracción verdadera, no basta con profundizar; necesitas ampliar tu mundo.

• La analogía del mapa:
  • Si solo vives en tu barrio, tu mapa mental es muy detallado: sabes dónde está la tienda de pan, el árbol viejo, la grieta en la acera. Pero si viajas a otro país, esos detalles se vuelven irrelevantes.
  • Para crear un mapa universal (abstracto), necesitas viajar por muchos países, ver muchos paisajes y dejar de lado los detalles específicos de tu barrio (la grieta en la acera) para enfocarte en las reglas generales (las ciudades tienen calles, los países tienen fronteras).
  • Conclusión del paper: La abstracción ocurre cuando combinamos profundidad (capas de procesamiento) con amplitud (ver una variedad inmensa de datos).

3. La herramienta mágica: El "Grupo de Renormalización" (RG)

Este es un concepto de física que suena complicado, pero es muy simple: es como un zoom de cámara.

• Zoom Out (Alejarse): Imagina que tienes una foto de una selva llena de árboles. Si te alejas mucho (haces "zoom out"), ya no ves las hojas individuales ni las ramas pequeñas. Solo ves una "masa verde" que representa "bosque". Has perdido detalles, pero has ganado una visión general.
• El truco: El paper dice que las redes neuronales hacen esto automáticamente. Cuando las entrenamos con datos cada vez más variados (amplitud) y más profundos, la red empieza a "alejarse" de los detalles específicos y se queda con las reglas universales.

4. El "Punto Fijo": El Modelo de Características Jerárquicas (HFM)

El paper descubre que, si sigues haciendo "zoom out" infinitamente (viendo todos los datos posibles), la red neuronal llega a un estado final, un punto de equilibrio.

• La analogía del "Libro de Recetas Universal":
  Imagina que todas las redes neuronales, sin importar si aprendieron con fotos de gatos, coches o letras, terminan organizando su conocimiento de la misma manera perfecta y eficiente.
  • No importa si el dato es un gato o un coche; la red aprende a organizar la información basándose en cuánta información (bits) necesita para describirlo.
  • Este estado final se llama Modelo de Características Jerárquicas (HFM). Es como si todas las inteligencias, al final, escribieran sus libros de recetas usando el mismo formato universal.

5. ¿Qué demostraron con sus experimentos?

Los autores entrenaron redes neuronales (como Deep Belief Networks) con datos de diferentes "amplitudes":

1. Primero solo con el número "2" de un teclado.
2. Luego con todos los números (0-9).
3. Luego con letras.
4. Luego con ropa, y finalmente con fotos de coches y animales.

El resultado: A medida que la red veía más variedad de cosas (amplitud) y tenía más capas (profundidad), su forma de "pensar" (su representación interna) se volvía más parecida a ese Modelo Universal (HFM). Se volvía más abstracta y menos dependiente de los detalles específicos de los datos.

En resumen: ¿Por qué es importante?

Este paper nos dice que la inteligencia universal no nace de mirar un solo objeto muy de cerca, sino de experimentar con la mayor variedad de cosas posible.

• Para la IA: Significa que para crear una IA que realmente "entienda" el mundo (y no solo memorice), debemos entrenarla con datos de todo tipo, no solo con un tipo específico.
• Para nosotros: Sugiere que nuestra capacidad de pensar en conceptos abstractos (como "justicia", "amor" o "matemáticas") surge porque hemos vivido experiencias diversas y hemos aprendido a ignorar los detalles irrelevantes para encontrar las reglas comunes.

La metáfora final:
La abstracción es como dejar de mirar los árboles individuales para ver el bosque, y luego dejar de mirar el bosque para entender el concepto de "vegetación" que aplica a cualquier planeta. Cuantos más planetas (datos) veas, más universal será tu concepto.

Resumen técnico

Resumen Técnico: Abstracción Absoluta y el Grupo de Renormalización

1. El Problema

La abstracción se define como el proceso de extraer características esenciales de datos crudos ignorando detalles irrelevantes. En redes neuronales profundas, se sabe que las capas profundas capturan características abstractas combinando características de bajo nivel (como bordes) de capas superficiales. Sin embargo, existe un debate sobre si la profundidad (número de capas) por sí sola es suficiente para generar representaciones verdaderamente abstractas.

Los autores argumentan que la profundidad es necesaria pero no suficiente. La verdadera abstracción depende críticamente de la amplitud (breadth) del conjunto de datos de entrenamiento. Una representación que abarca un universo más amplio de circunstancias debería ser más independiente de los datos específicos (más abstracta) que una que describe solo un dominio limitado. El objetivo del artículo es caracterizar estas "representaciones universales" o "abstracción absoluta" basándose únicamente en sus propiedades estadísticas, sin referencia al contenido semántico de los datos.

2. Metodología

El enfoque se basa en una analogía entre el aprendizaje de redes neuronales y el Grupo de Renormalización (RG) de la física estadística.

• Marco Teórico (RG):

  • Se modela el proceso de aprendizaje en capas profundas y con datos de mayor amplitud como una transformación de RG.
  • La transformación implica dos pasos:
    1. Coarsening (Agrupamiento): Eliminar detalles de pequeña escala (características de bajo nivel) para enfocarse en propiedades de gran escala.
    2. Rescaling (Reescalado): Restaurar la escala del sistema, lo cual en el contexto de aprendizaje se interpreta como la expansión de la amplitud de los datos (incorporar nuevos dominios).
  • Se estudian dos transformaciones:
    • Zoom Out ($\Re^\uparrow$): Expansión del dominio de datos (más amplitud), sacrificando detalles finos.
    • Zoom In ($\Re^\downarrow$): Enfoque en un subconjunto específico de datos, añadiendo detalles finos.
  • Se busca el punto fijo de estas transformaciones, que representa el estado de "abstracción absoluta" donde la distribución de la representación interna es universal e independiente de los datos específicos.

• Modelo Teórico (HFM):

  • El punto fijo identificado se relaciona con el Modelo de Características Jerárquicas (Hierarchical Feature Model - HFM).
  • El HFM es un modelo de máxima entropía determinado por una única estadística suficiente: el nivel de detalle ($m_s$), definido como el índice de la característica activa más detallada en un estado.
  • El HFM satisface el principio de máxima relevancia, donde la información significativa se caracteriza por una distribución amplia de costos de codificación.

• Validación Empírica:

  • Se realizaron experimentos numéricos utilizando dos arquitecturas:
    1. Redes de Creencia Profunda (DBN): Entrenadas secuencialmente con conjuntos de datos de amplitud creciente (MNIST $\to$ Fashion-MNIST $\to$ EMNIST $\to$ CIFAR-10).
    2. Autoencoders (AE): Entrenados con diferentes profundidades y amplitudes de datos.
  • Métrica de Evaluación: Se calculó la divergencia de Kullback-Leibler (KL) entre la distribución empírica de las capas ocultas de las redes y la distribución teórica del HFM. Se optimizó la alineación de las variables binarias ocultas con el HFM mediante permutaciones y cambios de gauge.

3. Contribuciones Clave

1. Definición de Abstracción Absoluta: Proponen que la abstracción absoluta no es una propiedad relativa a un dominio, sino un punto fijo universal alcanzado cuando el aprendizaje se realiza con profundidad infinita y amplitud infinita de datos.
2. Conexión RG-Learning: Formalizan la intuición de que el aprendizaje profundo con datos variados es análogo a un flujo de renormalización en física estadística, donde el punto fijo es una distribución universal.
3. Identificación del HFM como Punto Fijo: Demuestran teóricamente que el HFM es el único punto fijo de la transformación de RG bajo condiciones de costo de codificación constante.
4. Principio de Máxima Relevancia: Vinculan la abstracción con el principio de máxima relevancia, sugiriendo que las representaciones óptimas maximizan la entropía del costo de codificación, permitiendo distinguir información significativa del ruido estadísticamente.
5. Evidencia Empírica: Proporcionan pruebas numéricas de que las representaciones internas de redes neuronales reales convergen hacia el HFM a medida que aumentan la profundidad y la amplitud de los datos.

4. Resultados

• Convergencia al HFM: En los experimentos con DBNs y Autoencoders, se observó que la divergencia KL entre la representación interna y el HFM disminuye significativamente cuando se aumenta simultáneamente la profundidad de la red y la amplitud del conjunto de datos.
• Dependencia de la Amplitud: Para una profundidad fija, la representación se acerca al HFM al aumentar la amplitud de los datos, pero luego diverge si la amplitud es excesiva sin suficiente profundidad o capacidad de representación. Esto confirma que profundidad y amplitud son necesarias conjuntamente.
• Parámetro $g$: El parámetro $g$ del HFM (que controla la "temperatura" o el grado de aleatoriedad) disminuye a medida que aumenta la amplitud de los datos, acercándose al punto crítico $g_c = \log 2$.
• Robustez: La convergencia se mantuvo robusta frente a variaciones en el tiempo de entrenamiento, el orden en que se presentaban los datos y la segmentación de los conjuntos de datos.
• Estados Típicos: Las configuraciones más probables en el espacio latente de las redes entrenadas con datos amplios coincidieron con las predicciones teóricas del HFM.

5. Significado e Implicaciones

• Naturaleza de la Inteligencia: El trabajo sugiere que la capacidad de abstracción, crucial para la inteligencia, emerge de la integración de experiencias diversas en un marco común. Esto apoya la Hipótesis de la Representación Platónica, que postula que redes entrenadas con diferentes objetivos y datos convergen a un modelo estadístico compartido de la realidad.
• Aprendizaje vs. Ajuste (Fitting): Distingue entre "ajustar" parámetros para reproducir datos y "aprender" describiendo la variación de los datos. Las representaciones universales (HFM) facilitan el aprendizaje y la comprensión, permitiendo generalizar a tareas nuevas que comparten abstracciones comunes.
• Lenguaje y Cognición: Los autores especulan que estructuras universales como la gramática podrían emerger en áreas corticales profundas como puntos fijos de transformaciones de RG impulsadas por la integración de múltiples modalidades sensoriales, no solo el lenguaje.
• Optimización de Representaciones: El HFM actúa como un andamio óptimo para organizar datos según su costo de codificación, lo que tiene implicaciones para el diseño de algoritmos de compresión, modelos generativos y arquitecturas de redes neuronales más eficientes.

En conclusión, el artículo establece un marco teórico y empírico sólido que define la abstracción como un fenómeno de punto fijo en un espacio de representaciones, gobernado por principios de información y termodinámica estadística, y validado mediante el comportamiento de redes neuronales modernas.