🤖 machine learning

Compositionality Emerges in a Narrow Depth-Connectivity Regime: Architecture Constraints and Solution Manifolds

Este artículo demuestra que las estructuras internas composicionales en las redes neuronales emergen solo dentro de un régimen estrecho y dependiente del objetivo de patrones de conectividad específicos y profundidades de red, y propone una poda basada en la similitud y un predictor de profundidad para identificar y explotar estas condiciones, proporcionando al mismo tiempo un marco teórico que explica por qué el descenso de gradiente, de otro modo, converge hacia soluciones fracturadas.

Autores originales: Dat H. Do, Rushi Shah, Duc V. Le, Dianbo Liu

Publicado 2026-06-19

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dat H. Do, Rushi Shah, Duc V. Le, Dianbo Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Encontrar la Zona "Goldilocks" para los Cerebros de IA

Imagina que estás intentando enseñarle a un robot a dibujar la imagen de una calavera. Quieres que el robot aprenda el concepto de "calavera" combinando partes simples y reutilizables: una cuenca ocular, una mandíbula, una nariz. Esto se llama componibilidad. Es como tener un juego de piezas de Lego donde puedes encajar la misma pieza de "ojo" en diferentes modelos para construir un coche, una casa o un robot.

Sin embargo, la mayoría de los modelos de IA modernos (entrenados con métodos estándar) no aprenden de esta manera. En lugar de construir con piezas de Lego limpias y ordenadas, tienden a construir con una bola de estambre gigante y enredada. Cada parte de la imagen se mezcla con todas las demás. Si retuerces un pequeño hilo de la madeja, toda la imagen podría convertirse en un desastre. Esto se llama entrelazamiento fracturado.

Los autores de este artículo se hicieron una pregunta sencilla: ¿Existe una forma específica de construir el cerebro del robot para que aprenda naturalmente a usar piezas de Lego limpias y reutilizables en lugar de estambre enredado?

Su respuesta fue un sorprendente "Sí", pero con una condición muy estricta: El cerebro debe construirse en una zona "Goldilocks" (punto ideal) muy específica de tamaño y profundidad.

Las Dos Reglas para el Éxito

El artículo descubre que, para que una IA aprenda estas partes limpias y reutilizables, dos cosas deben suceder simultáneamente. Si te equivocas en cualquiera de las dos, la IA falla.

1. La Regla de la Conectividad: "Menos es Más, Pero Solo si es el Menos Adecuado"

Imagina que tienes una habitación llena de personas (neuronas) intentando resolver un rompecabezas.

El Error: Si dejas que todos hablen con todos (una red densa y totalmente conectada), todos empezarán a gritarse unos a otros. Se confunden y nadie asume la responsabilidad de una pieza específica del rompecabezas.
La Solución: Necesitas cortar las conexiones. Pero no puedes cortar las que quieras al azar. Tienes que cortar las exactas.
La Analogía: Piensa en una autopista con mucho tráfico. Si cierras carriles al azar, los atascos empeoran. Pero si cierras los carriles específicos que están causando el embotellamiento y mantienes los que permiten que los coches fluyan suavemente, el tráfico se despeja.
El Descubrimiento del Artículo: Los autores encontraron un método especial de poda (cortar conexiones) llamado Poda Basada en la Similitud (SP). Este método observa qué neuronas están haciendo exactamente el mismo trabajo y corta las duplicadas. Esto obliga a las neuronas restantes a especializarse. Una neurona se convierte en la experta en "ojos", otra en la experta en "mandíbulas".

2. La Regla de la Profundidad: "Ni Muy Poco Profundo, Ni Muy Profundo"

Ahora, imagina las capas del cerebro como los pisos de un edificio.

Demasiado Poco Profundo (1-2 pisos): El edificio es demasiado bajo. El experto en "ojos" y el experto en "mandíbulas" están en el mismo piso y no pueden organizar su trabajo adecuadamente. No pueden construir una estructura compleja.
Demasiado Profundo (100 pisos): El edificio es demasiado alto. Las instrucciones se pierden en el hueco del ascensor. Para cuando la señal llega al tope, los expertos en "ojos" y "mandíbulas" han olvidado quiénes debían ser y empiezan a mezclar sus trabajos de nuevo.
El Punto Dulce: Hay un número específico de pisos (profundidad) que es perfecto para la imagen específica que intentas dibujar.
- Para una manzana simple, tal vez 12 pisos sean perfectos.
- Para una mariposa compleja, tal vez 14 pisos sean perfectos.
- Si añades o quitas tan solo un piso, la magia desaparece y la IA vuelve a construir con estambre enredado.

El Régimen del "Punto Dulce"

El artículo llama a esto el Régimen de Profundidad-Conectividad Estrecha.

Piensa en ello como sintonizar una radio.

La Conectividad es la antena. Necesita tener la forma adecuada (dispersa y específica) para captar la señal.
La Profundidad es el dial de la frecuencia. Necesita ser girado hacia el número exacto.
Si tienes la antena correcta pero la frecuencia incorrecta, escuchas estática.
Si tienes la frecuencia correcta pero la antena incorrecta, no escuchas nada.
Solo cuando ambos son perfectos, la música (componibilidad) suena con claridad.

Cómo lo Demostraron

Los investigadores no solo adivinaron; construyeron un campo de pruebas llamado EMC2-Bench.

La Prueba: Entrenaron modelos de IA para dibujar imágenes (como calaveras, mariposas y manzanas).
La Prueba del "Menudismo" (Wiggle Test): Tras el entrenamiento, aplicaron un pequeño "menudismo" (un cambio aleatorio mínimo) a un solo número dentro del cerebro de la IA.
- Si la IA estaba usando estambre enredado, ese pequeño movimiento rompería toda la imagen (por ejemplo, la calavera se convierte en una mancha).
- Si la IA estaba usando piezas de Lego, ese pequeño movimiento solo afectaría a una parte específica (por ejemplo, el ojo se hace un poco más grande, pero la mandíbula permanece perfecta).
El Resultado: Descubrieron que el entrenamiento estándar casi siempre producía estambre enredado. Pero cuando usaron su método especial de poda (SP) y ajustaron la profundidad al "punto dulce" exacto, la IA de repente empezó a construir con piezas de Lego limpias y reutilizables.

¿Por qué sucede esto? (La Teoría)

El artículo ofrece una explicación matemática utilizando un concepto llamado Relación de Volumen.

Imagina un océano gigante de todas las formas posibles de construir un cerebro.

El Océano Enredado: La mayor parte del océano está llena de soluciones "enredadas". Son enormes, fáciles de encontrar y fáciles de caer en ellas.
La Isla Componible: Las soluciones de "Lego limpio" son como una isla diminuta y oculta en medio de ese océano. Es muy pequeña y difícil de encontrar.

El artículo argumenta que:

Si tu cerebro es demasiado ancho (demasiadas neuronas), el océano "enredado" se hace más grande y la isla "limpia" se vuelve relativamente más pequeña. Estadísticamente, es probable que te pierdas en el caos enredado.
Si tu cerebro es demasiado profundo o demasiado poco profundo, la isla desaparece por completo.
La Magia: Si alcanzas el ancho y la profundidad exactos, el océano "enredado" se encoge y la isla "limpia" se convierte en el único lugar donde queda espacio para estar. La IA tiene que encontrar la solución limpia porque no hay otro lugar a donde ir.

Resumen

Este artículo muestra que los modelos de IA no aprenden naturalmente a pensar en partes modulares y reutilizables. Aprenden naturalmente a ser desordenados y enredados.

Sin embargo, si fuerzas a la IA dentro de una caja arquitectónica muy específica —donde cortas las conexiones adecuadas y construyes el número exacto de capas— la IA se ve obligada a organizarse. Deja de ser una bola de estambre enredado y comienza a construir con piezas de Lego limpias y reutilizables. Este es el secreto para crear una IA que pueda generalizar y comprender el mundo de una manera más similar a la de un humano.

Resumen Técnico: La composición emerge en un régimen estrecho de profundidad–conectividad

Planteamiento del problema

Los modelos fundacionales modernos (LLMs, VLMs, modelos de difusión) exhiben capacidades sólidas, pero sufren de una generalización frágil, particularmente en la comprensión composicional. Las perturbaciones pequeñas e irrelevantes para la tarea suelen desencadenar cambios de comportamiento bruscos, lo que sugiere una falta de estructura composicional interna robusta. Mientras que los algoritmos evolutivos (por ejemplo, NEAT en Picbreeder) pueden descubrir "Representaciones Factorizadas Unificadas" (UFR) —primitivas unificadas, reutilizables y semánticamente estables—, la optimización estándar basada en gradientes (SGD) típicamente converge a "Representaciones Entrelazadas Fracturadas" (FER). En las FER, los conceptos se distribuyen a través de neuronas superpuestas y las características son polisemánticas, fallando en alinearse con significados estables e interpretables.

La pregunta central abordada es: ¿Pueden la monosemanticidad y la composición emerger durante el backpropagation estándar basado en gradientes y, de ser así, bajo qué condiciones arquitectónicas específicas? Los autores hipotetizan que esta emergencia no es un resultado por defecto de la escala o de un bajo loss, sino que está gobernada por un problema de alcanzabilidad estructural definido por la interacción entre la profundidad y la conectividad de la red.

Metodología

1. Suite de Evaluación: EMC2-Bench

Para cuantificar la composición, los autores introducen EMC2-Bench, una suite de evaluación basada en perturbaciones.

Métrica: El "Score Composicional" se define como la fracción de parámetros no nulos que, al ser perturbados por ruido ( $\delta$ ), preservan la identidad semántica global de la imagen generada.
Procedimiento: Para cada peso no nulo $w$ , se crea una copia perturbada $w' = w + \delta$ . La red genera una imagen, la cual es evaluada por un juez de Modelo de Lenguaje-Visión (VLM) (Qwen3-VL-4B-Thinking) para determinar si el contenido semántico (por ejemplo, "cráneo") permanece intacto.
Línea base: El benchmark compara MLPs densos entrenados mediante SGD contra soluciones evolutivas (CPPNs de Picbreeder) y diversas estrategias de poda.

2. Intervenciones Estructurales

Poda Basada en Similitud (SP): Para recuperar la conectividad composicional, los autores proponen un algoritmo iterativo de poda-reentrenamiento.
- Mecanismo: Dentro de cada capa, se extraen mapas de características por neurona. Se identifican las neuronas con alta similitud de coseno como redundantes. Se selecciona al azar una neurona de cada par redundante para su eliminación, y sus pesos entrantes/salientes se ponen en cero.
- Objetivo: Esto obliga a la red a asignar neuronas distintas a distintos factores semánticos, colapsando soluciones entrelazadas en circuitos dispersos y reutilizables.
Predictor de Profundidad Heurístico: Reconociendo que la profundidad óptima depende del objetivo, los autores proponen utilizar la relación de compresión PNG de la imagen objetivo como un proxy para la complejidad de la imagen. Se observa una relación lineal entre la complejidad de la imagen y la profundidad empíricamente óptima, lo que permite la predicción de una profundidad "punto ideal" (sweet spot) ligera sin necesidad de un barrido exhaustivo.

3. Marco Teórico

El artículo proporciona una justificación teórica basada en:

Dispersión Composicional: Basándose en la hipótesis del manifold, los autores argumentan que las soluciones composicionales se factorizaron a través de un Grafo Acíclico Dirigido (DAG) con aridad local acotada.
Argumento de la Relación de Volumen: Definen la "relación de volumen composicional" $\rho(W, L)$ como la probabilidad de que una configuración de parámetros aleatoria caiga en un cuenco (basin) composicional. Demuestran que $\rho$ se concentra bruscamente en un $(W_{min}, L^*)$ específico y decae exponencialmente a medida que el ancho ( $W$ ) o la profundidad ( $L$ ) se desvían de este punto.
Límites de Interferencia de Características: Utilizando la cota de Welch, demuestran que la dispersión composicional reduce la cota geométrica inferior de la interferencia de características, haciendo que las características monosemánticas (ortogonales) sean geométricamente factibles solo cuando el número de primitivas $r$ es menor o igual a la dimensión $d$ .

Resultados Clave

1. El Régimen Estrecho de Profundidad–Conectividad

La composición no emerge universalmente; aparece solo en un régimen específico:

Conectividad: La composición depende fuertemente de qué conexiones permanecen, no solo del nivel de dispersión. Los métodos de poda estándar (Lottery Ticket Hypothesis, Wanda, LLM-Pruner) fallan en recuperar estructuras composicionales (obteniendo un score de 0 en EMC2-Bench). Solo la Poda Basada en Similitud (SP) produce scores no nulos, indicando que la organización de las conexiones es crítica.
Profundidad: La composición exhibe una relación no monotónica con la profundidad. Para objetivos específicos (por ejemplo, cráneo, mariposa, manzana), el score composicional alcanza su máximo en una profundidad específica y cae rápidamente si la red se hace más superficial o más profunda. Esta profundidad óptima es específica para cada objetivo.

2. Optimización y Emergencia

Sensibilidad del Optimizador: Incluso con la arquitectura correcta, el optimizador importa. Muon (un optimizador que utiliza iteraciones de Newton-Schulz) logra un loss de entrenamiento menor y scores composicionales más altos que Adam. Esto sugiere que se requieren mínimos mejores (más planos, más estables) para alcanzar el cuenco composicional.
Fragilidad de las FER: Cuando las condiciones de profundidad o conectividad se violan, el descenso de gradiente converge silenciosamente a soluciones fracturadas. Pequeñas perturbaciones a los pesos en estas soluciones causan deriva semántica, mientras que las soluciones composicionales permanecen robustas.

3. Generalización a Objetivos Desconocidos

El método se transfiere a imágenes donde la solución composicional subyacente es desconocida (por ejemplo, escenas naturales, imágenes de múltiples objetos). SP, combinado con el predictor de profundidad heurístico, recupera con éxito características intermedias monosemánticas y variaciones de salida significativas bajo el barrido de pesos, aunque el efecto es más débil para escenas complejas de múltiples objetos.

Significado y Reivindicaciones

El artículo afirma que la generalización requiere restricciones arquitectónicas que hagan accesibles las soluciones composicionales al entrenamiento basado en gradientes.

Refutación de Soluciones de Solo Escala: Los autores argumentan que escalar por sí solo (aumentar el ancho o la profundidad) tiende a generar soluciones fracturadas porque la medida relativa del manifold composicional se reduce a medida que el espacio de parámetros crece (Argumento de la Relación de Volumen).
Perspectiva Mecanicista: El trabajo cierra la brecha entre la existencia de implementaciones compactas y modulares (probadas por algoritmos evolutivos) y el fallo de la backpropagation vanilla para encontrarlas. Postula que el SGD tiene un sesgo hacia los cuencos composicionales solo cuando la arquitectura es "justo la adecuada" (punto ideal de profundidad-conectividad estrecha) y el optimizador es capaz de encontrar mínimos planos.
Implicaciones Prácticas: La introducción de SP y el predictor de profundidad ofrece una vía para inducir estructura composicional en MLPs estándar sin cambiar el objetivo de entrenamiento, simplemente restringiendo la arquitectura y la estrategia de poda.

Los autores mantienen la modestia, señalando que, si bien su marco explica bien la composición de un solo objeto, la composición espacial en escenas de múltiples objetos sigue siendo una frontera abierta debido al aumento exponencial de las primitivas ( $P$ ) requeridas, lo que colapsa la relación de volumen $\rho$ . No pretenden haber resuelto la razón composicional general para todas las tareas de visión-lenguaje, sino que han identificado un régimen estructural específico donde es empírica y teóricamente alcanzable.