🤖 machine learning

Emergent Sparsity in Frozen Random CNN Feature Extractors for Deep Reinforcement Learning

Este artículo demuestra que los agentes de aprendizaje por refuerzo profundo entrenados con extractores de características CNN congelados y aleatoriamente inicializados desarrollan espontáneamente representaciones totalmente conectadas extremadamente dispersas que escalan con la complejidad de la tarea y limitan eficazmente el rendimiento alcanzable, revelando la dimensionalidad intrínseca del problema subyacente sin objetivos explícitos de inducción de dispersión.

Autores originales: Scott M. Norton

Publicado 2026-07-30

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Scott M. Norton

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras aprenden a jugar juegos no leyendo un manual, sino mirando fijamente una pantalla y adivinando qué hacer a continuación. Este es el reino del Aprendizaje por Refuerzo Profundo (DRL, por sus siglas en inglés). Piensa en ello como entrenar a un perro: no le dices al perro cómo atrapar un frisbee; simplemente le das un premio cuando lo hace, y un "no" cuando no lo hace. Con el tiempo, el perro descubre el truco. En el mundo de la computación, el "perro" es una red neuronal: una gigantesca red de conexiones matemáticas que imita a un cerebro. Usualmente, para hacer que estas computadoras sean inteligentes, permitimos que ajusten cada una de las conexiones en la red, con la esperanza de que descubran la mejor manera de ver el mundo. Pero aquí está el problema: estos cerebros de computadora suelen ser masivamente excesivos. Tienen millones de conexiones, como un bosque con demasiados árboles, lo que dificulta ver cuáles están realizando realmente el trabajo y cuáles solo estorban. Los científicos se han preguntado durante mucho tiempo: ¿necesitan estos cerebros gigantes ser tan enormes, o existe una forma más simple y eficiente de resolver estos problemas?

Aquí es donde un curioso investigador llamado Scott M. Norton intervino con un experimento muy extraño. En lugar de dejar que los "ojos" de la computadora (la parte que mira la pantalla) aprendan y cambien, los congeló. Tomó una lente de cámara aleatoria y no entrenada, y la bloqueó en su lugar, negándose a dejar que aprendiera algo nuevo. Luego le pidió a la computadora que aprendiera a jugar juegos de Atari usando solo esta lente aleatoria y congelada. La expectativa era que la computadora fallaría estrepitosamente, o al menos tendría dificultades para dar sentido a las imágenes borrosas y aleatorias. Pero algo mágico e inesperado sucedió. La computadora no solo aprendió; aprendió a ser increíblemente eficiente. Sin que nadie le dijera que fuera simple, decidió espontáneamente ignorar el 95% de su propia capacidad cerebral. Apagó casi todas sus neuronas y resolvió el juego utilizando solo un pequeño puñado de ellas. Fue como si un estudiante, recibido con un libro de texto cuyas páginas estaban pegadas al azar, lograra aprobar el examen memorizando solo tres frases.

El Experimento de la Lente Congelada

En este estudio, el investigador configuró un escenario clásico de videojuegos utilizando el juego Pong (el juego de tenis digital donde golpeas una pelota de un lado a otro). Construyó un agente de IA estándar, pero con un giro: la parte de la IA que procesa las imágenes de video (la Red Neuronal Convolucional, o CNN) fue inicializada con números aleatorios y luego fue congelada. Nunca se le permitió cambiar nada. La única parte de la IA que podía aprender era la capa final de toma de decisiones, la parte "totalmente conectada" que toma los datos de la imagen y decide si mover la paleta hacia arriba, hacia abajo o quedarse quieta.

Usualmente, cuando entrenamos estos agentes de IA, dejamos que todo el sistema aprenda en conjunto. Los "ojos" aprenden a detectar la pelota y el "cerebro" aprende a mover la paleta. Pero en este experimento, los "ojos" estaban atrapados con una visión aleatoria y no entrenada del mundo. Los investigadores esperaban que la IA fuera torpe. En cambio, descubrieron que el cerebro de la IA desarrolló espontáneamente una representación dispersa.

"Dispersión" (o sparsity) es una palabra elegante para decir "usar muy poco". Imagina que tienes una habitación con 64 interruptores de luz. En una IA normal y totalmente entrenada, casi todos los 64 interruptores se encenderían y apagarían mientras juega, creando un patrón complejo y ruidoso. Pero en este experimento congelado, la IA encendió solo de 1 a 3 interruptores de los 64 disponibles. Ignoró los otros 61 interruptores por completo. No los necesitaba. La IA comprendió que la lente aleatoria y congelada tenía justo los canales de información adecuados para resolver el juego, así que apagó todo lo demás para ahorrar energía y concentrarse.

La Regla de "Lo Justo y Necesario"

La parte más fascinante del descubrimiento es que el número de interruptores que la IA utilizó no fue aleatorio; coincidía con la dificultad del juego.

Pong: Este es un juego simple con solo una pelota y dos paletas. La IA necesitó solo 1 a 3 neuronas (las diminutas unidades de procesamiento en el cerebro) para dominarlo.
Breakout: Este juego involucra una pelota, una paleta y una pared de ladrillos. Es más complejo. La IA necesitó entre 19 y 26 neuronas.
Space Invaders: Este es un juego caótico con alienígenas, balas y escudos. La IA necesitó alrededor de 42 neuronas.

Los investigadores probaron esto haciendo que el cerebro de la IA fuera más ancho (dándole más interruptores para elegir). Incluso cuando le dieron a la IA 128 interruptores en lugar de 64, todavía solo utilizó la misma pequeña cantidad (de 3 a 14) para resolver el juego. No utilizó más solo porque los tuviera disponibles. Parece que la IA estaba detectando la "complejidad real" del juego y solo utilizaba la potencia cerebral estrictamente necesaria.

Por Qué Esto Importa (Y Qué No Es)

Podrías preguntarte: "¿Tuvo la IA solo suerte?". Los investigadores verificaron esto minuciosamente. Descubrieron que si tomaban las pocas neuronas específicas que la IA estaba usando y las apagaban (un proceso llamado ablación), la IA olvidaba instantáneamente cómo jugar y comenzaba a actuar de forma completamente aleatoria. Esto demostró que esas pocas neuronas estaban haciendo todo el trabajo pesado. El resto del cerebro era verdaderamente inútil para esa tarea específica.

Sin embargo, el artículo tiene cuidado de no afirmar que esto sea una solución mágica para todas las situaciones. Los investigadores encontraron que este truco de la "lente congelada" funciona mejor cuando el juego tiene una estructura clara y reactiva (como Pong o Breakout). En algunos casos, como el juego Freeway, la IA pudo encontrar un "atajo" al simplemente moverse hacia arriba cada vez, lo que no requería un aprendizaje real. En esos casos, la "dispersión" no era un signo de inteligencia; era un signo de un atajo. Pero para los juegos donde se necesitaba una habilidad real, la lente aleatoria y congelada obligó a la IA a encontrar el camino más eficiente posible.

La Visión General: Encontrando la Señal en el Ruido

Esta historia trata sobre la eficiencia. A menudo pensamos que para resolver un problema difícil, necesitamos una máquina masiva y compleja. Pero este artículo sugiere que si le das a una máquina un conjunto de herramientas fijas y aleatorias, esta naturalmente descubrirá la forma más simple de usarlas. Es como darle a alguien una caja de herramientas gigante con un millón de herramientas aleatorias. En lugar de intentar usarlas todas, una persona inteligente se dará cuenta rápidamente de: "Ah, solo necesito este destornillador y este martillo para arreglar esta silla".

Los investigadores también notaron algo sobre cuándo sucede esto. La IA decidió qué neuronas usar muy temprano en su entrenamiento, a veces dentro de los primeros 15 millones de pasos. Fijó esas elecciones mucho antes de que realmente comenzara a ser buena en el juego. Fue como si la IA eligiera a sus miembros de equipo el primer día, y luego pasara los siguientes 100 millones de pasos simplemente practicando con ese equipo específico.

Una Analogía Lúdica: El Sintonizador de Radio

Imagina que la CNN congelada es como una radio que está estancada en una frecuencia específica y aleatoria. La señal que entra es una mezcla de estática y música. La mayoría de la gente pensaría: "Esta radio está rota; necesito arreglar la antena". Pero esta IA es diferente. No intenta arreglar la antena. En su lugar, escucha la estática y se da cuenta de: "Oye, si solo sintonizo este pequeño fragmento de la estática, puedo escuchar la música perfectamente". Ignora el resto del ruido.

En el mundo de la IA, solemos intentar construir mejores antenas (entrenar toda la red). Este artículo muestra que, a veces, si simplemente dejas que la IA escuche una antena aleatoria, ella naturalmente encontrará ese pequeño fragmento de la señal que importa e ignorará el resto. Es un recordatorio de que, a veces, menos es más, y que la naturaleza (o en este caso, una red aleatoria congelada) tiene una forma de encontrar la solución más simple si simplemente dejamos de estorbarle.

Los investigadores sugieren que este fenómeno podría ayudarnos a entender cómo construir sistemas de IA más inteligentes y pequeños en el futuro. En lugar de construir redes gigantescas y desperdiciadas, tal vez podamos usar características aleatorias y congeladas para ayudar a la IA a encontrar la "dimensión intrínseca" de un problema: el verdadero y pequeño número de variables que realmente importan. Es un paso hacia una IA que no solo sea poderosa, sino también elegante y eficiente.

Resumen Técnico: Esparcidad Emergente en Extractores de Características CNN Aleatorios Congelados para Aprendizaje por Refuerzo Profundo

Planteamiento del Problema

Los agentes de Aprendizaje por Refuerzo Profundo (DRL) suelen emplear redes neuronales sobreparametrizadas para resolver entornos gobernados por un pequeño número de variables de estado intrínsecas (por ejemplo, Pong está definido por aproximadamente cinco variables continuas). Esta sobreparametrización crea una tensión entre la capacidad y la estructura, lo que a menudo conduce a patologías como el colapso del rango de la representación, neuronas durmientes y pérdida de plasticidad. Si bien la esparcidad suele verse como una propiedad deseable que debe diseñarse mediante la poda o la regularización, la literatura existente sugiere que la esparcidad no emerge naturalmente en el entrenamiento estándar de extremo a extremo; más bien, las redes densas distribuyen la información uniformemente a través de la capacidad disponible, oscureciendo la simplicidad subyacente de la tarea.

Este trabajo investiga una pregunta complementaria: ¿Qué poco decide utilizar el descenso de gradiente cuando el extractor de características es fijo? Específicamente, los autores examinan si la esparcidad emerge espontáneamente cuando un agente debe aprender una política utilizando una Red Neuronal Convolucional (CNN) congelada y con inicialización aleatoria como extractor de características, sin ningún objetivo de esparcidad explícito.

Metodología

Arquitectura y Protocolo de Entrenamiento

El estudio utiliza la arquitectura CNN estándar de Nature-DQN (tres capas convolucionales que producen características de 3,136 dimensiones) seguida de dos capas totalmente conectadas (FC1: 3,136 $\to$ 64; FC2: 64 $\to$ 64) y cabezales de política/valor.

Condición de CNN Congelada: Los pesos de la CNN se inicializan aleatoriamente (Kaiming normal) y se congelan inmediatamente. Solo las capas FC y los cabezales de política/valor son entrenables. La CNN actúa como una proyección aleatoria fija del espacio de píxeles a un espacio de características de 3,136 dimensiones.
Condición de CNN Entrenable (Control): Todas las capas se entrenan de extremo a extremo con hiperparámetros idénticos.
Algoritmos: Los experimentos utilizan PPO a través de dos implementaciones independientes: Stable-Baselines3 (SB3, sincrónica) y Sample Factory (SF, asincrónica).
Entornos: Cuatro juegos de Atari 2600 que abarcan un rango de complejidad intrínseca: Pong ( $\sim$ 5 variables de estado), Freeway ( $\sim$ 10–15), Breakout ( $\sim$ 15–25) y Space Invaders ( $\sim$ 40+).
Estocasticidad: Se emplea "acción pegajosa" (repetir la acción anterior con una probabilidad $p_{sticky}=0.25$ ) donde sea apropiado para evitar la memorización de secuencias de acciones fijas y asegurar un control reactivo.

Métricas de Análisis

Conteo de Neuronas Activas: Una neurona se clasifica como "activa" si su media de activación post-ReLU supera 0.01.
Ratio de Participación (PR): Una medida de la dimensionalidad efectiva definida como $PR = (\sum \lambda_i)^2 / \sum \lambda_i^2$ , donde $\lambda_i$ son los autovalores de la covarianza de activación. Esto distingue entre un conjunto de neuronas activas que son independientes versus altamente correlacionadas.
Verificación de Ablación: La prueba empírica crítica implica enmascarar neuronas activas (FC1-Remove) o neuronas inactivas (FC1-Keep). Un colapso hacia el juego aleatorio al eliminar las neuronas activas confirma un verdadero cuello de botella de información.

Contribuciones Clave y Resultados

1. La Esparcidad Emergente Escala con la Complejidad de la Tarea

El hallazgo principal es que las CNNs aleatorias congeladas desarrollan espontáneamente representaciones extremadamente esparcidas en la primera capa totalmente conectada (FC1), y el número de neuronas activas se correlaciona con la complejidad de la tarea:

Pong (Determinista): 1–3 neuronas activas de 64 (utilización del 1.6–4.7%).
Breakout: 19–26 neuronas activas.
Space Invaders: $\sim$ 42 neuronas activas.
Controles Entrenables: En contraste, las CNNs entrenables utilizan 55–64 neuronas (91–100% de utilización) independientemente de la complejidad de la tarea.
Escalamiento de Ancho: Los experimentos variando el ancho de FC1 (32, 64, 128) confirman que el conteo absoluto de activas es estable y refleja la estructura de la tarea, no una fracción fija de la capacidad de la red.

2. Escalamiento Limitado por Capacidad Dentro de los Juegos

Dentro del mismo juego (Pong) y con hiperparámetros coincidentes, tres proyecciones aleatorias independientes (semillas) produjeron diferentes conteos de neuronas activas (5, 7 y 11) y sus correspondientes techos de rendimiento:

La semilla de 5 neuronas se estancó en +14.1 de recompensa.
Las semillas de 7 y 11 neuronas alcanzaron un rendimiento de experto (+18.4 y +18.7).
Esto sugiere que la "dimensionalidad utilizable" de la proyección aleatoria específica establece un techo sobre el rendimiento alcanzable para una tarea y capacidad fijas.

3. Necesidad y Suficiencia del Conjunto Activo

Los estudios de ablación confirman que el conjunto activo esparcido porta toda la información relevante de la tarea:

FC1-Remove: Eliminar las neuronas activas en agentes congelados provoca un colapso del rendimiento hacia el juego aleatorio (recompensa $\approx$ -21.0) en todas las semillas y marcos de trabajo.
FC1-Keep: Mantener solo las neuronas activas (poniendo a cero el resto) preserva la competencia total del agente.
Esto se mantiene incluso cuando la política se evalúa fuera de la distribución (por ejemplo, agentes entrenados de forma determinista evaluados con acciones pegajosas), donde la política puede fallar pero la representación sigue siendo necesaria.

4. Compromiso Temprano del Cuello de Botella

Un barrido longitudinal a través de 47 puntos de control (5M a $\sim$ 1.6B de pasos) revela la dinámica temporal de la formación del cuello de botella:

Bloqueo Temprano: El conjunto activo se bloquea entre los 15 y 30M de pasos. La necesidad de estas neuronas (FC1-Remove $\to$ juego aleatorio) es detectable tan pronto como a los 5M de pasos, antes de cualquier mejora en la recompensa.
Retraso (Lag): La recompensa se vuelve positiva entre 35 y 105M de pasos después de que el conjunto activo se bloquea. El retraso se amplía a medida que la capacidad del cuello de botella se estrecha (por ejemplo, la semilla de 5 neuronas tarda $\sim$ 105M de pasos en aprender a usar su representación comprimida, mientras que la semilla de 11 neuronas tarda $\sim$ 35M).
Agentes Entrenables: Los agentes entrenables también exhiben un compromiso temprano con un conjunto activo, pero el contenido es cualitativamente diferente: se comprometen con un conjunto amplio de neuronas (43–64 de 64) en lugar de una selección esparsa y estrecha.

5. Diferencias Estructurales en las Firmas del Cuello de Botella (Breakout)

En Breakout, los agentes congelados y entrenables alcanzan recompensas competitivas mediante cuellos de botella estructuralmente diferentes:

Agentes Congelados: Utilizan 17–25 neuronas activas con un alto ratio de participación ( $\sim$ 10–14), lo que indica un conjunto estrecho de características moderadamente diversas e independientes.
Agentes Entrenables: Utilizan 51 neuronas activas con un bajo ratio de participación ( $\sim$ 3.6), lo que indica un conjunto amplio de características altamente correlacionadas y redundantes.
Esto destaca que el conteo de activas y el ratio de participación son indicadores complementarios de la compresión de la representación.

Significancia y Reivindicaciones

El artículo afirma demostrar que la esparcidad no es meramente una propiedad diseñada, sino que puede emerger espontáneamente de un descenso de gradiente estándar cuando el extractor de características es fijo. La CNN aleatoria congelada actúa como un "dispositivo de medición compresiva" que revela la dimensionalidad intrínseca del problema subyacente sin maquinaria de esparcidad explícita.

Las implicaciones clave extraídas por los autores incluyen:

Sondeo de la Complejidad de la Tarea: Una ejecución de entrenamiento con CNN congelada puede revelar, sin búsqueda explícita, el número aproximado de variables de estado independientes que la política de un agente utiliza, informando el diseño de currículos y los objetivos de poda.
Eficiencia: Las CNNs congeladas permiten un despliegue de eficiencia extrema donde solo es necesario almacenar la lectura entrenada (por ejemplo, $\sim$ 9,400 parámetros para Pong), siendo la semilla aleatoria suficiente para regenerar la proyección.
Conexión Teórica: El trabajo conecta la esparcidad de los "billetes de lotería" (lottery tickets), la computación de reservorio (reservoir computing) y la detección de señales comprimidas (compressed sensing). Sugiere que el descenso de gradiente sobre una proyección aleatoria fija realiza una lectura esparsa similar a cómo la detección de señales comprimidas recupera señales, pero impulsada por la dinámica de RL en lugar de una regularización $\ell_1$ explícita.
Aplicabilidad Más Amplia: Los autores conjeturan (sin probarlo) que este mecanismo podría servir como una herramienta de descubrimiento de conjuntos de características mínimas en dominios donde la dimensionalidad de la entrada supera drásticamente la dimensionalidad intrínseca de la tarea (por ejemplo, mediciones biológicas) y como un diagnóstico ligero para la selección de rango de adaptación en el ajuste fino (análogo a LoRA).

Los autores mantienen la modestia respecto a la generalidad de sus hallazgos, señalando que sus resultados están actualmente limitados a juegos de Atari de acción discreta y a la arquitectura Nature-DQN, y que una prueba matemática formal de por qué las proyecciones aleatorias fijas garantizan soluciones esparsas sigue siendo una pregunta abierta.