🤖 machine learning

Emergent Sparsity in Frozen Random CNN Feature Extractors for Deep Reinforcement Learning

Este artigo demonstra que agentes de aprendizado por reforço profundo treinados com extratores de características CNN congelados e inicializados aleatoriamente desenvolvem espontaneamente representações totalmente conectadas extremamente esparsas que escalam com a complexidade da tarefa e delimitam efetivamente o desempenho alcançável, revelando a dimensionalidade intrínseca do problema subjacente sem objetivos explícitos de indução de esparsidade.

Autores originais: Scott M. Norton

Publicado 2026-07-30

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Scott M. Norton

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde computadores aprendem a jogar jogos não lendo um manual, mas encarando uma tela e adivinhando o que fazer a seguir. Este é o reino do Aprendizado por Reforço Profundo (Deep Reinforcement Learning - DRL). Pense nisso como treinar um cachorro: você não diz ao cachorro como pegar um frisbee; você apenas lhe dá um petisco quando ele faz isso, e um "não" quando não faz. Com o tempo, o cachorro descobre o truque. No mundo dos computadores, o "cachorro" é uma rede neural — uma gigantesca teia de conexões matemáticas que imita um cérebro. Normalmente, para tornar esses computadores inteligentes, permitimos que eles ajustem cada uma das conexões na teia, esperando que descubram a melhor maneira de ver o mundo. Mas aqui está o problema: esses cérebros de computador são frequentemente massivamente superdesenvolvidos. Eles têm milhões de conexões, como uma floresta com árvores demais, tornando difícil ver quais delas estão realmente realizando o trabalho e quais estão apenas atrapalhando. Cientistas há muito se perguntam: será que esses cérebios gigantes precisam ser tão enormes, ou existe uma maneira mais simples e eficiente de resolver esses problemas?

Foi aqui que um pesquisador curioso chamado Scott M. Norton interveio com um experimento muito estranho. Em vez de deixar os "olhos" do computador (a parte que olha para a tela) aprenderem e mudarem, ele os congelou. Ele pegou uma lente de câmera aleatória e não treinada, travou-a no lugar e recusou-se a permitir que ela aprendesse qualquer coisa nova. Ele então pediu ao computador que aprendesse a jogar jogos de Atari usando apenas esta lente aleatória e congelada. A expectativa era que o computador falhasse miseravelmente, ou pelo menos tivesse dificuldade em entender as imagens borradas e aleatórias. Mas algo mágico e inesperado aconteceu. O computador não apenas aprendeu; ele aprendeu a ser incrivelmente eficiente. Sem que ninguém lhe dissesse para ser simples, ele decidiu espontaneamente ignorar 95% de sua própria capacidade cerebral. Ele desligou quase todos os seus neurônios e resolveu o jogo usando apenas um pequeno punhado deles. Foi como se um aluno, recebendo um livro didático com páginas aleatórias coladas, conseguisse gabaritar o exame memorizando apenas três frases.

O Experimento da Lente Congelada

Neste estudo, o pesquisador configurou um cenário clássico de videogame usando o jogo Pong (o jogo de tênis digital onde você rebate uma bola de um lado para o outro). Ele construiu um agente de IA padrão, mas com um toque: a parte da IA que processa as imagens de vídeo (a Rede Neural Convolucional, ou CNN) foi inicializada com números aleatórios e depois congelada. Ela nunca foi permitida mudar. A única parte da IA que podia aprender era a camada final de tomada de decisão, a parte "totalmente conectada" que recebe os dados da imagem e decide se move a raquete para cima, para baixo ou se fica parada.

Normalmente, quando treinamos esses agentes de IA, deixamos todo o sistema aprender junto. Os "olhos" aprendem a detectar a bola, e o "cérebro" aprende a mover a raquete. Mas neste experimento, os "olhos" ficaram presos com uma visão aleatória e não treinada do mundo. Os pesquisadores esperavam que a IA fosse desajeitada. Em vez disso, descobriram que o céreão da IA desenvolveu espontaneamente uma representação esparsa.

"Esparsidade" é uma palavra sofisticada para "usar muito pouco". Imagine que você tem uma sala com 64 interruptores de luz. Em uma IA normal e totalmente treinada, quase todos os 64 interruptores estariam ligando e desligando conforme ela joga, criando um padrão complexo e ruidoso. Mas neste experimento congelado, a IA ligou apenas 1 a 3 interruptores dos 64 disponíveis. Ela ignorou os outros 61 interruptores completamente. Ela não precisava deles. A IA percebeu que a lente aleatória e congelada tinha justamente os canais de informação certos para resolver o jogo, então ela desligou tudo o mais para economizar energia e focar.

A Regra do "Apenas o Suficiente"

A parte mais fascinante da descoberta é que o número de interruptores que a IA usou não foi aleatório; ele correspondia à dificuldade do jogo.

Pong: Este é um jogo simples, com apenas uma bola e duas raquetes. A IA precisou de apenas 1 a 3 neurônios (as pequenas unidades de processamento no cérebro) para dominá-lo.
Breakout: Este jogo envolve uma bola, uma raquete e uma parede de tijolos. É mais complexo. A IA precisou de 19 a 26 neurônios.
Space Invaders: Este é um jogo caótico, com alienígenas, balas e escudos. A IA precisou de cerca de 42 neurônios.

Os pesquisadores testaram isso tornando o céreão da IA mais largo (dando-lhe mais interruptores para escolher). Mesmo quando deram à IA 128 interruptores em vez de 64, ela ainda usou apenas o mesmo pequeno número (3 a 14) para resolver o jogo. Ela não usou mais só porque os tinha disponíveis. Parece que a IA estava sentindo a "complexidade real" do jogo e usando apenas o poder cerebral estritamente necessário.

Por Que Isso Importa (E o Que Não Importa)

Você pode se perguntar: "A IA teve apenas sorte?". Os pesquisadores verificaram isso minuciosamente. Eles descobriram que, se pegassem os poucos neurônios específicos que a IA estava usando e os desligassem (um processo chamado ablação), a IA instantaneamente esquecia como jogar e começava a agir de forma completamente aleatória. Isso provou que aqueles poucos neurônios estavam fazendo todo o trabalho pesado. O resto do céreão era verdadeiramente inútil para aquela tarefa específica.

No entanto, o artigo é cuidadoso ao não afirmar que isso é uma solução mágica para todas as situações. Os pesquisadores descobriram que esse truque da "lente congelada" funciona melhor quando o jogo tem uma estrutura clara e reativa (como Pong ou Breakout). Em alguns casos, como no jogo Freeway, a IA pôde encontrar um "atalho" ao simplesmente mover para cima sempre que possível, o que não exigiu nenhum aprendizado real. Nesses casos, a "esparsidade" não era um sinal de inteligência; era um sinal de um atalho. Mas para os jogos onde a habilidade real era necessária, a lente aleatória e congelada forçou a IA a encontrar o caminho mais eficiente possível.

A Visão Geral: Encontrando o Sinal no Ruído

A história aqui é sobre eficiência. Muitas vezes pensamos que, para resolver um problema difícil, precisamos de uma máquina massiva e complexa. Mas este artigo sugere que, se você der a uma máquina um conjunto de ferramentas fixas e aleatórias, ela naturalmente descobrirá a maneira mais simples de usá-las. É como dar a alguém uma caixa de ferramentas gigante com um milhão de ferramentas aleatórias. Em vez de tentar usar todas, uma pessoa inteligente perceberá rapidamente: "Ah, eu só preciso desta chave de fenda e deste martelo para consertar esta cadeira".

Os pesquisadores também notaram algo sobre quando isso acontece. A IA decidiu quais neurônios usar muito cedo em seu treinamento — às vezes dentro dos primeiros 15 milhões de passos. Ela travou essas escolhas muito antes de realmente começar a ficar boa no jogo. Foi como se a IA tivesse escolhido seus membros de equipe no primeiro dia e, depois, passasse os próximos 100 milhões de passos apenas praticando com essa equipe específica.

Uma Analogia Lúdica: O Sintonizador de Rádio

Imagine que a CNN congelada é como um rádio que está preso em uma frequência específica e aleatória. O sinal que chega é uma mistura de estática e música. A maioria das pessoas pensaria: "Este rádio está quebrado; preciso consertar a antena". Mas esta IA é diferente. Ela não tenta consertar a antena. Em vez disso, ela ouve a estática e percebe: "Ei, se eu apenas sintonizar nesta pequena fatia da estática, posso ouvir a música perfeitamente". Ela ignora o resto do ruído.

No mundo da IA, geralmente tentamos construir antenas melhores (treinar toda a rede). Este artigo mostra que, às vezes, se você apenas deixar a IA ouvir uma antena aleatória, ela naturalmente encontrará a pequena fatia do sinal que importa e ignorará o resto. É um lembrete de que, às vezes, menos é mais, e que a natureza (ou, neste caso, uma rede aleatória congelada) tem uma maneira de encontrar a solução mais simples se apenas pararmos de atrapalhá-la.

Os pesquisadores sugerem que este fenômeno pode nos ajudar a entender como construir sistemas de IA menores e mais inteligentes no futuro. Em vez de construir redes gigantescas e desperdiçadoras, talvez possamos usar características aleatórias e congeladas para ajudar a IA a encontrar a "dimensão intrínseca" de um problema — o pequeno número real de variáveis que realmente importam. É um passo em direção a uma IA que não é apenas poderosa, mas também elegante e eficiente.

Resumo Técnico: Esparsidade Emergente em Extratores de Características CNN Aleatórios e Congelados para Aprendizado por Reforço Profundo

Declaração do Problema

Agentes de Aprendizado por Reforço Profundo (DRL) tipicamente empregam redes neurais sobreparametrizadas para resolver ambientes governados por um pequeno número de variáveis de estado intrínsecas (por exemplo, o Pong é definido por aproximadamente cinco variáveis contínuas). Essa sobreparametrização cria uma tensão entre capacidade e estrutura, levando frequentemente a patologias como colapso de rank de representação, neurônios dormentes e perda de plasticidade. Embora a esparsidade seja frequentemente vista como uma propriedade desejável a ser projetada via poda ou regularização, a literatura existente sugere que a esparsidade não emerge naturalmente no treinamento end-to-end padrão; em vez disso, redes densas distribuem a informação uniformemente através da capacidade disponível, obscurecendo a simplicidade subjacente da tarefa.

Este trabalho investiga uma questão complementar: O quanto pouco o gradiente descendente escolhe usar quando o extrator de características é fixo? Especificamente, os autores examinam se a esparsidade emerge espontaneamente quando um agente deve aprender uma política usando uma Rede Neural Convolucional (CNN) congelada e inicializada aleatoriamente como um extrator de características, sem qualquer objetivo explícito de indução de esparsidade.

Metodologia

Arquitetura e Protocolo de Treinamento

O estudo utiliza a arquitetura CNN padrão Nature-DQN (três camadas convolucionais produzindo características de 3.136 dimensões) seguida por duas camadas totalmente conectadas (FC1: 3.136 $\to$ 64; FC2: 64 $\to$ 64) e cabeças de política/valor.

Condição de CNN Congelada: Os pesos da CNN são inicializados aleatoriamente (Kaiming normal) e imediatamente congelados. Apenas as camadas FC e as cabeças de política/valor são treináveis. A CNN atua como uma projeção aleatória fixa do espaço de pixels para um espaço de características de 3.136 dimensões.
Condição de CNN Treinável (Controle): Todas as camadas são treinadas end-to-end com hiperparâmetros idênticos.
Algoritmos: Experimentos utilizam PPO através de duas implementações independentes: Stable-Baselines3 (SB3, síncrono) e Sample Factory (SF, assíncrono).
Ambientes: Quatro jogos do Atari 2600 abrangendo uma gama de complexidade intrínseca: Pong ( $\sim$ 5 variáveis de estado), Freeway ( $\sim$ 10–15), Breakout ( $\sim$ 15–25) e Space Invaders ( $\sim$ 40+).
Estocasticidade: "Ações pegajosas" (repetir a ação anterior com probabilidade $p_{sticky}=0.25$ ) são empregadas onde apropriado para evitar a memorização de sequências de ações fixas e garantir controle reativo.

Métricas de Análise

Contagem de Neurônios Ativos: Um neurônio é classificado como "ativo" se sua ativação média pós-ReLU exceder 0.01.
Razão de Participação (PR): Uma medida de dimensionalidade efetiva definida como $PR = (\sum \lambda_i)^2 / \sum \lambda_i^2$ , onde $\lambda_i$ são os autovalores da covariância de ativação. Isso distingue entre um conjunto de neurônios ativos que são independentes versus altamente correlacionados.
Verificação de Ablação: O teste empírico crítico envolve mascarar neurônios ativos (FC1-Remove) ou inativos (FC1-Keep). Um colapso para o jogo aleatório após a remoção dos neurônios ativos confirma um verdadeiro gargalo de informação.

Contribuições Principais e Resultados

1. A Esparsidade Emergente Escala com a Complexidade da Tarefa

A principal descoberta é que CNNs aleatórias congeladas desenvolvem espontaneamente representações extremamente esparsas na primeira camada totalmente conectada (FC1), e o número de neurônios ativos correlaciona-se com a complexidade da tarefa:

Pong (Determinístico): 1–3 neurônios ativos de 64 (utilização de 1.6–4.7%).
Breakout: 19–26 neurônios ativos.
Space Invaders: $\sim$ 42 neurônios ativos.
Controles Treináveis: Em contraste, CNNs treináveis utilizam 55–64 neurônios (91–100% de utilização) independentemente da complexidade da tarefa.
Escalonamento de Largura: Experimentos variando a largura de FC1 (32, 64, 128) confirmam que a contagem absoluta de ativos é estável e reflete a estrutura da tarefa, não uma fração fixa da capacidade da rede.

2. Escalonamento Limitado pela Capacidade Dentro dos Jogos

Dentro do mesmo jogo (Pong) e com hiperparâmetros correspondentes, três projeções aleatórias independentes (seeds) produziram diferentes contagens de neurônios ativos e respectivos tetos de desempenho:

A seed de 5 neurônios estagnou em +14.1 de recompensa.
As seeds de 7 e 11 neurônios atingiram desempenho de especialista (+18.4 e +18.7).
Isso sugere que a "dimensionalidade utilizável" da projeção aleatória específica define um teto para o desempenho alcançável para uma tarefa e capacidade fixas.

3. Necessidade e Suficiência do Conjunto Ativo

Estudos de ablação confirmam que o conjunto ativo esparso carrega toda a informação relevante da tarefa:

FC1-Remove: Remover os neurônios ativos em agentes congelados causa o colapso para o jogo aleatório (recompensa $\approx$ -21.0) em todas as seeds e frameworks.
FC1-Keep: Manter apenas os neurônios ativos (zerando o restante) preserva a competência total do agente.
Isso se mantém mesmo quando a política é avaliada fora de distribuição (ex: agentes treinados de forma determinística avaliados com ações pegajosas), onde a política pode falhar, mas a representação permanece necessária.

4. Compromisso Precoce do Gargalo

Uma varredura longitudinal através de 47 checkpoints (5M a $\sim$ 1.6B de steps) revela a dinâmica temporal da formação do gargalo:

Bloqueio Precoce: O conjunto ativo é travado entre 15–30M de steps. A necessidade desses neurônios (FC1-Remove $\to$ jogo aleatório) é detectável tão cedo quanto 5M de steps, antes de qualquer melhoria de recompensa.
Lag: A recompensa torna-se positiva 35–105M de steps após o bloqueio do conjunto ativo. O lag aumenta à medida que a capacidade do gargalo aperta (ex: a seed de 5 neurônios leva $\sim$ 105M de steps para aprender a usar sua representação comprimida, enquanto a seed de 11 neurônios leva $\sim$ 35M).
Agentes Treináveis: Agentes treináveis também exibem compromisso precoce com um conjunto ativo, mas o conteúdo é qualitativamente diferente: eles se comprometem com um conjunto amplo de neurônios (43–64 de 64) em vez de uma seleção estreita e esparsa.

5. Diferenças Estruturais nas Assinaturas do Gargalo (Breakout)

No Breakout, agentes congelados e treináveis alcançam recompensas competitivas através de gargalos estruturalmente diferentes:

Agentes Congelados: Usam 17–25 neurônios ativos com uma razão de participação alta ( $\sim$ 10–14), indicando um conjunto estreito de características moderadamente diversas e independentes.
Agentes Treináveis: Usam 51 neurônios ativos com uma razão de participação baixa ( $\sim$ 3.6), indicando um conjunto amplo de características altamente correlacionadas e redundantes.
Isso destaca que a contagem de ativos e a razão de participação são indicadores complementares de compressão representacional.

Significância e Alegações

O artigo afirma demonstrar que a esparsidade não é meramente uma propriedade projetada, mas pode emergir espontaneamente do gradiente descendente padrão quando o extrator de características é fixo. A CNN aleatória congelada atua como um "dispositivo de medição compressiva" que revela a dimensionalidade intrínseca do problema subjacente sem maquinaria de esparsidade explícita.

As principais implicações extraídas pelos autores incluem:

Sondagem da Complexidade da Tarefa: Uma execução de treinamento com CNN congelada pode revelar, sem busca explícita, o número aproximado de variáveis de estado independentes que a política de um agente utiliza, informando o design de currículo e alvos de poda.
Eficiência: CNNs congeladas permitem o implante de eficiência extrema onde apenas o readout treinado (ex: $\sim$ 9.400 parâmetros para Pong) precisa ser armazenado, sendo a seed aleatória suficiente para regenerar a projeção.
Conexão Teórica: O trabalho conecta a esparsidade do bilhete de loteria (lottery ticket), computação de reservatório e compressed sensing. Sugere que o gradiente descendente em uma projeção aleatória congelada realiza um readout esparso de forma semelhante a como o compressed sensing recupera sinais, mas impulsionado pela dinâmica de RL em vez de regularização $\ell_1$ explícita.
Aplicabilidade Mais Ampla: Os autores conjecturam (sem provar) que este mecanismo poderia servir como uma ferramenta de descoberta de conjunto mínimo de características em domínios onde a dimensionalidade de entrada supera drasticamente a dimensionalidade intrínseca da tarefa (ex: medições biológicas) e como um diagnóstico leve para seleção de rank de adaptação no ajuste fino (análogo ao LoRA).

Os autores permanecem modestos quanto à generalidade de suas descobertas, observando que os resultados são atualmente limitados a jogos Atari de ação discreta e à arquitetura Nature-DQN, e que uma prova matemática formal de por que projeções aleatórias congeladas garantem soluções esparsas permanece uma questão aberta.