🧬 biology

Efficient coding along the visual hierarchy

Este artigo demonstra que um modelo de codificação eficiente não supervisionado, que comprime entradas visuais com base em estatísticas locais sem rótulos ou retropropagação, constrói com sucesso uma hierarquia visual alinhada ao humano a partir de dados limitados que prediz respostas cerebrais e melhora o aprendizado quando combinado com o ajuste fino supervisionado.

Autores originais: Ananya Passi, Brian Robinson, Michael Bonner

Publicado 2026-08-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ananya Passi, Brian Robinson, Michael Bonner

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine que o seu céreulo é uma câmera superavançada que não apenas tira fotos, mas aprende a entender o mundo apenas olhando para ele. Diferente da inteligência artificial (IA) que vemos em filmes ou videogames, que muitas vezes precisa "estudar" milhões de fotos para aprender o que é um gato ou um carro, o seu cérebro consegue descobrir as coisas com apenas alguns exemplos. Cientistas há muito tempo se perguntam: como o cérebro faz isso? Uma ideia principal chama-se "codificação eficiente". Pense nisso como um algoritmo de compressão inteligente. Em vez de tentar memorizar cada pixel de cada imagem, o cérebro aprende as "regras" de como as imagens naturais são construídas — como bordas, cores e texturas geralmente se encaixam. Ao focar nos padrões mais comuns e ignorar o ruído aleatório, o cérebro constrói uma biblioteca mental de características que o ajuda a reconhecer coisas rapidamente. A grande questão é: será que esse "aprendizado por observação" simples e não supervisionado pode realmente construir uma compreensão profunda e complexa do mundo, indo de linhas simples até objetos complexos, sem precisar de um professor para lhe dizer o que é cada coisa?

Em um novo estudo, pesquisadores da Universidade Johns Hopkins decidiram testar essa ideia construindo um modelo computacional que imita esse estilo de aprendizado biológico. Eles criaram um cérebro digital que aprende em camadas, de forma muito semelhante ao sistema visual em nossas cabeças. Em vez de ser alimentado com imagens rotuladas (como "isto é um cachorro" ou "isto é uma árvore"), o modelo foi simplesmente mostrado milhares de imagens naturais e instruído a encontrar os padrões mais importantes dentro delas. Ele usou um truque matemático chamado Análise de Componentes Principais (PCA) para comprimir a informação, mantendo apenas as variações mais dominantes — como as cores ou formas mais frequentes — e descartando o restante.

Os resultados foram surpreendentemente poderosos. Mesmo sem rótulos ou tarefas, este modelo de "codificação eficiente" começou a aprender características que se pareciam muito com o que os cérebros humanos veem. As camadas iniciais do modelo aprenderam a detectar coisas simples, como bordas e cores. Mas, à medida que a informação avançava para camadas mais profundas, as camadas começaram a reconhecer coisas muito mais complexas, como texturas, formas e até objetos inteiros. Quando os pesquisadores testaram essas características com voluntários humanos, as pessoas conseguiram facilmente reconhecer o que o computador estava "vendo", sugerindo que o modelo havia aprendido algo muito semelhante à forma como percebemos o mundo.

A equipe também testou uma abordagem "híbrida", onde permitiram que o modelo aprendesse esses padrões primeiro e, depois, deram a ele um pouco de treinamento supervisionado (como mostrar a ele alguns exemplos rotulados) para refinar suas habilidades. Eles descobriram que este modelo híbrido era incrivelmente eficiente em termos de dados. Enquanto um modelo de IA padrão precisava de milhões de imagens para aprender bem, este modelo híbrido conseguia prever como os cérebros humanos reagiriam a novas imagens após ver apenas 1.000 fotos. Na verdade, quando deram ao modelo híbrido apenas uma imagem por categoria (1.000 imagens no total para 1.000 categorias), ele ainda superou os modelos padrão treinados com a mesma pequena quantidade de dados.

Talvez a descoberta mais emocionante tenha sido que este método tornou a IA um aprendiz muito mais rápido. Quando os pesquisadores tentaram ensinar novas categorias ao modelo com pouquíssimos dados, a versão que começou com a codificação eficiente aprendeu de forma muito mais rápida e precisa do que um modelo que começou do zero. Era como se a codificação eficiente desse à IA uma "vantagem inicial" ao organizar sua biblioteca interna de características antes mesmo de começar a estudar para um teste específico. O estudo sugere que a codificação eficiente não serve apenas para as partes iniciais e simples da visão; ela pode ser um princípio fundamental que molda toda a nossa hierarquia visual, ajudando os cérebros biológicos a aprender tanto com tão pouco. Embora os pesquisadores observem que isso não significa que o aprendizado supervisionado não seja importante, o trabalho deles sugere que combinar a habilidade natural do cérebro de encontrar padrões com o treinamento de tarefas específicas pode ser a chave para construir uma IA mais inteligente e eficiente.

Resumo Técnico: Codificação Eficiente ao Longo da Hierarquia Visual

Declaração do Problema

Modelos de aprendizagem profunda atualmente alcançam desempenho de estado da arte na predição de representações do córtex visual e comportamentos visuais. No entanto, eles falham em capturar uma característica fundamental da visão biológica: a capacidade de aprender representações úteis a partir de dados limitados. Enquanto sistemas biológicos se adaptam à estrutura estatística latente de estímulos sensoriais com experiência mínima, o aprendizado profundo moderno depende de atualizações supervisionadas ou autossupervisionadas sobre milhões a bilhões de amostras de treinamento. Essa discrepância sugere que a visão biológica pode ser moldada por princípios de aprendizagem fundamentalmente diferentes. Os autores investigam se a codificação eficiente — a teoria de que as representações neurais são moldadas para transmitir o máximo de informação sobre estímulos naturais dadas as restrições biológicas — pode ser usada para construir uma hierarquia profunda de características visuais alinhadas ao humano, sem rótulos de tarefas ou retropropagação (backpropagation).

Metodologia

Arquitetura do Modelo

Os autores desenvolveram uma rede neural convolucional de 11 camadas baseada em uma arquitetura de rede de espalhamento (scattering network) (Guth et al., 2024). A arquitetura fatoriza os pesos em componentes espaciais e de canal:

Filtragem Espacial Fixa: Cada camada começa com um conjunto fixo de $N$ filtros de wavelet (especificamente, um filtro passa-baixa $\phi$ e oito filtros passa-faixa de Morlet $\psi$ em várias orientações). Esses filtros detectam características de banda de passagem orientadas e estruturas grosseiras.
Mistura de Canais Aprendida: Após a filtragem espacial e retificação, uma convolução $1\times1$ aprendível mistura a informação entre os canais.
Subamostragem: Cada duas camadas, uma convolução com salto (stride) é empregada para reduzir as dimensões espaciais por um fator de dois, aumentando o campo receptivo efetivo em camadas mais profundas.
Normalização: A normalização por lote (batch normalization) e a normalização espacial $L_2$ são aplicadas para garantir saídas de média zero e variância unitária, além de evitar a dominância de magnitude.

Protocolo de Aprendizado Não Supervisionado (Codificação Eficiente Profunda)

A inovação central é um procedimento de aprendizagem camada a camada, não supervisionado, que não requer um objetivo global, nem rótulos, nem retropropagação:

Estatísticas Locais: Para cada camada, as ativações são coletadas após a filtragem de wavelet, retificação e agrupamento médio global (global average pooling).
Análise de Componentes Principais (PCA): A matriz de covariância dessas ativações espacialmente agrupadas é computada sobre um conjunto de imagens naturais (ImageNet). Os $K$ autovetores superiores, que representam os modos dominantes de variância, são extraídos.
Otimização de Pesos: Esses autovetores servem como os pesos para a convolução $1\times1$ da camada, efetivamente comprimindo a entrada em um subespaço de $K$ dimensões alinhado com as estatísticas de imagens naturais.
Expansão: Na camada subsequente, os filtros de wavelet fixos expandem essa representação comprimida por um fator de $N$ .
Justificativa: Os autores escolheram PCA em vez de Análise de Componentes Independentes (ICA) ou branqueamento (whitening) porque ele otimiza diretamente para características de variação máxima (relevante para regimes de amostragem limitados em processamento de alto nível) e fornece soluções únicas e globalmente ótimas.

Aprendizado Híbrido e Avaliação

O estudo avalia três paradigmas de treinamento:

Codificação Eficiente Não Supervisionada: A rede é treinada unicamente via o procedimento de PCA camada a camada.
Aprendizado Supervisionado Convencional: A rede é treinada a partir de uma inicialização aleatória usando retropropagação supervisionada em tarefas de classificação de imagens.
Aprendizado Híbrido: A rede passa pela fase de codificação eficiente não supervisionada primeiro, seguida pelo ajuste fino (fine-tuning) supervisionado em tarefas de classificação.

Métricas de Avaliação:

Interpretabilidade Comportamental: Participantes humanos realizaram uma tarefa de correspondência, selecionando qual grupo de imagens (alta vs. baixa ativação) correspondia a um grupo alvo, para avaliar se os canais da rede codificam características perceptualmente significativas.
Alinhamento Cerebral: Modelos de codificação foram ajustados usando regressão linear regularizada para prever respostas de fMRI a partir do Natural Scenes Dataset (NSD) (resolução de 7T, 8 sujeitos) com base nas ativações das camadas da rede. O desempenho foi medido pela correlação entre as respostas corticais previstas e reais.
Eficiência de Dados: A acurácia de classificação no miniImageNet foi medida como uma função das amostras de treinamento, incluindo experimentos onde as camadas iniciais foram congeladas para testar a transferibilidade das características não supervisionadas.

Principais Resultados

1. Emergência de Características Hierárquicas

O modelo de codificação eficiente profunda não supervisionada aprendeu com sucesso uma hierarquia de características sem rótulos.

Camadas de baixo nível: Exibiram seletividade para características simples como bordas, orientações e cores.
Camadas de alto nível: Exibiram seletividade para características complexas, incluindo texturas, formas e objetos.
Essa progressão ocorreu puramente através da aplicação hierárquica de princípios de codificação eficiente.

2. Relevância Comportamental

Reconhecimento Humano: Participantes puderam identificar confiavelmente características representadas por canais específicos da rede. O modelo não supervisionado (treinado em apenas 10.000 imagens) alcançou uma acurácia significativamente maior ( $M=0,87$ ) em tarefas de correspondência comparado a uma arquitetura não treinada ( $M=0,68$ ), aproximando-se do desempenho de um modelo totalmente supervisionado treinado com 1 milhão de imagens ( $M=0,96$ ).
Tempo de Reação: Os tempos de reação foram significativamente correlacionados com o ranking de variância do canal ( $\rho = 0,37$ ). Os participantes identificaram características de canais com maior variância mais rapidamente, sugerindo que a codificação eficiente organiza as representações de modo que dimensões estatisticamente proeminentes sejam perceptualmente salientes.
Necessidade de Hierarquia: Um modelo de controle aplicando PCA apenas na camada final (deixando outras camadas não treinadas) teve um desempenho significativamente inferior, confirmando que a estrutura hierárquica é crítica.

3. Alinhamento Cerebral sob Limitações de Dados

Desempenho com Baixos Dados: Quando treinado com apenas 1.000 imagens (uma por categoria do ImageNet), a abordagem de aprendizado híbrido (pré-treinamento não supervisionado + ajuste fino supervisionado) superou significativamente o aprendizado supervisionado convencional na predição de respostas de fMRI na via visual ventral, particularmente em camadas mais profundas (camada 6+).
Escala de Dados: À medida que os dados de treinamento aumentaram para 10.000 imagens, a lacuna de desempenho entre o aprendizado híbrido e o convencional diminuiu, embora o aprendizado híbrido tenha mantido uma vantagem sobre a linha de base puramente não supervisionada.
Distribuição Espacial: Os benefícios de desempenho do aprendizado híbrido foram distribuídos amplamente pelo córtex visual, não se limitando a regiões específicas.

4. Aprendizado de Categorias Eficiente em Dados

Convergência Mais Rápida: Modelos híbridos exigiram menos amostras de treinamento supervisionado para atingir a mesma acurácia de classificação que modelos treinados convencionalmente no miniImageNet.
Robustez ao Congelamento: Quando as camadas iniciais a intermediárias (até a camada 5) foram congeladas após o pré-treinamento não supervisionado, o modelo híbrido manteve alta acurácia de classificação. Em contraste, congelar as mesmas camadas em redes inicializadas aleatoriamente causou uma queda dramática no desempenho.
Categorias Limitadas: A vantagem do pré-treinamento não supervisionado foi mais pronunciada em configurações com poucas categorias e poucas amostras por categoria, facilitando o aprendizado rápido de categorias.

Significância e Alegações

Os autores alegam que suas descobertas sugerem que princípios de codificação eficiente podem moldar representações ao longo de toda a hierarquia visual, não apenas no processamento de baixo nível (ex: V1). O estudo propõe uma nova perspectiva teórica onde a visão biológica é otimizada por uma combinação de:

Codificação eficiente de baixo para cima (bottom-up): Adaptação não supervisionada à estrutura estatística de imagens naturais, o que constrói uma base de características reutilizáveis e comportamentalmente relevantes.
Aprendizado orientado a objetivos de cima para baixo (top-down): Refinamento supervisionado dessas representações para tarefas comportamentais específicas.

O artigo argumenta que esse mecanismo híbrido explica a eficiência de dados da visão biológica, permitindo o aprendizado rápido de representações úteis a partir de experiência limitada. Ao contrário de modelos anteriores orientados a objetivos que dependem de retropropagação de ponta a ponta, este framework demonstra que regras de aprendizagem locais e não supervisionadas podem esculpir representações hierárquicas que são neuralmente alinhadas e relevantes para tarefas. Os autores concluem que a codificação eficiente serve como uma inicialização poderosa para o aprendizado supervisionado, oferecendo uma solução potencial para tarefas de visão computacional onde os dados rotulados são escassos.