💻 computer science

Adaptive Hebbian Memory Routing in Vision Transformers for Few-Shot Learning

Este artigo propõe o Roteamento Hebbiano Adaptativo para Vision Transformers, um método que utiliza um MLP leve para controlar dinamicamente a contribuição de memória, a força de atualização e a retenção, superando, assim, abordagens Hebbianas fixas em precisão de aprendizado de poucos disparos (few-shot learning) e eficiência de inferência através de vários backbones e conjuntos de dados.

Autores originais: Mohammed Yusuf Mujawar, Noorbakhsh Amiri Golilarz

Publicado 2026-06-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mohammed Yusuf Mujawar, Noorbakhsh Amiri Golilarz

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando aprender um novo idioma, mas tem apenas uma única frase para estudar antes de ter que fazer uma prova. Isso é o que os cientistas da computação chamam de "Aprendizado de Poucos Disparos" (Few-Shot Learning). É como pedir a um aluno que aprenda um assunto inteiramente novo após ver apenas um exemplo.

Por muito tempo, os modelos de visão computacional (os "cérebros" que permitem que os computadores vejam) foram como alunos com cérebros muito rígidos. Uma vez treinados, seu conhecimento era "congelado". Se você mostrasse a eles um novo tipo de gato que eles nunca tinham visto antes, eles não consegiam se adaptar facilmente porque suas regras internas não mudavam durante a prova.

Este artigo apresenta uma nova maneira de ajudar esses cérebros computacionais a se adaptarem rapidamente. Aqui está a divisão da ideia deles, usando analogias simples.

O Problema: O Cérebro "Congelado"

Os modelos de computador padrão possuem dois tipos de "pesos" (regras para processar informações):

Pesos Lentos: Estas são as regras permanentes aprendidas durante anos de treinamento. São como o currículo principal que um aluno memorizou na escola. Eles não mudam durante uma prova.
O Desafio: Quando um aluno vê um novo tipo de problema (uma nova classe de imagens) pela primeira vez, ele precisa usar os poucos exemplos que tem agora para entendê-lo. Os modelos padrão têm dificuldade porque não conseguem "lembrar" temporariamente dos novos exemplos enquanto estão olhando para as questões da prova.

A Solução Antiga: O "Post-it" (Memória Hebbiana)

Cientistas tentaram corrigir isso anteriormente adicionando um sistema de "Peso Rápido", baseado no conceito de aprendizado Hebbiano.

A Analogia: Imagine um aluno que, durante uma prova, tem permissão para escrever um "post-it" em sua mesa. Cada vez que ele vê um novo exemplo (o "conjunto de suporte"), ele escreve uma nota rápida nele. Quando ele vê uma questão de prova (a "consulta"), ele olha para a nota para ajudá-lo a responder.
A Falha: No método antigo, o aluno escrevia a nota com a mesma força todas as vezes, independentemente de a nota ser útil ou confusa. Às vezes, a nota era tão colante que entulhava a mesa e tornava o raciocínio mais difícil. Às vezes, a nota desaparecia rápido demais. Era uma abordagem de "tamanho único" que não funcionava bem para todos os tipos de prova.

A Nova Solução: O "Bibliotecário Inteligente" (Roteamento Hebbiano Adaptativo)

Os autores deste artigo propõem um novo sistema chamado Roteamento Hebbiano Adaptativo. Em vez de um aluno escrevendo notas cegamente, eles adicionam um Bibliotecário Inteligente (um pequeno programa de computador leve chamado roteador MLP) à mesa.

Veja como o Bibliotecário ajuda:

Decide Se Deve Usar a Nota: O Bibliotecário observa os novos exemplos. Se os exemplos forem confusos, o Bibliotecário pode dizer: "Não use o post-it ainda; isso pode atrapalhar". Se os exemplos forem claros, o Bibliotecário diz: "Pode usar a nota!".
Decide Com Que Força Escrever: O Bibliotecário controla a caneta. Se a nova informação for muito importante, o Bibliotecário pressiona com força para tornar a nota permanente para a prova. Se for um detalhe menor, a nota é escrita levemente.
Decide Por Quanto Tempo Manter a Nota: O Bibliotecário decide se a nota deve ficar na mesa durante toda a prova ou se deve desaparecer rapidamente.

Ao permitir que o sistema decida como usar sua memória temporária com base na situação específica, o computador torna-se muito melhor em aprender com apenas um ou poucos exemplos.

O Que Eles Testaram

Os pesquisadores testaram este "Bibliotecário Inteligente" em três tipos diferentes de modelos de visão computacional (chamados de ViT, DeiT e Swin) usando dois "livros de teste" diferentes:

Omniglot: Um conjunto de dados de caracteres manuscritos de muitas língagens diferentes (como aprender a reconhecer novos alfabetos).
CIFAR-FS: Um conjunto de dados de objetos comuns como carros, gatos e aviões.

Os Resultados

Melhores Notas: Em quase todos os testes, os modelos com o "Bibliotecário Inteligente" obtiveram pontuações mais altas do que o antigo método do "post-it fixo".
- Por exemplo, no modelo Swin, o método fixo obteve uma pontuação de 96,74%, mas o novo método adaptativo obteve 96,94%.
Pensamento Mais Rápido: Surpreendentemente, o novo método também foi mais rápido. Como o Bibliotecário sabe quando não usar o post-it, o computador não perde tempo processando informações inúteis. No modelo Swin, o tempo de teste caiu de 16,51 milissegundos para 14,05 milissegundos.
Consertando Sistemas Quebrados: Para alguns modelos (ViT e DeiT), o antigo método do "post-it fixo" na verdade fez com que eles performassem pior do que se não tivessem nota nenhuma. O "Bibliotecário Inteligente" corrigiu isso, trazendo o desempenho de volta aos níveis mais altos.

A Conclusão Final

Este artigo mostra que dar uma memória temporária a um computador é uma ótima ideia, mas como essa memória é usada importa mais do que apenas possuí-la. Ao adicionar um controlador pequeno e inteligente que decide quando lembrar, com que força lembrar e por quanto tempo manter a memória, os computadores podem aprender novas tarefas visuais de forma muito mais rápida e precisa do que antes.

Os autores concluem que este "Roteamento Hebbiano Adaptativo" é uma maneira mais eficiente e poderosa de ensinar computadores a aprender com pouquíssimos exemplos.

Resumo Técnico: Roteamento de Memória Hebbiana Adaptativa em Vision Transformers para Few-Shot Learning

Problema

O reconhecimento de imagens em few-shot exige que os modelos se adaptem a novas classes usando apenas um pequeno conjunto de suporte rotulado. Redes profundas padrão dependem de "pesos lentos" (slow weights) que permanecem fixos durante a inferência, tornando difícil a formação de representações específicas para cada nova tarefa. Embora os Vision Transformers (ViT, DeiT, Swin) forneçam uma forte extração de características, eles são amplamente estáticos durante a inferência.

A memória de peso rápido Hebbiana oferece um mecanismo para armazenar associações temporárias e específicas da tarefa derivadas do conjunto de suporte. No entanto, trabalhos anteriores demonstraram que o comportamento de memória Hebbiana fixo (ativação constante, força de atualização e retenção) produz resultados inconsistentes entre arquiteturas: ele melhora o Swin Transformer, mas degrada o desempenho em ViT e DeiT quando inserido densamente. Além disso, permanece incerto se um comportamento de memória único e fixo é ideal para cada episódio de few-shot, ou se o caminho da memória deve adaptar sua ativação e plasticidade com base no conjunto de suporte específico.

Metodologia

Os autores propõem o Roteamento Hebbiano Adaptativo, uma abordagem leve que torna o caminho da memória Hebbiana "condicionado ao episódio". Em vez de aplicar regras Hebbianas fixas, o método emprega um roteador MLP (Multi-Layer Perceptron) leve para controlar dinamicamente três aspectos do mecanismo de memória com base nas características do conjunto de suporte atual.

Componentes Principais

Módulo de Peso Rápido Hebbiano:
- Recebe representações de tokens $X$ e as projeta em chaves ( $K$ ), valores ( $V$ ) e consultas ( $Q$ ).
- Forma uma atualização associativa $A$ via o produto externo de $K$ e $V$ .
- Atualiza uma matriz de memória de peso rápido $M$ usando um fator de decaimento $\lambda$ e uma taxa de plasticidade $\eta$ : $M \leftarrow \lambda M + \eta A$ .
- A memória é lida através da representação de consulta e adicionada às características do backbone via uma conexão residual.
- A matriz de memória é resetada no início de cada episódio, garantindo que armazene apenas associações temporárias.
Roteador MLP Adaptativo:
- Um roteador separado e leve é anexado a locais selecionados do backbone.
- Ele ingere as características de média agrupada (mean-pooled) dos tokens de suporte ( $z_l$ ) de uma camada específica.
- O roteador prevê três valores de controle para o episódio:
  - Portão de Ativação Externa ( $g_l$ ): Controla a contribuição da saída da memória para a representação atual.
  - Taxa de Plasticidade ( $\eta_l$ ): Controla a força de escrita das novas associações do conjunto de suporte.
  - Decaimento de Memória ( $\lambda_l$ ): Controla a retenção da memória anterior durante o episódio.

Variantes Adaptativas Estudadas

O artigo avalia três configurações específicas para isolar os efeitos desses controles:

Posicionamento Adaptativo: Apenas o portão de ativação externa ( $g_l$ ) é aprendido; a plasticidade e o decaimento permanecem como parâmetros aprendidos padrão.
Plasticidade Adaptativa: O caminho da memória está totalmente ativo, mas o roteador prevê a taxa de plasticidade ( $\eta_l$ ) e o decaimento ( $\lambda_l$ ) específicos do episódio.
Roteamento Hebbiano Totalmente Adaptativo: O roteador prevê todas as três variáveis ( $g_l, \eta_l, \lambda_l$ ), permitindo que o modelo aprenda tanto a força de contribuição quanto a dinâmica de atualização para o episódio específico.

Integração ao Backbone

ViT-Small & DeiT-Small: Módulos adaptativos são inseridos esparsamente após os blocos 3, 6, 9 e 12 (em oposição à inserção densa em baselines fixos).
Swin-Tiny: Uma comparação direta é realizada onde as variantes fixa e adaptativa utilizam o exato mesmo local de memória. Isso isola o efeito do controle adaptativo do efeito do posicionamento da memória.

Contribuições Principais

Proposta de Roteamento Hebbiano Adaptativo: Um método que utiliza um MLP leve para controlar a ativação da memória, a força da plasticidade e a retenção com base nas características do conjunto de suporte.
Análise Desvinculada: O estudo separa os efeitos da ativação da memória (Posicionamento Adaptativo) da atualização de memória específica do episódio (Plasticidade Adaptativa).
Comparação de Arquitetura Controlada: Uma comparação direta com o Swin onde as variantes fixa e adaptativa compartilham o mesmo local de memória, provando que as melhorias advêm do controle adaptativo e não da mudança de localização.
Ganhos de Eficiência: Demonstração de que o roteamento adaptativo pode reduzir o tempo de inferência e a contagem de parâmetros enquanto melhora a precisão, particularmente ao evitar a inserção fixa densa em ViT/Deit.

Resultados Experimentais

Datasets e Protocolos

Experimentos foram conduzidos no Omniglot (treinado do zero) e no CIFAR-FS (ajuste fino em backbones pré-treinados no ImageNet). A avaliação incluiu tarefas de 5-way 1-shot, avaliações multi-shot (1–10) e transferência de domínio (cross-domain transfer: CIFAR-FS $\to$ Omniglot).

Descobertas de Desempenho

Omnigлот (ViT/DeiT): A inserção Hebbiana fixa densa degradou significativamente o desempenho (caindo de ~95,4% para ~90%). As variantes adaptativas recuperaram essa perda, com o Roteamento Totalmente Adaptativo alcançando uma precisão ligeiramente superior (95,48%) ao modelo base.
Omniglot (Swin): Na comparação controlada (mesmo local), o Hebbiano Fixo melhorou o Swin base de 96,14% para 9,674%. A Plasticidade Adaptativa melhorou ainda mais para 96,92%, e o Roteamento Totalmente Adaptativo alcançou o melhor resultado de 96,94%. Isso confirma que a plasticidade e a retenção adaptativas são críticas mesmo quando o local da memória é ideal.
CIFAR-FS: As variantes adaptativas superaram tanto os modelos base quanto os baselines Hebbianos fixos em todos os três backbones. O ViT Totalmente Adaptativo melhorou em 16,01 pontos percentuais em relação ao Hebbiano Fixo (88,59% vs 72,58%).
Multi-Shot: Os benefícios do roteamento adaptativo persistiram conforme o número de exemplos de suporte aumentava de 1-shot para 10-shot.
Transferência de Domínio (Cross-Domain Transfer): O Swin e o DeiT adaptativos mostraram melhor desempenho de transferência de CIFAR-FS para Omniglot em comparação com os baselines fixos, embora os resultados tenham variado conforme o backbone.

Eficiência

Parâmetros: Ao usar inserção esparsa (4 locais) em vez de inserção densa, os modelos ViT/Deit adaptativos reduziram a contagem de parâmetros de ~28,7M para ~24,0M.
Tempo de Inferência: As variantes adaptativas foram significativamente mais rápidas. No Omniglot, o Swin Totalmente Adaptativo reduziu o tempo de inferência de 16,51 ms (Fixo) para 14,05 ms. No CIFAR-FS, o ViT Totalmente Adaptativo reduziu o tempo de 24,51 ms para 11,50 ms.

Significância e Alegações

O artigo afirma que a utilidade da memória Hebbiana no aprendizado few-shot não é determinada unicamente por onde ela é inserida, mas significativamente por como ela é controlada durante um episódio.

A Plasticidade Adaptativa é a Chave: A comparação direta com o Swin demonstra que, mesmo com um local de memória conhecido como ideal, as regras de atualização fixas são subótimas. Adaptar a taxa de plasticidade e o decaimento da memória para o episódio específico gera ganhos mensuráveis de precisão.
Robustez entre Arquiteturas: Enquanto a memória Hebbiana fixa densa prejudica backbones de Transformer planos (ViT/DeiT), o roteamento adaptativo recupera e excede o desempenho base, sugerindo que o controle de memória condicionado ao episódio é uma estratégia mais robusta do que a inserção estática.
Eficiência: O método fornece uma maneira seletiva e eficiente de utilizar memória associativa temporária, alcançando resultados de estado da arte em few-shot com menor sobrecarga computacional em comparação com implementações fixas densas.

Os autores concluem que a plasticidade adaptativa e a ativação de memória adaptativa permitem que os Vision Transformers representem melhor as tarefas de few-shot do que o comportamento Hebbiano fixo, sem incorrer no custo de um retreinamento total do backbone.