Resumo Técnico: Engramas de IA: Em Busca de Traços de Memória em Inteligência Artificial

1. Declaração do Problema

Redes neurais profundas armazenam conhecimento de uma maneira profundamente emaranhada, onde parâmetros individuais participam de múltiplos comportamentos simultaneamente. Essa natureza distribuída e emaranhada das representações aprendidas torna difícil realizar a manipulação "cirúrgica" do conhecimento, como a remoção de conceitos específicos (desaprendizado de máquina ou machine unlearning) ou o isolamento de memórias específicas sem o retreinamento de todo o modelo. Enquanto a neurociência postula que as memórias são armazenadas em substratos físicos identificáveis chamados "engramas", permanece uma questão aberta se traços de memória análogos e identificáveis existem dentro de redes neurais artificiais. Os métodos atuais para edição de conhecimento ou desaprendizado frequentemente dependem de otimização iterativa baseada em gradiente ou atribuição heurística, o que pode ser computacionalmente caro, carecer de garantias teóricas de especificidade ou falhar em escalar para modelos de grande escala.

2. Metodologia

O artigo introduz um arcabouço geométrico para identificar "engramas de IA" — traços de memória causais em inteligência artificial — formalizando critérios neurocientíficos em um problema inverso restrito.

2.1. Critérios Neurocientíficos como Restrições

Os autores definem a identificação de um engrama $\mu^+_c$ para um conceito alvo $c$ com base em quatro critérios canônicos (Josselyn & Tonegawa, 2020; Tomé et al., 2024):

1. Especificidade: O engrama deve codificar seletivamente a experiência alvo ($X^+$) enquanto permanece inerte a experiências de referência ($X^-$).
2. Reativação: O engrama deve reproduzir consistentemente as representações internas ($Z^+$) associadas ao alvo.
3. Suficiência: A injeção do engrama em um estado nulo (naïve) deve induzir o comportamento aprendido.
4. Necessidade: A ablação do engrama de um estado aprendido deve eliminar o comportamento alvo enquanto preserva o conhecimento não relacionado.

2.2. Formulação Algébrica

Os autores formulam a busca pelo engrama sináptico $W^+$ como um problema de otimização. Eles contrastam estados observados (aprendizado natural) com estados intervencionados (manipulação algébrica) para derivar restrições lineares.

• Objetivo: Minimizar a discrepância entre os estados intervencionados e observados através dos conjuntos alvo e de referência.
• Restrições: Impor ortogonalidade ao subespaço de referência ($W^+ X^- = 0$) para garantir a especificidade.
• Solução: Os autores derivam um estimador de forma fechada para o engrama. Utilizando a pseudoinversa de Moore-Penrose e matrizes de covariância não centradas ($\Sigma^+ = X^+ X^{+\top}$ e $\Sigma^- = X^- X^{-\top}$), eles obtêm:
  $$W^+ = \Delta W \Sigma^+ (\Sigma^+ + \Sigma^-)^\dagger$$
  Na prática, para um modelo treinado com pesos $W$, a atualização é aproximada retrospectivamente como $W^+ = W \Sigma^+ (\Sigma^+ + \Sigma^-)^\dagger$. Isso permite a extração de engramas em uma única passagem direta (forward pass) sem retropropagação (backpropagation).

2.3. Interpretação Geométrica

O artigo estabelece uma ligação entre esses critérios biológicos e a geometria da informação. Sob a suposição de Curvatura Aproximada Fatorada por Kronecker (K-FAC) e o Princípio da Máxima Entropia, a solução de forma fechada derivada corresponde à projeção de norma mínima sobre um manifold de restrição sob a Métrica de Informação de Fisher. Isso revela que a direção do engrama se alinha com a direção do gradiente natural no manifold de parâmetros.

2.4. Desaprendizado Combinatório

Como os engramas identificados são linearmente aditivos, o arcabouço permite o desaprendizado combinatório. Para remover um subconjunto de conceitos, pode-se simplesmente subtrair os engramas correspondentes dos pesos do modelo usando aritmética linear:
$$\text{Engram}(\alpha) := W - \alpha \sum_{k \in U} W^+_k$$
Isso evita a complexidade exponencial dos métodos de desaprendizado iterativos.

3. Principais Contribuições

1. Um Arcabouço para Engramas de IA: Os autores traduzem critérios de memória biológica em restrições algébricas, resultando em um estimador de forma fechada escalável que isola traços de memória de parâmetros globalmente emaranhados.
2. Isolamento de Memória Amortizado: O método desacopla traços de memória, permitindo a composição ou erradicação instantânea de conhecimento via aritmética linear simples. Isso resolve a complexidade combinatória do desaprendizado e demonstra robustez em diversas arquiteturas, desde MLPs simples até LLMs de bilhões de parâmetros.
3. Ligação com a Geometria da Informação: O trabalho demonstra que o estimador de forma fechada inspirado biologicamente recupera a curvatura de Fisher, coincidindo com a direção do gradiente natural, unindo assim teorias de memória biológica e aprendizagem de representação artificial.

4. Resultados Experimentais

Os autores validam o arcabouço através de diversas arquiteturas e conjuntos de dados:

• Escalabilidade e Versatilidade: O método isola e apaga conceitos com sucesso em MLPs, CNNs (ResNet-18/50), Vision Transformers (ViT) e modelos generativos (ConvAE, WAE). Nos experimentos de CIFAR-10 e CIFAR-100, a ablação de um engrama específico remove seletivamente a acurácia da classe alvo enquanto preserva o desempenho nas classes de referência (precisão cirúrgica).
• Desempenho Quantitativo: No benchmarks de desaprendizado por classe (CIFAR-10/100), o método Engram alcança pontuações de Tug-of-War (ToW) superiores em comparação com baselines de estado da arte (ex: NegGrad, SalUn, Fine-tuning), indicando um alinhamento comportamental mais próximo de um modelo retreinado do zero. Também mostra dissipação eficaz de traços estruturais no espaço latente (métricas DA e NMI).
• Grandes Modelos de Linguagem (LLMs): Aplicado ao Llama-3.2-1B no benchmark TOFU, o método demonstra alta eficiência.
  • Eficiência: Requer aproximadamente 30x menos FLOPs e 2.3x menos memória de pico do que métodos iterativos baseados em gradiente, completando a tarefa em ~2 minutos versus dezenas de minutos.
  • Desempenho: Embora fique atrás de alguns métodos iterativos dedicados (ex: AltPO, NPO) em métricas gerais, supera significativamente outros baselines de edição de forma fechada (UCE, Task Arithmetic) e alcança os menores escores de Memorização Exata (EM) entre métodos livres de gradiente.
  • Localização: A análise dos pesos do engrama revela que os traços de memória não estão distribuídos aleatoriamente, mas concentrados em camadas específicas: as projeções de Query (Q) e Key (K) da autoatenção e as projeções de Gate dos MLPs. Estudos de ablação confirmam que visar essas camadas específicas é suficiente para um desaprendizado eficaz.

5. Significância e Alegações

O artigo afirma unir a lacuna entre as teorias de memória biológica e a inteligência artificial, demonstrando que substratos causais de conhecimento podem ser isolados e manipulados através de resoluções espectrais determinísticas, mesmo dentro de sistemas altamente não lineares.

• Mudança de Paradigma: O trabalho propõe uma mudança de paradigma no desaprendizado de máquina, saindo da busca estocástica de gradiente para a identificação estrutural.
• Regime Ortogonal: Os autores posicionam o Engram não como um substituto para o desaprendizado iterativo, mas como um regime ortogonal (O(1)-pass, livre de gradiente) que é particularmente valioso quando:
  1. O número de conceitos a serem desaprendidos é grande (aproveitando a composicionalidade combinatória).
  2. Recursos computacionais ou acesso aos pesos são restritos.
  3. O objetivo é a identificação estrutural em vez da indistinguibilidade distributiva.
• Interpretabilidade: A descoberta de padrões de localização condensados em LLMs oferece uma nova perspectiva sobre a interpretabilidade neural, sugerindo que topologias funcionais específicas de memória residem em subespaços linearizáveis do espaço de pesos.

Os autores concluem que seu arcabouço oferece uma eficiência sem precedentes para o isolamento cirúrgico de memória, permitindo um comportamento de modelo mais seguro e uma interpretabilidade mais clara, ao mesmo tempo em que abre caminhos para pesquisas futuras sobre a dinâmica temporal de engramas na aprendizagem contínua.