🧬 biology

Forgetting Is Not a Fix: Path Dependence in Sequential Engram Editing

Este artigo falsifica a Hipótese dos Estados de Memória Composicionais do framework AI Engram ao demonstrar que a edição sequencial de engramas exibe dependência de caminho e comportamento não comutativo, provando, assim, que a eliminação de memória não é uma correção estável sob cargas sequenciais cumulativas.

Autores originais: Ferdinand M. Schessl

Publicado 2026-07-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ferdinand M. Schessl

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine que você tem uma biblioteca mágica e gigante onde cada livro foi escrito por um robô superinteligente. Esse robô não apenas lê livros, ele aprende com eles, armazenando fatos e ideias em seu próprio "cérebro" feito de números. Cientistas descobriram recentemente como encontrar essas memórias específicas dentro do cérebro do robô e apagá-las, como deletar um único arquivo de um computador. Esse processo é chamado de "desaprendizado de máquina" (machine unlearning), e é algo muito importante porque, se um robô aprender algo que não deveria (como um segredo ou um fato prejudicial), precisamos ser capazes de fazê-lo esquecer essa coisa específica sem quebrar o resto de seu cérebro.

Pense no cérebro do robô como uma teia gigante e complexa de fios. Quando o robô aprende algo, ele aperta certos fios. Para fazê-lo esquecer, os cientistas descobriram uma maneira de cortar justamente os fios certos para afrouxar aquela memória específica. Um estudo recente sugeriu que, se você quiser que o robô esqueça duas coisas diferentes, não importa qual delas você corte primeiro, o resultado final seria o mesmo, como misturar tinta azul e amarela para obter verde, quer você despeje o azul primeiro ou o amarelo primeiro. Eles chamaram isso de "variedade comutativa" (commutative manifold), que é uma forma sofisticada de dizer que a ordem das operações não altera o resultado. Mas este artigo faz uma pergunta muito importante: o que acontece se você continuar cortando fios repetidamente? O cérebro fica cansado? A ordem realmente importa?

Este artigo é como um cientista de materiais testando uma ponte. Em vez de apenas verificar se a ponte suporta um carro, eles passam um caminhão pesado por ela, depois outro, depois outro, para ver se o metal começa a sofrer fadiga ou rachaduras. Os pesquisadores pegaram o método exato do estudo anterior e o testaram em três cérebros de robôs diferentes (modelos) de vários tamanhos. Eles não apenas cortaram uma memória, eles cortaram uma sequência de memórias, uma após a outra, e observaram o que acontecia com aquelas que eles não cortaram.

Aqui está o que eles descobriram, e acontece que a ideia de que "a ordem não importa" é falsa quando você a executa repetidamente.

Primeiro, eles descobriram que o cérebro do robô é dependente de trajetória (path-dependent). Isso significa que o histórico do que você fez importa. Se você cortar a memória A e depois a memória B, o robô termina em um estado completamente diferente de se você cortar B e depois A. Na verdade, a diferença foi enorme, sendo de cerca de 81% a 100% do tamanho total da edição para memórias muito relacionadas, e cerca de 47% a 68% para memórias mais distantes. É como tentar dobrar um pedaço de papel: se você dobrar esquerda-depois-direita, ele termina com um formato diferente de se dobrar direita-depois-esquerda. O cérebro do robô lembra da sequência de cortes, e o resultado final muda com base na ordem.

Segundo, eles descobriram que o sobreposto torna a ordem ainda mais crítica. Se as duas coisas que você quer que o robô esqueça forem relacionadas (como "Torre Eiffel" e "Louvre", ambos marcos famosos de Paris), a ordem de corte delas altera o resultado quase tanto quanto o próprio corte. Em um teste específico, cortar o Louvre antes da Torre Eiffel fez com que o robô esquecesse uma terceira coisa, totalmente não relacionada, o Coliseu de Roma, completamente. Mas se eles cortassem a Torre Eiffel primeiro, a memória do Coliseu permaneceria segura. A ordem dos cortes literalmente decidiu se uma terceira memória, não tocada, sobreviveria ou morreria.

Terceiro, o artigo mostra que o cérebro do robô acumula fadiga. Cada vez que eles cortam uma memória, as partes do cérebro que não foram tocadas começam a se deslocar e a se deformar. Os pesquisadores mediram isso usando os próprios "medidores de deformação" internos do robô (ferramentas matemáticas que rastreiam como os dados do cérebro estão organizados). Eles viram que, com cada novo corte, essas partes não tocadas se afastavam cada vez mais de seu estado original. É como dobrar um clipe de papel para frente e para trás; mesmo que você não quebre a parte que está segurando, o metal fica mais fraco e muda de forma ao longo do tempo.

Finalmente, e de forma mais surpreendente, eles descobriram que o esquecimento não é permanente da maneira que pensávamos. Quando eles cortavam uma segunda ou terceira memória, o robô às vezes começava a "lembrar" da primeira coisa que tentaram apagar. Em um caso, uma memória que estava quase completamente desaparecida (com uma pontuação de 8,91) voltou à vida significativamente (caindo para 4,85) apenas porque eles cortaram uma outra memória não relacionada depois. O ato de editar o cérebro para esquecer uma coisa na verdade empurrou parte do conhecimento apagado de volta para a mente do robô.

Então, o que isso significa? A ideia de que você pode apagar memórias em qualquer ordem e obter um resultado perfeito e estável é falsa. Se você usar este método para fazer um robô esquecer algo hoje, e depois editá-lo novamente amanhã para esquecer outra coisa, o robô pode acidentalmente lembrar da primeira coisa novamente. O "certificado de apagamento" que você obtém hoje pode não ser válido amanhã. O cérebro do robô não é um objeto estático onde você pode apenas deletar arquivos, é um sistema vivo e mutável onde o histórico de suas edições altera o futuro. Os cientistas não quebraram o robô, mas provaram que a "borracha mágica" tem um limite: ela funciona muito bem para um corte, mas se você continuar usando-a, a ordem importa, o cérebro fica cansado e as coisas esquecidas podem simplesmente voltar.

Resumo Técnico: Esquecer Não é uma Solução: Dependência de Caminho na Edição Sequencial de Engramas

Declaração do Problema
O artigo aborda uma lacuna crítica no trabalho recente de Kwon et al. (2026) em relação ao "AI Engram", um método que formaliza a localização de memória em redes neurais como um problema inverso restrito. Embora Kwon et al. tenham demonstrado com sucesso que edições de memória única e pareada podem ser tratadas como operações aritméticas lineares em um "variedade comutativa" (Apêndice F), suas evidências limitam-se a testes de ciclo único. Eles explicitamente adiam a questão da "dinâmica temporal" no aprendizado contínuo para trabalhos futuros.

O problema central investigado aqui é se a hipótese de uma variedade comutativa — onde a integração das edições A e B atinge um equilíbrio consistente independentemente da sequência — se sustenta sob carga sequencial. Os autores argumentam que testes de ciclo único são estruturalmente incapazes de revelar acumulação de fadiga, dependência de caminho ou efeitos de histórico de carga, analogamente a como um único ciclo de tensão em ciência dos materiais não pode revelar fadiga. O artigo testa se o "estado esquecido" permanece um ponto fixo quando um modelo passa por edições sequenciais repetidas.

Metodologia
O estudo emprega um enquadramento de "teste de materiais", tratando os pesos da rede neural como um espécime submetido a um protocolo de fadiga.

Implementação: Os autores utilizam a implementação de referência dos autores originais (ai-engram) e o regime de edição exato selecionado para o benchmark TOFU LLM (fixo $\alpha = 0.6$ ).
Protocolo Experimental: Dois braços distintos são comparados através de três "cargas" de modelos (Qwen3-0.6B, TinyLlama-1.1B-Chat e Qwen2-0.5B-Instruct):
- Braço 1 (Composição Zero-Shot): Todos os engramas são extraídos do modelo virgem ( $M_0$ ) e aplicados sequencialmente como aritmética linear. Isso representa a operação teórica da "variedade comutativa".
- Braço 2 (Sequência Recalibrada): Após cada corte, o próximo engrama é extraído do estado atual do modelo. Isso representa a realidade da implantação sequencial (ex: solicitações de exclusão impulsionadas por conformidade chegando ao longo do tempo).
Conceitos: Seis conceitos com sobreposição semântica graduada são usados (ex: Torre Eiffel/Louvre para alta sobreposição; Insulina/Python para domínios distantes).
Métricas:
- Dependência de Caminho: Distância de peso (Frobenius relativo) entre o Braço 1 e o Braço 2.
- Não-Comutatividade: Distância de peso entre ordens de corte (A→B vs. B→A).
- Deriva de Sobreviventes (Survivor Drift): Crescimento monotônico nas covariâncias de entrada-camada dos conceitos não cortados (as estatísticas suficientes do próprio método), servindo como "extensômetros".
- Dano Colateral: Deslocamentos de Log-Likelihood Negativo (NLL) em conceitos não cortados.

Principais Contribuições

Protocolo Sequencial: Um protocolo de dois braços pré-registrado testando os limites da hipótese de composição de engramas usando o código e os parâmetros dos autores originais.
Replicação Cross-Arquitetura: Validação através de três modelos abrangendo dois fornecedores e duas famílias de arquitetura (0.5B–1.1B de parâmetros).
Falsificação da Hipótese da Variedade Comutativa: O artigo demonstra que a hipótese em Apêndice F de Kwon et al. (2026) não se sustenta para edição sequencial.
Condições de Contorno: Identificação de limites de capacidade onde a estrutura de danos colaterais entra em colapso e a descoberta de que o conhecimento apagado pode retornar parcialmente.

Resultos
Quatro descobertas primárias replicam-se em todas as três cargas de modelos:

Dependência de Caminho (V1): O Braço 1 e o Braço 2 divergem significamente. Os estados finais de peso diferem em 61–71% da magnitude total da edição. O estado certificado pela composição zero-shot não é o estado de um artefato editado sequencialmente.
Não-Comutatividade (V2): A ordem de corte não é intercambiável. O efeito é ordenado por sobreposição: pares de conceitos de alta sobreposição (ex: Eiffel/Louvre) produzem diferenças de ordem até a escala de uma edição inteira (razão de distância de peso 0.81–1.00), enquanto pares distantes mostram efeitos menores (0.47–0.68). Em um caso, a ordem de corte de dois marcos de Paris determinou se um terceiro conceito não envolvido (Coliseu) sobreviveria (NLL 0.85 vs. 6.50 nats).
Deriva de Sobreviventes (V4): As covariâncias de entrada-camada dos conceitos sobreviventes (não cortados) derivam monotonicamente com cada corte subsequente. Esta "acumulação de fadiga" é registrada pelas próprias estatísticas suficientes do método, provando que o histórico de carga se acumula mesmo em partes não tocadas da rede.
Dano Colateral e Capacidade (V3): A estrutura de proximidade do dano colateral (onde conceitos próximos sofrem mais) mantém-se apenas quando existe reserva de capacidade. Em magnitudes de edição relativa mais altas (especificamente no menor modelo de 0.5B), o dano colateral torna-se "broadband", afetando conceitos distantes indiscriminadamente.

Descoberta Bônus: O Estado Esquecido Não é um Ponto Fixo
Em duas das três cargas, o conhecimento que foi apagado com sucesso (NLL alto) retornou parcialmente após cortes subsequentes não relacionados. Por exemplo, na carga Qwen2-0.5B, o NLL de um conceito apagado caiu de 8.91 para 4.85 nats após dois cortes subsequentes, aproximando-se da linha de base. Isso indica que o "estado esquecido" não é estável; a redistribuição de pesos durante novas edições pode inadvertidamente restaurar associações apagadas.

Significado e Alegações
O artigo conclui que a Hipótese do Estado de Memória Composicional (Apêndice F de Kwon et al., 2026) é falsificada para edição sequencial. Embora os resultados de edição única e o estimador de forma fechada do artigo original permaneçam intactos, a afirmação de que as edições formam uma variedade comutativa independentemente da sequência é incorreta.

O significado prático reside no desaprendizado-como-conformidade (ex: Direito ao Esquecimento). As descobertas demonstram que um certificado de exclusão emitido hoje não certifica o estado do artefato após sua próxima edição. Um modelo que passa em uma auditoria de deleção hoje pode parcialmente restaurar a associação deletada após uma edição rotineira e não relacionada. Portanto, a verificação deve ser executada novamente após cada edição subsequente, ou o processo de edição deve ser garantido como estável sob composição — uma garantia que o método atual não fornece.

Os autores declaram explicitamente que não contestam os resultados de edição única, o framework de identificação de engramas ou o estimador de forma fechada do trabalho original; eles apenas falsificam a hipótese específica sobre a composição de edições em regimes sequenciais.

Mais como este