Resumo Técnico: Atenção Preisach: Um Modelo Histérico de Memória Sequencial

Declaração do Problema

As arquiteturas dominantes atuais de modelagem sequencial, particularmente o Transformer, baseiam-se em mecanismos de atenção que são temporais (decaindo com a distância) ou posicionais (indexados pela localização do token). Embora análises teóricas tenham estabelecido a completude de Turing dos Transformers com atenção rígida (hard-attention), eles requerem profundidade $O(\log n)$ para alcançar isso, e a atenção softmax padrão corresponde a fragmentos limitados da lógica de primeira ordem. Uma limitação crítica compartilhada por Transformers, Redes Neurais Recorrentes (RNNs) e Modelos de Espaço de Estado (SSMs) é a falta de um mecanismo de memória baseado na significância das entradas passadas, em vez de sua recência ou posição absoluta. Há uma necessidade de uma arquitetura capaz de manter uma memória episódica de longo prazo onde a saída depende da sequência de extremos locais do histórico de entrada, independente do espaçamento temporal.

Metodologia

O artigo introduz a Camada de Atenção Preisach (PAL), uma nova arquitetura de modelagem sequencial fundamentada no operador de histerese Preisach clássico da física matemática.

Mecanismo Central: O Operador Preisach

O operador Preisach agrega as saídas de relés binários $\hat{\gamma}_{\alpha\beta}$, cada um caracterizado por um limiar de ativação $\alpha$ e um limiar de desativação $\beta$. No contexto da modelagem sequencial:

1. Relé Binário: Para uma sequência de entrada $u$, o estado do relé alterna para 1 se $u_n \geq \alpha$ e para 0 se $u_n \leq \beta$. Caso contrário, ele mantém seu estado anterior.
2. Pilha de Extremos: Uma consequência fundamental da "propriedade de apagamento" é que a saída do operador depende apenas da atual pilha de extremos ($\Pi_n$). Esta pilha armazena máximos e mínimos locais alternados. Um novo extremo apaga todos os extremos anteriores de menor magnitude, fornecendo um mecanismo de esquecimento natural baseado na significância.
3. Independência de Taxa: A saída depende exclusivamente da sequência de extremos locais, não do tempo absoluto ou da posição dos tokens.

Definição da Arquitetura

• Camada PAL: A camada computa uma soma ponderada das saídas dos relés binários sobre uma medida discretizada $\mu$ no plano de limiares $(\alpha, \beta)$.
• PAL Multicabeça (MPAL): Estende a PAL escalar para sequências de valor vetorial projetando entradas em sinais escalares, processando-as através de múltiplas cabeças e projetando-as de volta.
• PAL-Transformer: Uma estrutura padrão de codificador-decodificador Transformer onde o mecanismo de atenção padrão é substituído pelo MPAL. Ele mantém a codificação de posição sinusoidal (PE) e camadas MLP, mas o mecanismo central de memória é histérico.

Principais Contribuições e Resultados

1. Completude de Turing em Profundidade $O(1)$

O artigo prova que um PAL-Transformer de camada única é completo de Turing.

• Mecanismo: A arquitetura simula um autômato de pilha empilhável arbitrário de duas pilhas (2-PDA), que é equivalente a uma máquina de Turing.
• Codificação: Símbolos do alfabeto e profundidades de pilha são codificados na pilha de extremos usando "codificação de profundidade de Cantor".
• Vantagem de Profundidade: Esta simulação é alcançada com profundidade $O(1)$ (uma camada MPAL e uma camada MLP). Isso contrasta com os Transformers de atenção rígida padrão, que requerem profundidade $O(\log n)$ para alcançar completude de Turing (Pérez et al., 2021).
• PAL Vetorial (vPAL): Uma variante usando uma projeção de sinal bidimensional alcança completude de Turing com uma única cabeça ($H=1$), demonstrando que a dimensão do sinal e a contagem de cabeças são recursos intercambiáveis no PAL.

2. Separação de Expressividade

O artigo estabelece que as classes de funções computáveis por PAL e Transformers são incomparáveis.

• PAL $\setminus$ Transformer: O PAL pode calcular estatísticas de intervalo histórico (por exemplo, $max(u) - min(u)$) em $O(1)$ camadas. Transformers padrão com profundidade limitada não podem calcular isso exatamente devido a limites inferiores de complexidade de circuito (MAX não está em $AC^0$).
• Transformer $\setminus$ PAL: Os Transformers podem realizar recuperação exata de acesso aleatório (por exemplo, recuperar o token na posição $p$). O PAL não pode realizar isso porque sua propriedade de independência de taxa implica que, se um token não for um extremo local, seu valor é "apagado" da influência da pilha, tornando a recuperação baseada em posição impossível sem estado auxiliar.
• Propriedade Separadora: A independência de taxa é identificada como a propriedade fundamental que separa as duas classes. As saídas do PAL são invariantes à reescala temporal da sequência de entrada, enquanto a atenção padrão não é.

3. Caracterização Lógica

O artigo define a Lógica de Primeira Ordem de Extremos (EFO), uma extensão da lógica de primeira ordem que permite quantificação apenas sobre posições extremais locais e inclui um operador de agregação de extremos.

• Teorema: Uma função é computável por um PAL-Transformer de profundidade limitada se e somente se for definível na EFO.
• Implicação: A EFO é um fragmento estrito da lógica correspondente aos Transformers padrão (FO + Agregação), confirmando que o PAL não pode expressar lógica posicional arbitrária, mas se destaca na agregação baseada em extremos.

4. Conexão com Física e Complexidade

• Equivalência RFIM: O artigo demonstra que o PAL é uma generalização aprendida, sequencial e fora do equilíbrio do Modelo de Ising com Campo Aleatório (RFIM) em $T=0$. A pilha de extremos corresponde à estatística suficiente mínima do histórico do RFIM.
• Complexidade: A inferência do PAL tem uma complexidade de tempo total de $O(n \log n)$ (devido a atualizações de pilha e busca binária) e memória $O(kd)$, em comparação com $O(n^2)$ para a atenção padrão.
• Transições de Fase: Baseando-se na teoria do RFIM, o artigo sugere que camadas PAL operando perto de uma força de desordem crítica podem exibir comportamento na "borda do caos", maximizando a sensibilidade a mudanças de entrada enquanto mantêm memória estruturada.

Significância e Alegações

O artigo alega que o PAL oferece um mecanismo de memória fundamentalmente diferente para modelagem sequencial, deslocando-se de memória baseada em recência ou posicional para memória baseada em significância.

• Avanço Teórico: Fornece um novo ponto no espaço de modelos sequenciais que é incomparável às arquiteturas existentes, oferecendo completude de Turing em profundidade $O(1)$ e uma caracterização lógica única (EFO).
• Eficiência: Ao confiar na pilha de extremos, o PAL reduz a complexidade de inferência de quadrática para quase linear ($O(n \log n)$), tornando-o teoricamente adequado para tarefas que exigem memória episódica de longo prazo.
• Adequação a Tarefas: Os autores postulam que o PAL deve superar a atenção padrão em tarefas que são independentes de taxa e dependem de estatísticas de intervalo histórico, tais como:
  • Rastreamento de estados de entidades através de documentos longos.
  • Detecção de anomalias em séries temporais baseadas em intervalos históricos.
  • Raciocínio sobre eventos ordenados sem sensibilidade posicional.
  • Despacho de mercados de energia onde limiares de decisão impulsionam o comportamento.

O artigo conclui que, embora o PAL não possa realizar acesso aleatório, sua capacidade de manter uma estatística suficiente mínima do histórico de entrada para todos os funcionais independentes de taxa o torna uma arquitetura natural para problemas onde a significância de eventos passados importa mais do que sua recência ou posição absoluta. O trabalho permanece teórico, com validação empírica e dinâmicas de aprendizado (especificamente em relação à criticidade) identificadas como questões abertas para pesquisas futuras.