Résumé Technique : Attention de Preisach, un Modèle Hystérétique de Mémoire Séquentielle

Énoncé du Problème

Les architectures de modélisation de séquences dominantes actuelles, en particulier le Transformer, reposent sur des mécanismes d'attention soit temporels (décroissance avec la distance), soit positionnels (indexés par la localisation du token). Bien que des analyses théoriques aient établi la complétude de Turing des Transformers à attention dure, ils nécessitent une profondeur de $O(\log n)$ pour y parvenir, et l'attention softmax standard correspond à des fragments limités de la logique du premier ordre. Une limitation critique partagée par les Transformers, les Réseaux de Neurones Récurrents (RNN) et les Modèles d'Espace d'État (SSM) est l'absence d'un mécanisme de mémoire fondé sur la signification des entrées passées plutôt que sur leur récence ou leur position absolue. Il existe un besoin d'une architecture capable de maintenir une mémoire épisodique à long terme où la sortie dépend de la séquence des extrema locaux de l'historique des entrées, indépendamment de l'espacement temporel.

Méthodologie

L'article introduit la Couche d'Attention de Preisach (PAL), une nouvelle architecture de modélisation de séquences ancrée dans l'opérateur d'hystérésis de Preisach classique de la physique mathématique.

Mécanisme Central : L'Opérateur de Preisach

L'opérateur de Preisach agrège les sorties de relais binaires $\hat{\gamma}_{\alpha\beta}$, chacun caractérisé par un seuil d'activation $\alpha$ et un seuil de désactivation $\beta$. Dans le contexte de la modélisation de séquences :

1. Relais Binaire : Pour une séquence d'entrée $u$, l'état du relais bascule à 1 si $u_n \geq \alpha$ et à 0 si $u_n \leq \beta$. Sinon, il conserve son état précédent.
2. Pile d'Extrema : Une conséquence fondamentale de la « propriété d'effacement » est que la sortie de l'opérateur dépend uniquement de la pile d'extrema actuelle ($\Pi_n$). Cette pile stocke des maxima et des minima locaux alternés. Un nouvel extremum efface tous les extrema précédents de plus petite amplitude, fournissant un mécanisme d'oubli naturel, basé sur la signification.
3. Indépendance du Taux : La sortie dépend uniquement de la séquence des extrema locaux, et non du temps absolu ou de la position des tokens.

Définition de l'Architecture

• Couche PAL : La couche calcule une somme pondérée des sorties de relais binaires sur une mesure discrétisée $\mu$ dans le plan des seuils $(\alpha, \beta)$.
• PAL Multi-Têtes (MPAL) : Étend le PAL scalaire aux séquences vectorielles en projetant les entrées vers des signaux scalaires, en les traitant via plusieurs têtes, puis en les reprojetant.
• PAL-Transformer : Une structure standard d'encodeur-décodeur Transformer où le mécanisme d'attention standard est remplacé par le MPAL. Il conserve le codage de position sinusoïdal (PE) et les couches MLP, mais le mécanisme central de mémoire est hystérétique.

Contributions et Résultats Clés

1. Complétude de Turing à Profondeur $O(1)$

L'article démontre qu'un PAL-Transformer à une seule couche est complet de Turing.

• Mécanisme : L'architecture simule un automate à pile à deux piles (2-PDA) arbitraire, qui est équivalent à une machine de Turing.
• Encodage : Les symboles de l'alphabet et les profondeurs de pile sont encodés dans la pile d'extrema en utilisant un « encodage de profondeur de Cantor ».
• Avantage de Profondeur : Cette simulation est réalisée avec une profondeur de $O(1)$ (une couche MPAL et une couche MLP). Cela contraste avec les Transformers à attention dure standards, qui nécessitent une profondeur de $O(\log n)$ pour atteindre la complétude de Turing (Pérez et al., 2021).
• PAL Vectoriel (vPAL) : Une variante utilisant une projection de signal bidimensionnelle atteint la complétude de Turing avec une seule tête ($H=1$), démontrant que la dimension du signal et le nombre de têtes sont des ressources interchangeables dans le PAL.

2. Séparation de l'Expressivité

L'article établit que les classes de fonctions calculables par le PAL et les Transformers sont incomparables.

• PAL $\setminus$ Transformer : Le PAL peut calculer des statistiques de plage historiques (par exemple, $max(u) - min(u)$) en $O(1)$ couches. Les Transformers standards à profondeur bornée ne peuvent pas calculer cela exactement en raison des bornes inférieures de complexité des circuits (MAX n'est pas dans $AC^0$).
• Transformer $\setminus$ PAL : Les Transformers peuvent effectuer une récupération exacte par accès aléatoire (par exemple, récupérer le token à la position $p$). Le PAL ne peut pas effectuer cela car sa propriété d'indépendance du taux implique que si un token n'est pas un extremum local, sa valeur est « effacée » de l'influence de la pile, rendant la récupération basée sur la position impossible sans état auxiliaire.
• Propriété Séparatrice : L'indépendance du taux est identifiée comme la propriété fondamentale séparant les deux classes. Les sorties du PAL sont invariantes par redimensionnement temporel de la séquence d'entrée, alors que l'attention standard ne l'est pas.

3. Caractérisation Logique

L'article définit la Logique du Premier Ordre des Extrema (EFO), une extension de la logique du premier ordre qui autorise la quantification uniquement sur les positions d'extrema locaux et inclut un opérateur d'agrégation d'extrema.

• Théorème : Une fonction est calculable par un PAL-Transformer à profondeur bornée si et seulement si elle est définissable dans l'EFO.
• Implication : L'EFO est un fragment strict de la logique correspondant aux Transformers standards (FO + Agrégat), confirmant que le PAL ne peut pas exprimer une logique positionnelle arbitraire mais excelle dans l'agrégation basée sur les extrema.

4. Lien avec la Physique et la Complexité

• Équivalence RFIM : L'article démontre que le PAL est une généralisation apprise, séquentielle et hors équilibre du Modèle d'Ising à Champ Aléatoire (RFIM) à $T=0$. La pile d'extrema correspond à la statistique suffisante minimale de l'historique du RFIM.
• Complexité : L'inférence du PAL a une complexité temporelle totale de $O(n \log n)$ (due aux mises à jour de pile et à la recherche binaire) et une mémoire de $O(kd)$, contre $O(n^2)$ pour l'attention standard.
• Transitions de Phase : S'inspirant de la théorie du RFIM, l'article suggère que les couches PAL opérant près d'une force de désordre critique peuvent présenter un comportement « à la limite du chaos », maximisant la sensibilité aux changements d'entrée tout en maintenant une mémoire structurée.

Importance et Revendications

L'article revendique que le PAL offre un mécanisme de mémoire fondamentalement différent pour la modélisation de séquences, passant d'une mémoire basée sur la récence ou la position à une mémoire basée sur la signification.

• Avancement Théorique : Il fournit un nouveau point dans l'espace des modèles de séquences qui est incomparable aux architectures existantes, offrant une complétude de Turing à profondeur $O(1)$ et une caractérisation logique unique (EFO).
• Efficacité : En s'appuyant sur la pile d'extrema, le PAL réduit la complexité d'inférence de quadratique à quasi-linéaire ($O(n \log n)$), le rendant théoriquement adapté aux tâches nécessitant une mémoire épisodique à long terme.
• Adéquation aux Tâches : Les auteurs postulent que le PAL est susceptible de surpasser l'attention standard sur des tâches qui sont indépendantes du taux et reposent sur des statistiques de plage historiques, telles que :
  • Le suivi des états d'entités à travers de longs documents.
  • La détection d'anomalies dans les séries temporelles basée sur des plages historiques.
  • Le raisonnement sur des événements ordonnés sans sensibilité positionnelle.
  • La dispatching des marchés de l'énergie où les seuils de décision pilotent le comportement.

L'article conclut que si le PAL ne peut pas effectuer d'accès aléatoire, sa capacité à maintenir une statistique suffisante minimale de l'historique des entrées pour tous les fonctionnels indépendants du taux en fait une architecture naturelle pour les problèmes où la signification des événements passés importe plus que leur récence ou leur position absolue. Le travail reste théorique, avec la validation empirique et la dynamique d'apprentissage (spécifiquement concernant la criticité) identifiés comme des questions ouvertes pour les recherches futures.