🤖 AI

Asynchronous Perception Machine For Efficient Test-Time-Training

Cet article introduit l'Asynchronous Perception Machine (APM), une architecture efficace sur le plan computationnel pour l'entraînement au moment du test qui traite les patchs d'images de manière asynchrone afin de reconnaître les données hors distribution et de générer des regroupements sémantiques en une seule passe avant, sans nécessiter de pré-entraînement spécifique au jeu de données ou de tâches de prétexte.

Auteurs originaux : Rajat Modi, Yogesh Singh Rawat

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rajat Modi, Yogesh Singh Rawat

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous conduisez une voiture autonome sur une rue familière. Soudain, vous traversez un banc de brouillard si épais qu'il ressemble à une peinture, ou une route recouverte de graffitis qui ne ressemblent en rien aux photos d'entraînement du cerveau de la voiture. La plupart des cerveaux informatiques paniqueraient. Ils se figeraient parce qu'ils n'ont jamais vu cette « étrangeté » spécifique auparavant.

Entrez en scène l'APM (Asynchronous Perception Machine). Ne voyez pas l'APM comme un cerveau de robot rigide, mais plutôt comme un détective super rapide et curieux, capable de résoudre un mystère avec un seul indice.

L'ancienne méthode vs la méthode APM

D'ordinaire, lorsqu'un ordinateur voit une image étrange, il essaie de se « réentraîner » à la volée. C'est comme essayer d'apprendre une nouvelle langue en lisant d'abord tout un dictionnaire, puis un livre de grammaire entier, puis en s'exerçant avec un tuteur, le tout pendant que la voiture continue de rouler. C'est lent, coûteux et cela demande beaucoup de mémoire. C'est aussi un peu un pari : l'ordinateur doit deviner comment pratiquer (doit-il faire pivoter l'image ? la flouter ? ajouter du bruit ?). S'il se trompe dans sa supposition, il s'embrouille.

L'APM rejette toute cette approche de « tâtonnement » (guess-and-check). Le papier soutient explicitement que vous n'avez pas besoin de deviner la meilleure façon de dégrader l'image (augmentation de données) ou de passer par tout le cerveau plusieurs fois.

Au lieu de cela, l'APM fonctionne ainsi :

Le Instantané (The Snapshot) : Il prend une photo de la scène étrange.
La Clé Magique : Il demande à un « enseignant » super intelligent (un modèle géant pré-entraîné comme CLIP) de lui donner un seul résumé secret de cette image. Considérez cela comme l'obtention d'une seule « carte d'identité » parfaite pour l'image.
La Leçon en un coup (The One-Shot Lesson) : L'APM tente ensuite de mémoriser uniquement cette carte d'identité. Il n'a pas besoin de revoir l'image encore et encore. Il se contente de faire un surapprentissage (overfitting) sur ce résumé unique.
Le Résultat : Soudain, le réseau « comprend ». Il peut regarder la route embrumée ou couverte de graffitis et dire : « Ah, c'est un piéton ! » sans même avoir déjà vu de brouillard ou de graffitis auparavant.

Comment cela fonctionne : L'astuce du « déploiement »

Voici la partie la plus cool, et là où le papier devient un peu de science-fiction.

Imaginez un petit morceau de papier plié (la Colonne Déclencheuse ou Trigger Column). Ce papier détient « l'âme » ou l'identité de toute l'image. Maintenant, imaginez que ce papier se déplie magiquement en une grille de minuscules tuiles, une pour chaque endroit de l'image.

La partie Asynchrone : Contrairement aux autres ordinateurs qui regardent l'image entière d'un coup (comme un flash d'appareil photo grand angle), l'APM regarde ces tuiles une par une, dans n'importe quel ordre. C'est comme lire un livre lettre par lettre, mais vous pouvez lire la dernière page avant la première et quand même comprendre l'histoire.
Le Cerveau Partagé : Chaque tuile envoie sa question au même petit cerveau partagé (un simple MLP à 5 couches). Comme « l'âme » de l'image est dans le papier plié, et que la position est connue, le cerveau sait exactement ce qu'il regarde, même s'il ne voit qu'un minuscule point.

Le papier suggère que cela est une étape vers la preuve d'une théorie appelée GLOM, qui affirme que notre perception du monde est comme un « champ » (comme un champ magnétique) plutôt qu'une liste d'objets séparés. L'APM montre que l'on peut naviguer dans ce champ, en interpolant entre les images, simplement en décalant sa « clé ».

Les Chiffres : Rapide et Léger

Le papier ne se contente pas de parler de théorie ; ils ont mesuré les résultats.

Vitesse : Lors de tests sur 20 cycles d'« apprentissage », l'ancienne méthode (utilisant un modèle standard appelé CLIP VIT-B/16) a utilisé 462 GigaFlops (une unité de puissance de calcul). L'APM n'a utilisé que 241,7 GigaFlops. C'est presque 50 % de puissance de calcul en moins.
Mémoire : L'APM n'occupe que 2,7 Go de mémoire pendant le processus, ce qui est en fait moins que le modèle enseignant qu'il utilise (qui nécessite 2,3 Go rien que pour lui, mais l'APM garde l'enseignant en mémoire aussi, donc le total est plus élevé, mais reste efficace).
Précision : Sur un jeu de données appelé ImageNet-R (qui contient des versions artistiques et étranges d'images), l'APM a obtenu une précision de 94,9 %, battant le modèle standard de 2 %. Sur ImageNet-Sketch (des dessins en noir et blanc), il a atteint 77,1 %, battant le standard de 4,3 %.

Ce que l'APM ne fait PAS (Et pourquoi c'est une bonne chose)

Le papier est très clair sur ce que l'APM n'est pas :

Il n'est pas une baguette magique qui fonctionne avec zéro aide. Il a toujours besoin de cette « carte d'identité » (le jeton distillé) provenant d'un modèle enseignant qui a été entraîné sur un immense jeu de données. Le papier admet qu'il dépend actuellement de cet enseignant.
Il n'est pas meilleur lorsque l'on ajoute du bruit supplémentaire ou des « augmentations » (comme faire pivoter l'image). En fait, les auteurs ont découvert que l'ajout d'augmentations de données a réellement nuit aux performances de l'APM, faisant chuter la précision de 98,6 % à 76,7 % sur un ensemble de test. Cela prouve que l'APM fonctionne mieux lorsqu'il se concentre purement sur ce résumé unique et propre.
Il n'est pas un problème totalement résolu pour tous les scénarios. Le papier note qu'il nécessite actuellement plusieurs itérations de « Test-Time Training » (TTT) (environ 20) pour obtenir les meilleurs résultats, bien qu'ils soupçonnent que cela pourrait être réduit avec davantage de recherche.

Le Superpouvoir de l'« Échantillon Unique »

La chose la plus vertigineuse que le papier démontre est que l'APM peut apprendre à partir d'une seule image.
Dans une simulation, ils ont nourri l'APM d'une seule image et l'ont laissé faire un surapprentissage sur le résumé de cette image unique pendant 250 cycles. Au début, l'ordinateur ne voyait rien. Mais à mesure qu'il continuait de « réfléchir » à ce résumé unique, l'image a commencé à se fragmenter en îlots significatifs. L'ordinateur a commencé à voir le « tout » et les « parties » (comme l'oreille d'un chien par rapport au chien entier) à partir de ce seul point de donnée.

Les auteurs suggèrent que cela valide l'idée que la perception est un champ continu. En ajustant simplement une « clé » unique (la colonne déclencheuse), l'APм peut interpoler entre les images, créant des transitions fluides entre une photo de chat et une photo de chien, comme s'il s'agissait de points différents sur une carte.

L'Essentiel

L'APM est une nouvelle façon légère et étonnamment rapide d'apprendre aux ordinateurs à gérer des images étranges et inattendues. Il rejette l'idée qu'il faut pratiquer avec des milliers de variations ou faire pivoter les images pour apprendre. Au lieu de cela, il suggère que si vous donnez à un ordinateur un résumé unique et de haute qualité d'une scène, il peut en déduire le reste par lui-même, un petit morceau à la fois.

Ce n'est pas encore un produit fini pour tous les scénarios futurs — le papier admet qu'il a encore besoin d'un enseignant et de plusieurs étapes d'entraînement — mais c'est une preuve puissante que nous pouvons construire des machines capables d'apprendre « à la volée » sans avoir besoin d'une immense bibliothèque d'exemples au préalable.

Résumé Technique : Machine de Perception Asynchrone pour l'Entraînement au Moment du Test (Test Time Training)

1. Énoncé du Problème

Les réseaux de neurones actuels peinent à reconnaître des images dont les distributions sont significativement différentes de leurs données d'entraînement (distributions hors distribution ou OOD - Out-of-Distribution). Bien que l'Entraînement au Moment du Test (TTT - Test-Time Training) offre une solution en permettant aux modèles de s'adapter « à la volée » aux échantillons de test, les approches existantes souffrent de trois limitations critiques :

Le Goulot d'Étranglement de l'Information : Les multiples itérations de TTT nécessitent des passages de propagation avant répétés à travers des couches cachées profondes, ce qui entraîne des coûts de calcul élevés.
Dépendance aux Tâches de Prétexte de Substitution : Les méthodes existantes dépendent de l'augmentation de données ou de tâches de prétexte (ex: rotation, masquage) dont la configuration optimale est inconnue à l'avance, particulièrement dans des contextes en ligne.
Contraintes de Mémoire et de Parallélisme : Les architectures comme les Transformers nécessitent de projeter tous les patchs d'entrée dans un espace de représentation partagé simultanément, consommant une mémoire importante.

De plus, l'article pose un écart philosophique dans la perception machine : les systèmes actuels manquent de la capacité de traiter les patchs d'image de manière asynchrone tout en maintenant une conscience sémantique, une capacité hypothétée par GLOM (2019) où un percept est considéré comme un « champ ».

2. Méthodologie : Machine de Perception Asynchrone (APM)

Les auteurs proposent la Machine de Perception Asynchrone (APM), une architecture de calcul efficace conçue pour le TTT qui traite les patchs d'image un par un, dans n'importe quel ordre, tout en encodant une conscience sémantique.

Architecture Centrale

L'APM fonctionne via deux mécanismes novateurs :

Module de Colonne Globale ( $T$ ) : Une « colonne de déclenchement » est générée en appliquant une convolution 2D à l'image d'entrée $I$ , puis en aplatissant le résultat en un vecteur unique $T$ (dimensions $1 \times 1 \times d$ ). Cette colonne résume l'identité de l'image.
Mécanisme de Pliage-Dépliage (Folding-Unfolding) :
- Dépliage (Unfolding) : La colonne de déclenchement $T$ est étendue (« dépliée ») pour générer des colonnes $T_{ij}$ sensibles à la localisation $h \times w$ . Ceci est réalisé en concaténant $T$ avec des encodages positionnels non paramétriques ( $p_{ij}$ ), créant des requêtes uniques pour chaque emplacement spatial : $T_{ij} = (T | p_{ij})$ .
- MLP Partagé : Chaque $T_{ij}$ est passé séquentiellement à travers un Perceptron Multicouche (MLP) partagé pour produire des caractéristiques spécifiques à la localisation ( $f_{ij}$ ) et des valeurs RGB.
- Pliage (Folding) : Après traitement, les colonnes se replient à nouveau en la colonne de déclenchement unique $T$ pour l'itération suivante. Les encodages positionnels sont déterministes et « annihilés » lors du pliage, permettant aux gradients de toutes les localisations de mettre à jour le filtre de convolution partagé dans $T$ .

Protocole d'Entraînement au Moment du Test (TTT)

L'APM réalise le TTT sans augmentation de données ni tâches de prétexte :

Distillation ( $t=1$ ) : L'image de test est passée à travers un modèle enseignant pré-entraîné (ex: CLIP) pour obtenir une représentation de caractéristique cible ( $f_{cls}$ ).
Surapprentissage ( $t \ge 2$ ) : L'APM est initialisée avec des poids aléatoires. Elle effectue une seule passe avant pour distiller la représentation de l'enseignant. Dans les itérations suivantes, le réseau fait un surapprentissage uniquement sur cette représentation distillée unique ( $f_{avg}$ ), minimisant la distance L2 entre sa sortie et la cible fixe $f_{cls}$ .
Classification : Après un nombre défini d'itérations (ex: 20), la caractéristique de sortie moyennée est comparée à des plongements de classes textuelles dans un espace contrastif pour déterminer l'étiquette de la classe.

Efficacité Computationnelle

L'APM tire parti de l'indépendance des colonnes, permettant le calcul de la caractéristique moyenne ( $f_{avg}$ ) comme une moyenne statistique glissante. Cela élimine la nécessité de stocker simultanément toutes les cartes de caractéristiques $h \times w$ en mémoire, réduisant considérablement l'empreinte mémoire et les FLOPs par rapport aux architectures parallèles.

3. Contributions Clés

Architecture Inspirée par GLOM : L'APM valide l'intuition philosophique selon laquelle un percept est un champ, démontrant qu'un réseau peut apprendre d'un seul échantillon et regrouper sémantiquement les éléments de l'image sans pré-entraînement explicite sur l'ensemble de données cible.
Efficacité Computationnelle : L'APM réduit le coût de calcul de près de 50 % (divisant les FLOPs par deux) par rapport aux méthodes TTT existantes (ex: TPT) en distillant la représentation de l'échantillon de test une seule fois et en effectuant un surapprentissage sur celle-ci, plutôt que de réexécuter le réseau enseignant complet pour chaque itération.
Simplicité et Performance : L'architecture ne consiste qu'en une couche de convolution et un MLP à 5 couches. Malgré cette simplicité, elle atteint des performances compétitives ou supérieures sur 16 ensembles de données par rapport aux approches TTT de pointe.
Traitement Asynchrone : L'APM démontre la capacité de traiter les patchs de manière asynchrone tout en maintenant la cohérence sémantique, offrant une nouvelle perspective sur la perception machine.

4. Résultats Expérimentaux

Les auteurs ont évalué l'APM sur des benchmarks de TTT zero-shot impliquant des changements de distribution :

Changements de Distribution Naturels (variantes d'ImageNet) : En utilisant CLIP ViT-B/16 comme enseignant, l'APM a atteint une précision moyenne de 62,6 % sur ImageNet et 61,2 % sur les moyennes OOD, surpassant le TPT (62,4 % / 60,8 %). En utilisant un enseignant plus puissant (OpenCLIP ViT-H/14), l'APM a atteint 84,9 % de précision moyenne, dépassant la performance zero-shot de l'enseignant d'environ 3 %.
Images Corrompues (ImageNet-C) : Sur ImageNet-C (sévérité de niveau 5), l'APM a obtenu la précision la plus élevée sur 11 des 15 types de bruit, avec un score moyen de 50,3 %, surpassant TTT-MAE et d'autres bases de référence sans nécessiter de pré-entraînement spécifique au jeu de données.
Généralisation Inter-Jeu de Données : L'APM a atteint la précision moyenne la plus élevée (65,5 %) sur 9 jeux de données de classification fine (ex: Flower102, DTD), surpassant CoOp, CoCoOp et TPT.
Apprentissage sur Échantillon Unique : Les expériences ont montré que l'APM peut apprendre à regrouper les éléments sémantiques d'une scène à partir d'un seul jeton distillé sur 250 itérations de TTT, résolvant efficacement un problème inverse pour reconstruire les caractéristiques de la scène.
Études d'Ablation : Le retrait de l'augmentation de données a dégradé la performance (passant de 98,6 % à 76,7 % avec l'augmentation), confirmant la dépendance de l'APM au surapprentissage sur un échantillon unique. L'ajout de la perte de reconstruction RGB et la simulation de la grille de caractéristiques complète ont encore amélioré la précision.

ve. Signification et Revendications

L'article affirme que l'APM représente une étape vers la validation de l'intuition de GLOM selon laquelle la perception de l'entrée est un champ continu plutôt qu'un ensemble discret de patchs. En permettant l'interpolation entre les images dans l'espace latent et en effectuant un traitement de patch asynchrone, l'APM comble le fossé entre le matériel connexionniste et les champs perceptuels.

Les auteurs soulignent que l'APM offre une voie vers :

L'Apprentissage Continu : Mimant l'apprentissage continu humain en ajustant dynamiquement les frontières de décision sans retour humain.
L'Efficacité Matérielle : Implémenter la perception sur un matériel à connexions partagées avec une utilisation de mémoire moindre et une meilleure efficacité de bande passante.
L'Autosuffisance : Les résultats préliminaires suggèrent que l'APM peut effectuer la reconstruction RGB sans enseignant, laissant entrevoir de futurs systèmes de perception autosuffisants.

Le travail est modeste dans sa portée, se concentrant principalement sur la classification d'images et le TTT, reconnaissant que bien qu'il nécessite actuellement des itérations de TTT, les recherches futures pourraient explorer le pré-entraînement pour réduire cette surcharge. Il ne prétend pas résoudre tous les problèmes OOD, mais propose une alternative plus efficace sur le plan computationnel et plus simple architecturalement aux paradigmes TTT existants.