🤖 AI

Asynchronous Perception Machine For Efficient Test-Time-Training

Dit artikel introduceert de Asynchronous Perception Machine (APM), een computationeel efficiënte architectuur voor test-time-training die beeldpatches asynchroon verwerkt om out-of-distribution data te herkennen en semantische clusterings te genereren in een enkele forward pass zonder dat daarvoor dataset-specifieke pre-training of pretext-taken vereist zijn.

Oorspronkelijke auteurs: Rajat Modi, Yogesh Singh Rawat

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rajat Modi, Yogesh Singh Rawat

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een zelfrijdende auto over een vertrouwde straat rijdt. Plotseling kom je een mistbank tegen die zo dik is dat het lijkt op een schilderij, of een weg bedekt met graffiti die totaal niet lijkt op de trainingsfoto's die het brein van de auto ooit heeft gezien. De meeste computerebreinen zouden in paniek raken. Ze zouden bevriezen omdat ze deze specifieke vreemdheid nog nooit eerder hebben gezien.

Maak kennis met APM (Asynchronous Perception Machine). Zie APM niet als een rigide robotbrein, maar als een supersnelle, nieuwsgierige detective die een mysterie kan oplossen met slechts één enkele aanwijzing.

De Oude Manier vs. De APM-Manier

Normaal gesproken, wanneer een computer een vreemde nieuwe afbeelding ziet, probeert hij zichzelf "on the fly" opnieuw te trainen. Het is alsof je een nieuwe taal probeert te leren door eerst een heel woordenboek te lezen, dan een heel grammaticaboek, en dan te oefenen met een tutor, terwijl de auto nog steeds rijdt. Dit is traag, duur en vereist veel geheugen. Het is ook een beetje een gok: de computer moet raden hoe hij moet oefenen (moet hij de afbeelding draaien? vervagen? ruis toevoegen?). Als hij het fout raadt, raakt hij in de war.

APM verwerpt deze hele "raad en controleer"-aanpak. Het artikel betoogt expliciet dat je niet hoeft te raden wat de beste manier is om de afbeelding te verstoren (data-augmentatie) of het hele brein meerdere keren door te moeten lopen.

In plaats daarvan werkt APM als volgt:

De Snapshot: Het maakt een foto van de vreemde scène.
De Magische Sleutel: Het vraagt een superintelligent "leraar" (een vooraf getraind groot model zoals CLIP) om slechts één geheim samenvatting van die foto. Denk hierbij aan het krijgen van een enkele, perfecte "identiteitskaart" voor de afbeelding.
De One-Shot Les: APM probeert vervolgens alleen die ene identiteitskaart te onthouden. Het heeft de afbeelding niet steeds opnieuw nodig. Het past zich simpelweg aan (overfitting) op die enkele samenvatting.
Het Resultaat: Plotseling "begrijpt" het netwerk het. Het kan naar de mistige of met graffiti bedekte weg kijken en zeggen: "Ah, dat is een voetganger!", zonder ooit mist of graffiti eerder te hebben gezien.

Hoe het werkt: De "Ontvouw"-truc

Dit is het coolste deel, en waar het artikel een beetje sciencefiction wordt.

Stel je een klein, gevouwen papiertje voor (de Trigger Column). Dit papiertje bevat de "ziel" of identiteit van de hele afbeelding. Stel je nu voor dat dit papiertje magisch zichzelf ontvouwt in een raster van kleine tegels, één voor elke plek in de afbeelding.

Het Asynchrone Deel: In tegen tegenstelling tot andere computers die de hele afbeelding tegelijk bekijken (zoals een groothoekcameraflits), kijkt APM naar deze tegels één voor één, in een willekeurige volgorde. Het is alsof je een boek leest letter voor letter, maar je kunt de laatste pagina lezen vóór de eerste pagina, en je begrijpt nog steeds het verhaal.
Het Gedeelde Brein: Elke tegel stuurt zijn vraag naar hetzelfde kleine, gedeelde brein (een eenvoudige 5-laagse MLP). Omdat de "ziel" van de afbeelding in het gevouwen papier zit, en de positie bekend is, weet het brein precies waar het naar kijkt, zelfs als het slechts één minuscuul stipje ziet.

Het artikel suggereert dat dit een stap is naar het bewijzen van een theorie genaamd GLOM, die stelt dat onze perceptie van de wereld als een "veld" is (zoals een magnetisch veld) in plaats van een lijst met afzonderlijke objecten. APM laat zien dat je door dit veld kunt bewegen, door tussen afbeeldingen te interpoleren, simpelweg door je "sleutel" te verschuiven.

De Cijfers: Snel en Slank

Het artikel praat niet alleen over theorie; ze hebben het gemeten.

Snelheid: Bij het testen op 20 ronden van "leren", gebruikte de oude manier (met een standaardmodel genaamd CLIP VIT-B/16) 462 GigaFlops (een eenheid van rekenkracht). APM gebruikte slechts 241,7 GigaFlops. Dat is bijna 50% minder rekenkracht.
Geheugen: APM neemt tijdens het proces slechts 2,7 GB aan geheugen in beslag, wat feitelijk minder is dan het leraarmodel dat het gebruikt (dat 2,3 GB nodig heeft voor zichzelf alleen, maar APM houdt de leraar ook in het geheugen, waardoor het totaal hoger is, maar toch efficiënt).
Nauwkeurigheid: Op een dataset genaamd ImageNet-R (die artistieke, vreemde versies van afbeeldingen bevat), behaalde APM een nauwkeurigheid van 94,9%, waarmee het de standaardmodellen met 2% versloeg. Op ImageNet-Sketch (zwart-wit tekeningen) bereikte het 77,1%, waarmee het de standaard met 4,3% versloeg.

Wat APM Niet Doet (En Waarom Dat Goed Is)

Het artikel is zeer duidelijk over wat APM niet is:

Het is geen toverstaf die werkt met nul hulp. Het heeft nog steeds die ene "identiteitskaart" (de gedestilleerde token) nodig van een leraarmodel dat op een enorme dataset is getraind. Het artikel geeft toe dat het momenteel afhankelijk is van deze leraar.
Het is niet beter wanneer je extra ruis of "augmentaties" (zoals het draaien van een afbeelding) toevoegt. Sterker nog, de auteurs ontdekten dat het toevoegen van data-augmentatie de prestaties van APM juist verslechterde, waarbij de nauwkeurigheid daalde van 98,6% naar 76,7% op een testset. Dit bewijst dat APM het beste werkt wanneer het zich puur concentreert op die enkele, schone samenvatting.
Het is geen volledig opgelost probleem voor elk scenario. Het artikel merkt op dat het momenteel meerdere "Test-Time Training" (TTT) iteraties vereist (ongeveer 20) om de beste resultaten te krijgen, hoewel ze vermoeden dat dit met meer onderzoek verminderd kan worden.

De "Eén Sample" Superkracht

Het meest breinbrekende aspect dat het artikel laat zien, is dat APM kan leren van slechts één afbeelding.
In een simulatie voedden ze APM een enkele foto en lieten ze het overfitten op de samenvatting van die ene afbeelding gedurende 250 ronden. In het begin zag de computer niets. Maar terwijl hij bleef "nadenken" over die ene samenvatting, begon de afbeelding uiteen te vallen in betekenisvolle eilanden. De computer begon het "geheel" en de "delen" (zoals een oor van een hond versus de hele hond) te zien, allemaal vanuit dat ene datapunt.

De auteurs suggereren dat dit de idee valideert dat perceptie een continuüm is. Door simpelweg de "sleutel" (de trigger column) aan te passen, kan APM interpoleren tussen afbeeldingen, waardoor er vloeiende overgangen ontstaan tussen een foto van een kat en een foto van een hond, alsof ze slechts verschillende punten op een kaart zijn.

De Kern van het Verhaal

APM is een nieuwe, lichtgewicht en verrassend snelle manier om computers te leren omgaan met vreemde, onverwachte afbeeldingen. Het verwerpt het idee dat je duizenden variaties moet oefenen of afbeeldingen moet draaien om te leren. In plaats daarvan suggereert het dat als je een computer een enkele, hoogwaardige samenvatting van een scène geeft, hij de rest zelf kan uitzoeken, stukje bij beetje.

Het is nog geen afgewerkt product voor elke mogelijke toekomstige situatie — het artikel geeft toe dat het nog een leraar en meerdere trainingsstappen nodig heeft — maar het is een krachtig bewijs dat we machines kunnen bouwen die "on the fly" leren zonder eerst een enorme bibliotheek aan voorbeelden nodig te hebben.

Technische Samenvatting: Asynchrone Perceptiemachine voor Test-Time Training

1. Probleemstelling

Huidige neurale netwerken hebben moeite met het herkennen van afbeeldingen met distributies die significant verschillen van hun trainingsdata (Out-of-Distribution of OOD). Hoewel Test-Time Training (TTT) een oplossing biedt door modellen in staat te stellen om "on the fly" aan te passen aan testmonsters, kampen bestaande benaderingen met drie kritieke beperkingen:

De Informatie-bottleneck: Meerdere TTT-iteraties vereisen herhaalde feed-forward passes door diepe verborgen lagen, wat resulteert in hoge computationele kosten.
Afhankelijkheid van Surrogaat Pre-text Taken: Bestaande methoden zijn afhankelijk van data-augmentatie of pretext-taken (bijv. rotatie, masking) waarvan de optimale configuratie vooraf niet bekend is, met name in online omgevingen.
Geheugen- en Parallellismebeperkingen: Architecturen zoals Transformers vereisen het gelijktijdig projecteren van alle input-patches in een gedeelde representatieruimte, wat aanzienlijk geheugen consumeert.

Verder stelt het artikel een filosofische kloof in de machinale perceptie vast: huidige systemen missen het vermogen om beeldpatches asynchroon te verwerken terwijl ze semantisch bewust blijven, een capaciteit die wordt gehypothetiseerd in GLOM (2019), waar een percept wordt beschouwd als een "veld".

2. Methodologie: Asynchrone Perceptiemachine (APM)

De auteurs stellen de Asynchrone Perceptiemachine (APM) voor, een computationeel efficiënte architectuur ontworpen voor TTT die beeldpatches één voor één in een willekeurige volgorde verwerkt, maar toch semantisch bewust is.

Kernarchitectuur

APM werkt via twee nieuwe mechanismen:

Global Column Module ( $T$ ): Een "trigger column" wordt gegenereerd door een 2D-convolutie toe te passen op de inputafbeelding $I$ , waarbij het resultaat wordt afgeplat tot een enkele vector $T$ (dimensies $1 \times 1 \times d$ ). Deze kolom vat de identiteit van de afbeelding samen.
Folding-Unfolding Mechanisme:
- Unfolding: De trigger column $T$ wordt uitgebreid ("unfolded") om $h \times w$ locatiebewuste kolommen ( $T_{ij}$ ) te genereren. Dit wordt bereikt door $T$ te concateneren met niet-parametrische positionele encodings ( $p_{ij}$ ), waardoor unieke queries voor elke ruimtelijke locatie ontstaan: $T_{ij} = (T | p_{ij})$ .
- Shared MLP: Elke $T_{ij}$ wordt sequentieel door een gedeelde Multi-Layer Perceptron (MLP) geleid om locatie-specifieke kenmerken ( $f_{ij}$ ) en RGB-waarden te produceren.
- Folding: Na verwerking klappen de kolommen terug naar de enkele trigger column $T$ voor de volgende iteratie. De positionele encodings zijn deterministisch en worden tijdens het "folding"-proces "geannihileerd", waardoor gradiënten van alle locaties de gedeelde convolutionele filter in $T$ kunnen updaten.

Test-Time Training (TTT) Protocol

APM voert TTT uit zonder data-augmentatie of pretext-taken:

Distillatie ( $t=1$ ): Het testbeeld wordt door een vooraf getraind docentmodel (bijv. CLIP) gestuurd om een doel-representatie van kenmerken ( $f_{cls}$ ) te verkrijgen.
Overfitting ( $t \ge 2$ ): De APM wordt geïnitialiseerd met willekeurige gewichten. Het voert een enkele forward pass uit om de representatie van de docent te distilleren. In opeenvolgende iteraties overfit de netwerk enkel op deze enkele gedestilleerde representatie ( $f_{avg}$ ), waarbij de L2-afstand tussen de output en de vaste doelwaarde $f_{cls}$ wordt geminimaliseerd.
Classificatie: Na een ingesteld aantal iteraties (bijv. 20) wordt de gemiddelde output-feature vergeleken met tekstuele klasse-embeddings in een contrastieve ruimte om de klasse te bepalen.

Computationele Efficiëntie

APM maakt gebruik van kolom-onafhankelijkheid, waardoor de berekening van het gemiddelde kenmerk ( $f_{avg}$ ) als een lopend statistisch gemiddelde kan worden uitgevoerd. Dit elimineert de noodzaak om alle $h \times w$ feature maps tegelijkertijd in het geheugen op te slaan, wat het geheugengebruik en de FLOPs aanzienlijk vermindert in vergelijking met parallelle architecturen.

3. Belangrijkste Bijdragen

GLOM-geïnspireerde Architectuur: APM valideert het filosofische inzicht dat een percept een veld is, en demonstreert dat een netwerk kan leren van een enkel monster en semantische elementen van een afbeelding kan clusteren zonder expliciete pre-training op de doeldataset.
Computationele Efficiëntie: APM vermindert de computationele kosten met bijna 50% (halvering van de FLOPs) vergeleken met bestaande TTT-methoden (bijv. TPT) door de representatie van het testmonster één keer te distilleren en daarop te overfitten, in plaats van voor elke iteratie de volledige docent-netwerk opnieuw te draaien.
Eenvoud en Prestaties: De architectuur bestaat uit slechts een convolutionele laag en een 5-laagse MLP. Ondanks deze eenvoud bereikt het competitieve of superieure prestaties over 16 datasets vergeleken met state-of-the-art TTT-benaderingen.
Asynchrone Verwerking: APM demonstreert het vermogen om patches asynchroon te verwerken terwijl de semantische coherentie behouden blijft, wat een nieuw perspectief biedt op machinale perceptie.

4. Experimentele Resultaten

De auteurs evalueerden APM op zero-shot TTT benchmarks met distributieverschuivingen:

Natuurlijke Distributieverschuivingen (ImageNet varianten): Gebruikmakend van CLIP ViT-B/16 als docent, behaalde APM een gemiddelde nauwkeurigheid van 62,6% op ImageNet en 61,2% op OOD-gemiddelden, waarmee het TPT (62,4% / 60,8%) versloeg. Bij gebruik van een sterkere docent (OpenCLIP ViT-H/14) behaalde APM een gemiddelde nauwkeurigheid van 84,9%, wat de zero-shot prestatie van de docent met ~3% overtrof.
Gecorrumpeerde Afbeeldingen (ImageNet-C): Op ImageNet-C (Level 5 ernst), behaalde APM de hoogste nauwkeurigheid op 11 van de 15 ruistypes, met een gemiddelde score van 50,3%, waarmee het TTT-MAE en andere baselines versloeg zonder dat daarvoor dataset-specifieke pre-training nodig was.
Cross-Dataset Generalisatie: APM behaalde de hoogste gemiddelde nauwkeurigheid (65,5%) over 9 fijnmazige classificatie-datasets (bijv. Flower102, DTD), waarmee het CoOp, CoCoOp en TPT overtrof.
Single-Sample Learning: Experimenten toonden aan dat APM kan leren om de semantische elementen van een scène te clusteren vanuit een enkele gedestilleerde token over 250 TTT-iteraties, waarmee effectief een invers probleem wordt opgelost om de scènekenmerken te reconstrueren.
Ablatie-studies: Het verwijderen van data-augmentatie verbeterde de prestaties niet (de nauwkeurigheid daalde van 98,6% naar 76,7% met augmentatie), wat bevestigt dat APM steunt op single-sample overfitting. Het toevoegen van RGB-reconstructieverlies en het nabootsen van de volledige feature grid verbeterde de nauwkeurigheid verder.

5. Betekenis en Claims

Het artikel beweert dat APM een stap is naar de validatie van het GLOM-inzicht dat inputperceptie een continu veld is in plaats van een discrete verzameling patches. Door interpolatie tussen afbeeldingen in de latente ruimte mogelijk te maken en asynchrone patchverwerking uit te voeren, overbrugt APM de kloof tussen connectionistische hardware en perceptuele velden.

De auteurs benadrukken dat APM een pad biedt naar:

Continu Leren: Het nabootsen van menselijk continu leren door dynamisch beslissingsgrenzen aan te passen zonder menselijke feedback.
Hardware-efficiëntie: Implementatie van perceptie op gedeelde connectionistische hardware met lager geheugengebruik en hogere bandbreedte-efficiëntie.
Zelfvoorzienendheid: Voorlopige resultaten suggereren dat APM RGB-reconstructie kan uitvoeren zonder docent, wat wijst op toekomstige zelfvoorzienende perceptiesystemen.

Het werk is bescheiden in zijn reikwijdte, gericht op primair beeldclassificatie en TTT, en erkent dat hoewel het momenteel TTT-iteraties vereist, toekomstig onderzoek pre-training kan verkennen om deze overhead te verminderen. Het claimt niet alle OOD-problemen op te lossen, maar biedt een computationeel efficiënt en architecturaal eenvoudig alternatief voor bestaande TTT-paradigma's.