🤖 machine learning

Multimodality as Supervision: Self-Supervised Specialization to the Test Environment via Multimodality

Dit artikel stelt Test-Space Training (TST) voor, een zelfgesuperviseerde benadering die gebruikmaakt van cross-modaal leren op multimodale data die uitsluitend is verzameld uit een specifieke testomgeving om gespecialiseerde modellen te ontwikkelen die concurrerende prestaties leveren ten opzichte van generalistische modellen die zijn voorgetraind op grootschalige internetdatasets, waardoor de afhankelijkheid van externe data wordt verminderd.

Oorspronkelijke auteurs: Kunal Pratap Singh, Ali Garjani, Rishubh Singh, Muhammad Uzair Khattak, Efe Tarhan, Jason Toskov, Andrei Atanov, Oğuzhan Fatih Kar, Amir Zamir

Gepubliceerd 2026-07-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kunal Pratap Singh, Ali Garjani, Rishubh Singh, Muhammad Uzair Khattak, Efe Tarhan, Jason Toskov, Andrei Atanov, Oğuzhan Fatih Kar, Amir Zamir

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een pasgeboren baby bent, blind en doof, die plotseling wakker wordt in een kamer. Je hebt geen idee wat een "stoel" of een "hond" is. Maar dan open je je ogen en zie je een vorm. Op exact hetzelfde moment hoor je je oren een geluid, en voelen je handen een textuur. Je brein heeft geen leraar nodig om je te vertellen dat de vorm, het geluid en het gevoel allemaal bij hetzelfde object horen. Het begrijpt het gewoon door op te merken dat deze verschillende zintuigen tegelijkertijd gebeuren. Dit is de magie van multimodaliteit: het gebruik van meerdere zintuigen om de wereld te begrijpen zonder dat een mens alles voor je hoeft te benoemen.

Lange tijd probeerden wetenschappers die kunstmatige intelligentie (AI) bouwden, computers te onderwijzen door ze miljoenen plaatjes van het hele internet te voeren, als een student die elk boek in een enorme bibliotheek uit het hoofd leert. Dit werkt goed, maar het is rommelig, vereist enorme hoeveelheden data en negeert vaak de specifieke kamer waarin de robot zich daadwerkelijk bevindt. De grote vraag die onderzoekers zich stellen is: Kunnen we een AI leren een expert te zijn in haar eigen specifieke wereld, enkel door de sensoren te gebruiken die daar direct aanwezig zijn, zonder dat ze het hele internet hoeft te downloaden? Dit artikel duikt in die vraag en onderzoekt of een AI kan leren om haar specifieke omgeving te zien en te begrijpen door haar eigen ogen, dieptesensoren en andere hulpmiddelen met elkaar te kruisverwijzen, als een nieuwsgierige baby die haar eigen huis leert kennen.

Het Papier: AI leren een Lokale Expert te zijn

De auteurs van dit papier, gepubliceerd op de ICLR 2026 conferentie, stellen een nieuwe manier voor om AI te trainen genaamd Test-Space Training (TST). In plaats van te proberen een "generalist" robot te bouwen die alles over elk huis ter wereld weet, besloten ze een "specialist" robot te bouwen die één specifiek huis perfect kent.

Denk er zo over na: Stel je voor dat je in een nieuw huis gaat wonen. Je zou jarenlang reisgidsen over elk huis op aarde kunnen lezen (de "Generalist" aanpak), of je kunt gewoon een week lang door je eigen huis rondlopen, tegen de muren aanraken, naar het meubilair kijken en luisteren naar het kraken van de vloerplanken (de "Specialist" aanpak). Het papier suggereert dat voor een robot die in dat huis leeft, de tweede aanpak eigenlijk veel beter is.

Hoe ze het deden
De onderzoekers creëerden een "sandbox" (een gecontroleerde testomgeving) waar ze een virtuele agent plaatsten die uitgerust was met meerdere sensoren. Deze agent maakte niet alleen foto's (RGB-beelden); het gebruikte ook dieptesensoren (om te zien hoe ver dingen weg zijn), oppervlaktenormalen (om de hoek van muren te zien) en simuleerde zelfs andere zintuigen.

Ze lieten deze agent ronddwalen in zijn specifieke "testruimte" (een digitale kamer of huis) en verzamelden data. Vervolgens gebruikten ze een slimme truc genaamd Cross-Modal Learning. Dit is als het spelen van een spelletje van "Raad het ontbrekende stukje". De AI probeert te voorspellen wat de dieptesensor zou zien door alleen naar de foto te kijken, of voorspelt de foto op basis van de dieptekaart. Door dit keer op keer te doen, krijgt de AI een diep begrip van die specifieke kamer zonder dat iemand ooit tegen haar zegt: "Dat is een stoel" of "Dat is een deur". De AI begrijpt het omdat de verschillende sensoren elkaar bevestigen.

De Belangrijkste Bevindingen
Het papier presenteert enkele verrassende resultaten die het idee uitdagen dat "grotere data altijd beter is".

Lokale Kennis Verslaat Globale Data (Soms): Wanneer ze hun "Specialist" model testten op taken zoals het vinden van objecten of het beschrijven van de kamer, presteerde het verrassend goed. Sterker nog, wanneer ze alleen de sensoren gebruikten die op het apparaat beschikbaar waren (zonder externe hulp), was het model competitief met enorme modellen die getraind zijn op miljarden internetafbeeldingen. Dit suggereert dat voor een robot die in een specifiek huis woont, het van binnen en buiten kennen van dat huis veel waardevoller is dan een beetje weten over elk huis ter wereld.
Meer Zintuigen > Meer Foto's: De onderzoekers ontdekten dat het toevoegen van meer soorten sensoren (modaliteiten) aan de trainingsdata effectiever was dan het simpelweg toevoegen van meer foto's van het internet. Als je een robot hebt met 8 verschillende sensoren in één kamer, leert deze sneller en beter dan een robot met slechts één camera die naar 1.000 verschillende kamers kijkt. Het is alsof je een team van 8 detectives hebt dat een mysterie in één huis oplost, versus één detective die naar 1.000 verschillende plaatsen delict kijkt.
De "Distillatie" Truc: Om hun model sterker te maken, gebruikten ze een slimme afkorting. Ze namen de "gedachten" (feature maps) van andere krachtige, vooraf getrainde AI-modellen (zoals CLIP of DINOv2) en behandelden die gedachten als nieuwe sensoren. Ze gebruikten niet de internetdata waarop die modellen getraind waren; ze gebruikten alleen de outputs van die modellen op hun specifieende testruimte. Dit is als het nemen van de receptnotities van een meesterkok en die gebruiken om een lokale kok een specifits gerecht perfect te leren maken, zonder dat de lokale kok ooit de keuken van de meesterkok hoeft te bezoeken. Dit "Specialist" model bleek uiteindelijk de "Generalist" modellen in hun specifieke testomgeving te verslaan.

Wat ze uitsloten
Het papier betoogt expliciet tegen het idee dat je enorme, diverse internetdatasets nodig hebt om een goede AI voor een specifieke inzet te bouwen. Ze lieten zien dat het vertrouwen op externe data niet altijd noodzakelijk is als je rijke, multimodale data hebt van de doelomgeving. Ze vonden ook dat het simpelweg hebben van meer data uit andere plaatsen (meer huizen) niet zo goed helpt als het hebben van rijkere data van de zelfde plaats (meer sensoren in hetzelfde huis).

Hoe zeker zijn ze?
De auteurs zijn zelfverzekerd over hun bevindingen op basis van de uitgevoerde experimenten. Ze maten hun resultaten met standaardmetrieken zoals "mIoU" (een score voor hoe goed de AI afbeeldingen segmenteert) en "mAP" (een score voor objectdetectie).

Ze vonden dat hun "Specialist" model (TST-MM) state-of-the-art resultaten behaalde in de testruimte en daarmee generalistische modellen zoals DINOv2 en 4M-21 versloeg op taken zoals semantische segmentatie en objectdetectie.
Ze toonden een duidelijke afruil aan: hoe meer het model specialiseerde in één specifieke ruimte, hoe slechter het werd in het generaliseren naar nieuwe, onbekende ruimtes. Dit bevestigt dat ze succesvol een specialist hebben gecreëerd, en geen generalist.
Ze merkten op dat hoewel hun "Sensors Only" model competitief was, het niet helemaal zo goed was als de versie die de "gedestilleerde" pseudo-labels gebruikte, wat suggereert dat er nog ruimte is voor verbetering om het gat met volledig gesuperviseerde modellen te dichten.

De Kernboodschap
Dit papier suggereert een verschuiving in hoe we AI voor de echte wereld kunnen bouwen. In plaats van te proberen een "superbrein" te bouwen dat alles over het internet weet, zijn we misschien beter af door "lokale experts" te bouwen die diep leren van hun directe omgeving met behulp van alle sensoren die ze tot hun beschikking hebben. Het is een meer private, efficiënte en potentieel effectievere manier om robots te leren navigeren in de specifieke huizen en kantoren waar ze daadwerkelijk zullen verblijven. De auteurs suggereren dat voor veel praktische toepassingen in de echte wereld, zoals een huishoudelijke robot of een digitale assistent, een specialist zijn niet slechts een compromis is — het is de superieure strategie.

Technische Samenvatting: Multimodaliteit als Supervisie: Zelfgestuurde Specialisatie naar de Testomgeving via Multimodaliteit

Probleemstelling

Huidige paradigma's voor zelfgestuurd leren (self-supervised learning, SSL) voor visie vertrouwen voornamelijk op "generalistische" pre-training met enorme, diverse datasets op internetschaal (bijv. ImageNet, CC12M, LAION) om brede generalisatie over ongeziene omgevingen te bereiken. Echter, veel praktische AI-implementaties—zoals huishoudelijke robots, AR/VR-brillen en domestische digitale assistenten—opereren binnen een vaste, bekende fysieke omgeving (een "testruimte"). In deze scenario's is de vereiste dat een model moet generaliseren naar de gehele wereld vaak onnodig; in plaats daarvan is de prioriteit een hoge prestatie binnen de specifieke implementatiecontext.

Bovendien ontwikkelen biologische agenten (bijv. zuigelingen) effectieve representaties van hun omgeving door gebruik te maken van meerdere sensorische modaliteiten (zicht, geluid, tast), wat een proces is waarbij de ene modaliteit wordt voorspeld vanuit de andere, bekend als cross-modaal leren, zonder externe supervisie. Dit onderzoek onderzoekt of dit biologische principe kan worden toegepast op machine learning om performante, gespecialiseerde modellen te creëren met behulp van uitsluitend data verzameld uit een specifieke implementatieomgeving, waardoor de afhankelijkheid van externe internet-schaal datasets wordt verminderd.

Methodologie: Test-Space Training (TST)

De auteurs stellen Test-Space Training (TST) voor, een framework ontworpen om specifiek voor een gegeven testomgeving zelfgestuurde representaties te leren. De methodologie bestaat uit vier hoofdfasen:

Dataverzameling in de Testruimte:
De agent (bijv. een robot of apparaat) verzamelt multimodale sensorische data binnen een enkele fysieke ruimte. Dit omvat:
- Hardware Sensoren: RGB-beelden, dieptekaarten, oppervlaktenormalen en Canny-randen (afgeleid van RGB/Diepte).
- Optionele Pseudo-Modaliteiten: Om de representatie te verrijken, experimenteren de auteurs ook met latente representaties van vooraf getrainde neurale netwerken (bijv. CLIP, ImageBind, SAM, ViTDet, Mask2Former) toegepast op de verzamelde RGB-frames. Deze fungeren als aanvullende "modaliteiten" voor de cross-modale leeropdracht.
Zelfgestuurde Pre-training:
Het kerndoel is cross-modaal leren via Multimodale Gemaskeerde Modellering (TST-MM). Het model wordt getraind om gemaskeerde tokens van één modaliteit (bijv. diepte) te voorspellen met behulp van de zichtbare tokens van andere modaliteiten (bijv. RGB, normalen).
- Het framework gebruikt een transformer-gebaseerde encoder-decoder architectuur.
- Cruciaal is dat er tijdens deze pre-training fase geen taakspecifieke labels worden gebruikt; het supervisiesignaal wordt volledig afgeleid van de correlatie tussen de verschillende modaliteiten die in dezelfde fysieke ruimte worden waargenomen.
Transfer Learning:
Na de pre-training worden de geleerde representaties geëvalueerd op downstream taken (semantische segmentatie, objectdetectie, beeldbeschrijving) binnen dezelfde testruimte.
- Een taakspecifieke 'head' wordt toegevoegd en gefinetuned op een kleine externe transfer dataset ( $D_t$ ) die voorzien is van taakannotaties.
- Belangrijk is dat $D_t$ wordt gesampled uit een andere distributie (andere ruimtes) dan de pre-training data ( $D_{PT}$ ), wat ervoor zorgt dat de pre-training taak-agnostisch blijft en dat de evaluatie de kwaliteit van de geleerde representatie test, en niet de memorisatie van de labels van de testruimte.
Evaluatie:
De prestaties van TST-modellen worden vergeleken met:
- Scratch baselines: Modellen die vanaf nul zijn getraind zonder pre-training.
- Generalist baselines: Modellen die zijn voorgetraind op grootschalige internetdatasets (bijv. DINOv2, 4M-21, CLIP).
- Taakspecialisten: Modellen die direct op specifieke taken zijn gefinetuned.

Belangrijkste Bijdragen en Bevindingen

1. Effectiviteit van Multimodaliteit als Supervisie

Het artikel demonstreert dat cross-modaal leren binnen een enkele testruimte een krachtig mechanisme is voor zelfgestuurde supervisie.

Alleen Sensoren: Zelfs bij het gebruik van uitsluitend hardware-gebaseerde modaliteiten (RGB, Diepte, Normalen, Randen) zonder enige externe data, bereikt TST-MM concurrerende resultaten ten opzichte van grootschalige internet-gebaseerde generalisten (bijv. DINOv2) op segmentatie- en detectietaken binnen de testruimte.
Schalen van Modaliteiten vs. Schalen van Data: De auteurs stellen vast dat het verhogen van het aantal modaliteiten binnen de testruimte betere prestaties oplevert dan het verhogen van het volume aan unimodale data uit externe bronnen. Het schalen van modaliteiten is effectiever voor specialisatie dan het schalen van datadiversiteit.

2. Specialisatie via Pseudo-Modaliteiten

Door het modaliteiten-woordenboek uit te breiden met kenmerken van krachtige voorgetrainde netwerken (het distilleren van CLIP, SAM, etc. als modaliteiten), bereikt het TST-MM model state-of-the-art resultaten in de testruimte.

Opmerkelijk genoeg presteert TST-MM, getraind vanaf nul op testruimte-data (met deze pseudo-modaliteiten), beter dan de zeer modellen (4M-21, CLIP) waaruit de pseudo-modaliteiten zijn afgeleid.
Dit suggereert dat het distilleren van krachtige generalistische kennis specifiek op de data van de implementatieruimte effectiever is voor die specifieke ruimte dan het direct gebruiken van het generalistische model.

3. De Specialisatie-Generalisatie Afruil

De studie brengt de afruil tussen specialisatie en generalisatie expliciet in kaart:

Specialisatie: Pre-training op een enkele testruimte levert de hoogste prestaties op in die specifieke ruimte.
Generalisatie: Naarmate de pre-training data wordt uitgebreid om duizenden vergelijkbare maar verschillende ruimtes te bevatten, neemt de prestatie op de oorspronkelijke testruimte af, terwijl de prestatie op uitgesloten (held-out) ruimtes toeneemt.
Data Substitutie: De auteurs tonen aan dat zelfs duizenden vergelijkbare externe ruimtes niet kunnen dienen als vervanging voor pre-training op de exacte testruimte waar het model zal worden ingezet.

4. Adaptatiemechanisme

TST kan ook dienen als een adaptatiemechanisme. Het finetunen van een bestaand generalistisch model (bijv. 4M-21) op testruimte-data met behulp van de TST-MM objectief verbetert de prestaties in die specifieke omgeving aanzienlijk vergeleken met de oorspronkelijke generalist.

Betekenis en Claims

Het artikel positioneert TST niet als een vervanging voor generalistische modellen in alle scenario's, maar als een levensvatbaar en efficiënt alternatief voor gespecialiseerde implementatie.

Verminderde Afhankelijkheid van Externe Data: Het werk suggereert dat voor bekende implementatieomgevingen de noodzaak voor enorme, privacygevoelige internet-schaal datasets kan worden verminderd. Hoog-presterende modellen kunnen worden gebouwd met uitsluitend lokale, multimodale data verzameld uit de doelomgeving.
Privacy en Controle: Het TST-paradigma maakt "in-house" training mogelijk waarbij gebruikersdata het apparaat of het lokale netwerk nooit verlaat, wat privacyzorgen rondom cloud-gebaseerde pre-training adresseert.
Biologische Plausibiliteit: De aanpak weerspiegelt bevindingen uit de ontwikkelingspsychologie, waarbij agenten representaties opbouwen door cross-modale voorspelling in hun directe omgeving in plaats van door blootstelling aan de data van de gehele wereld.
Prestatiekloof: De auteurs merken bescheiden op dat hoewel TST-MM met pseudo-modaliteiten state-of-the-art niveaus bereikt in de testruimte, het nog steeds ongeveer halverwege een "scratch" baseline en een volledig gesuperviseerde bovengrens ligt, wat aangeeft dat er ruimte is voor verdere verbetering om deze kloof te dichten.

Samenvattend betogen de auteurs dat multimodaliteit als supervisie de creatie van zeer gespecialiseerde, performante visiemodellen mogelijk maakt die zijn afgestemd op specifieke omgevingen, wat een overtuigend alternatief biedt voor het "one-size-fits-all" generalistische pre-training paradigma.