The semantic geometry of action: convergence across foundation models, human behaviour and the brain
Deze studie toont aan dat foundation-modellen natuurlijke acties organiseren binnen een semantische geometrie die convergeert met menselijke gedragsbeoordelingen en corticale representaties, waarbij ze traditionele video-encoders overtreffen in het voorspellen van zowel menselijke gelijkenisbeoordelingen als hersenactiviteit.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Mensen zijn meesters in het lezen van de wereld in beweging. Wanneer we naar iemand anders kijken, zien we niet alleen een lichaam dat door de ruimte beweegt; we begrijpen onmiddellijk wat diegene probeert te doen, waarom hij of zij dat doet, en wat de volgende zet zou kunnen zijn. Dit vermogen om dynamische actie te interpreteren is een hoeksteen van de menselijke intelligentie, waardoor we complexe sociale situaties kunnen navigeren en met anderen kunnen samenwerken. Decennialang hebben wetenschappers geprobeerd kunstmatige intelligentie te bouwen die hetzelfde kan. Hoewel moderne computerprogramma's nu acties met hoge nauwkeurigheid kunnen identificeren — het verschil kunnen zien tussen een persoon die rent en een persoon die wandelt — hebben onderzoekers zich lang afgevraagd of deze machines de betekenis achter de beweging werkelijk begrijpen op dezelfde manier als mensen dat doen. Begrijpen ze deze acties in hun interne "geest" op basis van dezelfde logica die wij gebruiken, of zijn ze simpelweg patronen van pixels aan het matchen zonder het onderliggende concept te vatten?
Een team onderzoekers van het Instituut voor Automatisering in China heeft nu een belangrijke stap gezet naar het beantwoorden van deze vraag. Ze zetten zich in om de verborgen structuur in kaart te brengen van hoe zowel mensen als geavanceerde kunstmatige intelligentie het concept van menselijke handeling organiseren. Door de interne "geografie" van actie in grote taalmodellen, multimodale modellen die kunnen zien en lezen, en het menselijk brein te vergelijken, ontdekten ze een verrassende convergentie. De studie suggereert dat wanneer deze kunstmatige systemen worden getraind op enorme hoeveelheden data, ze spontaan een manier van denken over menselijke handelingen ontwikkelen die nauw aansluit bij de menselijke perceptie en zelfs de manier weerspiegelt waarop het menselijk brein deze zelfde bewegingen verwerkt.
Om dit te verkennen, behandelden de onderzoekers kunstmatige intelligentiemodellen als deelnemers aan een psychologisch experiment. Ze presenteerden deze modellen duizenden korte videoclips en tekstuele beschrijvingen van mensen die diverse dingen doen, van koken en tuinieren tot vechten en dansen. De modellen kregen de opdracht een eenvoudige maar onthullende taak uit te voeren: gegeven drie verschillende acties, moesten ze identificeren welke de "afwijkende" was. Bijvoorbeeld, als ze een video te zien kregen van iemand die skiën, iemand die tekent en iemand die een rotswand beklimt, moest het model beslissen welke actie het meest verschillend was van de andere twee. Door miljoenen van deze keuzes te analyseren, konden de onderzoekers de onzichtbare mentale kaart reconstrueren die de modellen gebruikten om deze acties te sorteren. Ze deden hetzelfde met een grote groep menselijke deelnemers, waarbij ze een baseline creëerden van hoe mensen gedragingen van nature groeperen en onderscheiden.
De resultaten toonden aan dat zowel tekstgebaseerde modellen, die alleen beschrijvingen van acties lezen, als multimodale modellen, die daadwerkelijk de video's bekeken, interne kaarten hadden ontwikkeld die opvallend vergelijkbaar waren met de menselijke kaart. Deze kaarten waren niet willekeurig; ze organiseerden acties in laagdimensionale ruimtes waar vergelijkbare gedragingen dicht bij elkaar lagen en verschillende gedragingen ver van elkaar verwijderd waren. Cruciaal was dat deze kunstmatige kaarten menselijke keuzes beter voorspelden dan traditionele videoanalyse-instrumenten die vertrouwen op eenvoudige visuele kenmerken. De studie vond dat de modellen niet alleen de video's aan het onthouden waren; ze legden de abstracte doelen en sociale contexten vast die mensen gebruiken om beweging betekenis te geven. Zo leerden de modellen bijvoorbeeld "socialiserende" acties bij elkaar te groeperen en ze te scheiden van "solitaire" taken, precies zoals mensen dat doen.
Om te bewijzen dat deze interne kaarten werkelijk betekenisvol waren en niet slechts statistische trucjes, testten de onderzoekers ze op twee rigoureuze manieren. Ten eerste gebruikten ze de interne kaarten van de modellen om een videogeneratiesysteem te sturen. Door één enkel getal in de interne representatie van het model aan te passen, konden ze de inhoud van een video vloeiend veranderen. Als ze de waarde voor een "natuurgerelateerd" dimensie verhoogden, transformeerde een binnen-scène in een buiten-scène; als ze een "sport"-dimensie versterkten, verschoof de activiteit richting atletische competitie. Dit demonstreerde dat de modellen onderscheidende, controleerbare concepten van actie hadden geleerd die gemanipuleerd konden worden om nieuwe, coherente visuele scènes te creëren.
Ten tweede, en misschien wel het meest significant, testten de onderzoekers of deze kunstmatige kaarten menselijke hersenactiviteit konden voorspellen. Ze namen de vaste kaarten die door de modellen waren geleerd en pasten deze toe op een enorme dataset van hersenscans van mensen die duizenden verschillende actievideo's bekeken. Ze ontdekten dat de interne organisatie van de modellen succesvol voorspelde welke delen van het menselijk brein zouden oplichten bij het bekijken van specifieke acties. De tekstgebaseerde modellen, die het concept van actie puur door taalbeschrijvingen hadden geleerd zonder ooit een video te hebben gezien, waren bijzonder goed in het voorspellen van activiteit in hogere-orde hersengebieden die verantwoordelijk zijn voor het begrijpen van complexe sociale en doelgerichte gedragingen. Dit suggereert dat de abstracte concepten van actie, geleerd louter via taal, voldoende zijn om de kernstructuur te vangen van hoe het menselijk brein beweging representeert.
De studie benadrukte ook interessante verschillen tussen de typen modellen. Terwijl de video-bekijkende modellen fijne visuele details vastlegden, waren de tekstgebaseerde modellen verrassend effectief in het organiseren van acties in brede, betekenisvolle categorieën. In sommige hersengebieden presteerden de tekstgebaseerde modellen zelfs beter dan de video-modellen in het voorspellen van menselijke neurale responsen. Dit impliceert dat het conceptuele begrip van actie — weten wat een persoon probeert te bereiken — mogelijk belangrijker is voor menselijke perceptie dan de specifieke visuele details van hoe de beweging eruitziet.
Uiteindelijk biedt dit onderzoek een krachtige nieuwe manier om de relatie tussen kunstmatige en biologische intelligentie te begrijpen. Het laat zien dat wanneer machines worden blootgesteld aan voldoende data, ze een gedeelde semantische geometrie met mensen kunnen ontwikkelen, waarbij ze de wereld van actie organiseren op een manier die functioneel vergelijkbaar is met de onze. De bevindingen suggereren dat de weg naar werkelijk intelligente machines niet vereist dat we ze expliciet programmeren met menselijke regels, maar eerder dat we ze deze structuren zelf laten ontdekken door blootstelling aan de rijkdom van de menselijke ervaring. De studie beweert niet dat machines bewustzijn of gevoelens hebben, maar het demonstreert wel dat ze een structureel begrip van menselijk gedrag kunnen opbouwen dat diep in lijn ligt met dat van ons, wat een veelbelovende basis biedt voor toekomstige interacties tussen mensen en machines.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.