Human-JEPA: A Human-Centric Vision Model that Perceives and Anticipates
Human-JEPA is een mensgericht visiemodel dat via geankerde voorspelling op video is getraind en tegelijkertijd de staat van de kunst bereikt op het gebied van statische perceptie en toekomstige anticipatie met aanzienlijk minder parameters dan bestaande specialisten, waarbij eerdere beperkingen in bewegingsbegrip en modelinstorting worden overwonnen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Menselijke visie is een dubbele motor. Het registreert niet alleen wat er op dit moment gebeurt; het draait constant een simulatie van wat er hierna zal gebeuren. Wanneer je ziet hoe iemand naar een kopje grijpt, identificeert je brein tegelijkertijd de persoon, volgt de houding en voorspelt exact waar de hand zal landen voordat deze er is. Decennialang heeft kunstmatige intelligentie moeite gehad om de tweede helft van deze vergelijking te repliceren. Hoewel machines uitzonderlijk goed zijn geworden in het analyseren van een enkele foto — het identificeren van een gezicht, kleding of een houding — zijn ze grotendeels blind gebleven voor de stroom van de tijd. Ze kunnen een stilstaand beeld met grote detailgraad beschrijven, maar ze kunnen de toekomstige beweging binnen een video niet anticiperen. Deze kloof heeft een aanzienlijk deel van het menselijk begrip buiten het bereik van computers gelaten, wat hun vermogen beperkt om op een manier met de wereld te interageren die natuurlijk of veilig aanvoelt.
Een nieuwe studie introduceert een systeem genaamd Human-JEPA, ontworpen om deze kloof te overbruggen. De onderzoekers bouwden een model dat leert de tegenwoordige tijd te waarnemen en de toekomst te anticiperen op hetzelfde moment, met behulp van enkel videobeelden zonder menselijke labels of handmatige annotaties. De kern van hun ontdekking ligt in de manier waarop ze het systeem hebben getraind. Eerdere pogingen om machines iets over menselijke beweging te leren, faalden vaak omdat het leerproces zelf gebrekkig was. Wanneer het systeem probeerde te leren van video, verloor het stilletjes zijn vermogen om de details van het menselijk lichaam te begrijpen, zoals de vorm van een ledemaat of de textuur van kleding, terwijl het zich te veel concentreerde op het kopiëren van statische patronen. De onderzoekers ontdekten dat door het geheugen van het systeem voor de menselijke vorm te verankeren aan een vast startpunt en het te dwingen de toekomst te voorspellen in plaats van alleen ontbrekende delen van het verleden in te vullen, ze dit verval konden voorkomen. Het resultaat is een model dat aanzienlijk kleiner is dan de vorige koplopers in het veld, maar die hen overtreft in het volgen van menselijke bewegingen en het identificeren van individuen, terwijl het tegelijkertijd het vermogen behoudt om te raden wat er hierna gebeurt.
De uitdaging waar het team voor stond, was dat bestaande krachtige modellen getraind waren op statische afbeeldingen. Deze modellen zijn uitstekend in het lezen van een foto, maar ze begrijpen beweging niet. Om een systeem te creëren dat mensen in beweging begrijpt, begonnen de onderzoekers met een op video gebaseerd model dat al algemene patronen van het internet had geleerd. Vervolgens specialiseerden ze het om zich op mensen te richten. Echter, het simpelweg tonen van meer video's van mensen aan dit model werkte niet. Het systeem begon te degraderen, waarbij het zijn vermogen verloor om fijne details zoals lichaamsdelen of kleding te herkennen, een falen dat zo subtiel was dat het trainingsproces zelfs geen foutmelding gaf. Het model was in feite aan het vergeten hoe een mens eruitziet terwijl het probeerde te leren hoe zij bewegen.
Om dit op te lossen, introduceerden de onderzoekers een methode die ze "anchored forecasting" (verankerde voorspelling) noemen. Stel je een student voor die probeert een nieuwe vaardigheid te leren terwijl hem wordt verteld de basis die hij al kent te vergeten; de student zou waarschijnlijk in de war raken en zijn fundament verliezen. De onderzoekers voorkamen dit door het begrip van het systeem voor de menselijke vorm te "pinnen" aan een bevroren, onveranderlijke kopie van zijn oorspronkelijke kennis. Dit anker zorgde ervoor dat terwijl het model toekomstige bewegingen leerde voorspellen, het niet zijn vermogen verloor om de tegenwoordige tijd te herkennen. Daarnaast voegden ze een stroom trainingsgegevens toe met behulp van stilstaande beelden van mensen, wat het systeem hielp een scherp gevoel voor het menselijk uiterlijk te behouden. Deze combinatie stelde het model in staat om de gedetailleerde perceptie van het menselijk lichaam te behouden terwijl het leerde anticiperen op beweging.
De tweede grote verandering betrof de manier waarop het systeem tijdens de training werd getest. Standaardmethoden vragen het model vaak om ontbrekende blokken van een video in te vullen, wat het aanmoedigt om simpelweg te kopiëren wat het in de nabije tijd en ruimte ziet. Dit is een afkorting die voorkomt dat het model echt leert hoe een scène zich ontwikkelt. De onderzoekers vervingen dit door een zuivere past-to-future split (verleden-naar-toekomst-splitsing). Het model kreeg de eerste helft van een videoclip te zien en moest de tweede helft voorspellen. Omdat de toekomst volledig verborgen was, was de enige manier om te slagen het bouwen van een echt model van hoe de scène in de loop van de tijd verandert. Dit dwong het systeem om de dynamiek van menselijke beweging te leren in plaats van alleen statische patronen te memoriseren.
De resultaten van deze aanpak waren opmerkelijk. Bij tests op bevroren checkpoints — wat betekent dat het systeem niet verder mocht leren tijdens de test — presteerde het nieuwe model beter dan de grootste en meest gespecialiseerde menselijke visiemodellen die beschikbaar zijn, ondanks dat het 2,7 keer minder parameters heeft. Het behaalde een hogere nauwkeurigheid in het volgen van menselijke houdingen en het identificeren van individuen in een menigte. Bijvoorbeeld, bij een standaardtest voor het heridentificeren van mensen, verbeterde het zijn score met 2,7 punten ten opzichte van zijn eigen basisversie en overtrof het de leidende beeldgebaseerde specialist. Misschien wel het belangrijkste is dat het vermogen van het model om de toekomst te anticiperen niet werd aangetast door deze wijzigingen. Sterker nog, de predictor head van het systeem was de eerste die de anticipatie verbeterde zonder de andere capaciteiten te schaden.
De studie testte ook rigoureus wat niet werkte, waarbij verschillende intuïtieve ideeën werden uitgesloten. De onderzoekers probeerden de persoon zelf als de eenheid van voorspelling te maken, waarbij ze hele mensen maskeerden om te zien of het model kon leren hun partners te volgen. Deze aanpak faalde volledig en liet het vermogen van het model om interacties te begrijpen instorten. Ze ontdekten ook dat het simpelweg toevoegen van meer data of het vergroten van de omvang van het model de onderliggende problemen veroorzaakt door de trainingsmethode niet oploste. Het falen was niet te wijten aan een gebrek aan data of rekenkracht, maar aan een fundamenteel gebrek in de structuur van het leerdoel. De studie concludeert dat de sleutel tot het begrijpen van mensen in de tijd niet alleen is om naar hen te kijken, maar om de perceptie van hun vorm te verankeren terwijl men hun toekomst voorspelt.
Dit werk zet een nieuwe richting uit voor kunstmatige intelligentie. Het demonstreert dat een enkel model succesvol zowel de statische perceptie van het heden als de dynamische anticipatie van de toekomst kan afhandelen, twee taken die voorheen als afzonderlijke benaderingen werden beschouwd. Door het stille verval van gedetailleerde perceptie te voorkomen en de afkortingen te verwijderen die echt leren in de weg staan, hebben de onderzoekers een systeem gecreëerd dat mensen ziet zoals ze zijn: entiteiten die in de tijd bestaan, bewegend en veranderend. De bevindingen suggereren dat voor machines om mensen echt te begrijpen, ze moeten worden aangeleerd om vooruit te kijken, en niet alleen om terug te kijken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.