Menselijke wezens zenden voortdurend hun innerlijke leven uit via kleine, bijna onzichtbare bewegingen. Een hand die friemelt, een hoofd dat een fractie van een inch kantelt, of een been dat met een subtiel ritme trilt — dit zijn micro-acties. In tegenstelling tot de grote, bewuste gebaren die we gebruiken om hallo te zwaaien of naar een bord te wijzen, gebeuren deze kleine bewegingen met weinig bewust nadenken. Toch geven ze betrouwbaar informatie over de emotionele staat en psychologische conditie van een persoon. Decennialang hebben wetenschappers geprobeeid computers te leren deze vluchtige signalen te zien, waarbij ze deze behandelden als een moeilijke puzzel in videoanalyse. De uitdaging ligt in hun subtiliteit; ze zijn kortstondig, hebben een lage amplitude en zijn gemakkelijk met elkaar te verwarren. Een hoofdkanteling kan lijken op een hoofddraai; een aanraking kan lijken op een krab. Tot voor kort was de beste manier om dit op te lossen het bouwen van gespecialiseerde computerprogramma's die getraind waren op duizenden voorbeelden, een proces dat enorme hoeveelheden data en rekenkracht vereiste.

Een team onderzoekers van de Wuhan Universiteit heeft dit probleem nu benaderd met een andere strategie, een die vertrouwt op bestaande, krachtige kunstmatige intelligentie-instrumenten in plaats van het bouwen van nieuwe vanaf de basis. In een recente wedstrijd gericht op het begrijpen van deze micro-acties, behaalden zij de eerste plaats zonder hun systeem te trainen op nieuwe data. In plaats van een computer te leren hoe een micro-actie eruitziet, vroegen ze een geavanceerd taalmodel om te beschrijven wat het ziet en uit te leggen waarom het dat ziet. Hun succes onthult een verrassende waarheid over hoe deze modellen werken: de beste manier om een computer een subtiele beweging te laten begrijpen is niet door de computer te vragen het antwoord te raden, maar door hem eerst de details te laten beschrijven, en vervolgens die details de uiteindelijke conclusie te laten sturen.

Het team nam deel aan een uitdaging genaamd de Micro-Action Analysis Grand Challenge, waarbij het doel was om duizenden korte videoclips te analyseren van mensen die deze subtiele bewegingen uitvoeren. De taak was verdeeld in verschillende delen. Sommige delen vereisten dat de computer de juiste categorie koos uit een lijst, zoals beslissen of een beweging een "hoofd-hand"-interactie of een "been-hand"-interactie was. Andere delen waren meer open, waarbij de computer precies moest beschrijven welke lichaamsdelen bewogen, hoe ze bewogen en waarom een specifieke label de juiste keuze was. De regels van de wedstrijd waren strikt: de teams mochten hun modellen niet trainen op de wedstrijddata, noch mochten ze de juiste antwoorden gebruiken om het systeem te onderwijzen. Ze moesten de modellen precies gebruiken zoals ze waren, waarbij ze hen alleen stuurden met geschreven instructies.

Het team realiseerde zich dat een enkel kunstmatige intelligentie-model niet het juiste instrument was voor elk deel van de taak. Sommige modellen zijn uitstekend in het maken van snelle, precieze keuzes, zoals het kiezen van de juiste letter uit een meerkeuze lijst. Andere zijn beter in het schrijven van gedetailleerde, vloeiende beschrijvingen van wat er in een scène gebeurt. De onderzoekers bouwden een systeem dat werkt als een dirigent, die elke specifieke vraag doorstuurt naar het model dat het meest geschikt is om deze te beantwoorden. Wanneer de taak bestond uit het identificeren van een categorie of het maken van een eenvoudige ja-of-nee beoordeling, stuurden ze de video naar een model dat bekend staat om zijn sterke besluitvormingsvermogen. Wanneer de taak bestond uit het schrijven van een beschrijving of het uitleggen van de redenering achter een keuze, stuurden ze de video naar een model dat bekend staat om zijn vermogen om vloeiende, coherente tekst te genereren.

Deze taakverdeling loste een groot probleem op. Vaak zal een model dat goed is in het beschrijven van een scène, vol vertrouwen de verkeerde actie beschrijven omdat het verdwaalt in de details. Omgekeerd kan een model dat goed is in het kiezen van een label een zeer korte, onbehulpzame uitleg geven. Door de taken te scheiden, zorgde het team ervoor dat het model dat de beschrijving schreef, niet werd afgeleid door de druk om het uiteindelijke label te raden. Echter, ze gingen nog een stap verder. Ze ontdekten dat zelfs met de beste beschrijving, het model nog steeds een fout kon maken in het uiteindelijke label als het niet verankerd was aan de juiste feiten. Om dit op te lossen, introduceerden ze een methode die ze recognition-conditioned reasoning noemden.

In deze aanpak vraagt het systeem eerst aan het besluitvormende model om de juiste categorie te voorspellen. Vervolgens neemt het die voorspelling en voert het deze rechtstreeks in de prompt voor het beschrijvende model. Het beschrijvende model wordt vervolgens gevraagd zijn uitleg te schrijven, maar moet dit doen terwijl het de voorspelde categorie in gedachten houdt. Het is alsof het systeem zegt: "Op basis van wat je ziet, leg uit waarom dit een hoofdkanteling is, en zorg ervoor dat je beschrijving die conclusie ondersteunt." Deze eenvoudige stap van het geven van een hint over het antwoord aan het beschrijvende model verbeterde de nauwkeurigheid van het uiteindelijke resultaat drastisch. Het beschrijvende model schreef niet alleen een beter verhaal; het schreef een verhaal dat feitelijk consistent was met de juiste label.

De resultaten van deze aanpak waren opmerkelijk. In de laatste wedstrijd scoorde het systeem van het team aanzienlijk hoger dan elke andere inzending, met name in de open-ended secties waar de computer de bewegingen moest beschrijven en erover moest redeneren. Terwijl andere teams worstelden om verklaringen te schrijven die zowel vloeiend als accuraat waren, slaagde dit systeem erin om beschrijvingen te produceren die getrouw waren aan de video-inhoud. De onderzoekers ontdekten dat de belangrijkste reden voor fouten niet was dat de modellen de beweging niet konden zien of niet goed konden schrijven, maar dat ze soms aan het begin de verkeerde label hadden geraden. Zoden de juiste label als startpunt werd geleverd, waren de modellen in staat om perfecte verklaringen te construeren.

Dit werk suggereert dat voor complexe visuele taken waarbij subtiel menselijk gedrag betrokken is, de toekomst mogelijk niet ligt in het trainen van enorme nieuwe modellen vanaf de basis. In plaats daarvan kan de sleutel liggen in hoe we de krachtige instrumenten die we al hebben organiseren en aansturen. Door de juiste soort kunstmatige intelligentie zorgvuldig te matchen met het juiste type vraag, en door de modellen elkaars werk te laten controleren, is het mogelijk om een niveau van begrip te bereiken dat wedijvert met gespecialiseerde systemen. De onderzoekers hebben aangetoond dat een systeem dat volledig is opgebouwd uit bestaande, bevroren modellen, die specifiek voor de taak getrainde modellen kan overtreffen, wat bewijst dat slimme orchestratie net zo krachtig is als zware training.

De studie introduceerde ook een nieuwe manier om succes te meten die de vooroordelen van automatische rechters vermeed. Vaak zijn taalmodellen die worden gebruikt om antwoorden te beoordelen, bevooroordeeld naar vloeiendheid, waarbij ze een goed geschreven zin belonen zelfs als de feiten onjuist zijn. De onderzoekers ontwikkelden een methkwaard om te controleren of de uitleg daadwerkelijk de juiste categorie noemde, ongeacht hoe mooi de tekst geschreven was. Deze "judge-free" controle bevestigde dat hun methode om de modellen te leiden met een voorspelde label de ware drijfveer van hun succes was. Het toonde aan dat de bottleneck in het begrijpen van micro-acties niet het vermogen is om te zien of te spreken, maar het vermogen om de actie in de eerste plaats correct te identificeren.

Uiteindelijk biedt dit onderzoek een duidelijk pad vooruit voor het begrijpen van menselijk gedrag via video. Het laat zien dat we het wiel niet opnieuw hoeven uit te vinden om moeilijke problemen op te lossen. Door de sterke en zwakke punten van de instrumenten die we al bezitten te begrijpen, en door ze in een logische volgorde te plaatsen, kunnen we capaciteiten ontsluiten die voorheen onbereikbaar waren. Het vermogen om de subtiele, onvrijwillige bewegingen van het menselijk lichaam accuraat te lezen, heeft diepgaande implicaties voor gebieden variërend van mentale gezondheidszorg tot mens-computerinteractie. De onderzoekers hebben aangetoond dat met de juiste aanpak, kunstmatige intelligentie kan leren om het onzichtbare te zien, niet door complexer te worden, maar door bedachtzamer te worden.