Zero-MELO: Test-Time Evidence Calibration with Multimodal LLMs for Zero-Shot Micro-Gesture Recognition
Zero-MELO is een nieuw framework voor bewijskalibratie tijdens de testtijd dat zero-shot micro-gebaarherkenning in Multimodale Grote Taalmodellen verbetert door een boomzoekmechanisme te gebruiken voor het verwerven van fijnmazig visueel bewijs en een kalibratiemodule om scorebiases te mitigeren, waardoor het bestaande baselines op benchmarkdatasets aanzienlijk overtreft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Menselijke beweging is een taal op zich, die niet alleen wordt gesproken in brede gebaren zoals een zwaai of een duim omhoog, maar in de vluchtige, bijna onzichtbare verschuivingen van het lichaam. Dit zijn microgebaren: het subtiele krabben aan een kaak, het kort kruisen van vingers, of het lichte aanspannen van een lip. Decennialang hebben onderzoekers deze kleine bewegingen bestudeerd omdat ze vaak onthullen wat iemand voelt of denkt nog voordat diegene spreekt. Het aanleren van computers om deze vluchtige signalen te herkennen is echter een hardnekkige uitdaging gebleken. De bewegingen zijn te snel, te klein en te veel variëren van persoon tot persoon voor standaard videonalyse-instrumenten om ze betrouwbaar te vangen.
In de afgelopen jaren is er een nieuwe generatie kunstmatige intelligentie opgekomen, bekend als multimodale grote taalmodellen. Deze systemen zijn bijzonder goed in het begrijpen van afbeeldingen en video's in algemene zin; ze kunnen een scène beschrijven, een hond identificeren of een complexe gebeurtenis uitleggen. Toch waren de resultaten teleurstellend toen onderzoekers deze krachtige modellen probeerden te gebruiken om de subtiele, specifieke bewegingen van microgebaren te detecteren. De modellen misten de subtiele actie vaak volledig en gokten in plaats daarvan op basis van hoe de persoon eruitzag of wat het model verwachtte te zien, in plaats van op basis van wat er daadwerkelijk gebeurde in de video. Het was alsof de modellen naar het hele plaatje keken, maar de kleine, cruciale details die het antwoord bevatten, niet opmerkten.
Een team van onderzoekers zette zich in om te begrijpen waarom deze geavanceerde modellen bij een dergelijke specifieke taak faalden en om een manier te vinden om dit op te lossen zonder de modellen vanaf nul opnieuw te trainen. Ze ontdekten dat het probleem niet was dat de modellen niet het vermogen hadden om de beweging te zien, maar dat ze niet op de juiste plek keken en werden misleid door hun eigen interne verwachtingen. De modellen leunden te zwaar op taalpatronen die ze uit tekst hadden geleerd, waardoor ze het antwoord gokten op basis van de vraag in plaats van op basis van de video. Ze richtten zich ook vaak op de verkeerde delen van het lichaam, waarbij ze de specifieke hand- of gezichtsbeweging die het gebaar definieerde, misten.
Om dit op te lossen, ontwikkelden de onderzoekers een nieuwe methode genaamd Zero-MELO. In plaats van het model te vragen direct een enkel antwoord te geven, ontwierpen ze een proces dat het model dwingt om als een zorgvuldige waarnemer te handelen. Eerst vraagt het systeem het model om naar de video te kijken en te identificeren welke lichaamsdelen relevant kunnen zijn, zoals de handen, het gezicht of de nek. Vervolgens begeleidt het de het model om in te zoomen op die specifieke gebieden, waardoor een reeks close-up beelden wordt gecreëerd om betere bewijslast te verzamelen. Dit is vergelijkbaar met hoe een persoon de ogen kan samenknijpen en dichter bij een scherm kan leunen om een klein detail te zien, maar de computer doet dit systematisch over de gehele video.
Zodra het model deze gedetailleerde, gelokaliseerde beelden heeft verzameld, past het systeem een tweede stap toe om de eigen vooroordelen te corrigeren. De onderzoekers ontdekten dat de modellen vaak een sterke neiging hadden om bepaalde veelvoorkomende antwoorden te geven, ongeacht de inhoud van de video. Om dit tegen te gaan, vraagt het systeem het model om zich de video voor te stellen zonder enige beweging of visuele details, en vervolgens weer met alleen het statische uiterlijk van de persoon. Door deze "wat als"-scenario's te vergelijken met de werkelijke video, kan het systeem de onjuiste gokken van het model wegfilteren en zich concentreren op het ware visuele bewijs. Ten slotte combineert het systeem alle informatie van de verschillende ingezoomde beelden en de gecorrigeerde scores om tot een definitieve beslissing te komen.
De resultaten van deze aanpak waren aanzienlijk. Wanneer de methode werd getest op standaard datasets met duizenden voorbeelden van microgebaren, verbeterde de nauwkeurigheid van de modellen spectaculair. Op de ene dataset steeg het succespercentage van ongeveer zestien procent naar bijna zevenentwintig procent, en op een andere meer dan verdubbelde het van tien procent naar meer dan tweeentwintig procent. Deze cijfers vertegenwoordigen een substantiële vooruitgang en laten zien dat de modellen in staat waren om deze subtiele bewegingen de hele tijd al te begrijpen, mits ze werden begeleid om nauwkeurig te kijken en zorgvuldig na te denken.
De studie suggereert dat de beperkingen van de huidige kunstmatige intelligentie bij het begrijpen van fijnmazige menselijke beweging niet noodzakelijkerwijs een gebrek aan intelligentie zijn, maar een gebrek aan de juiste instrumenten om de aandacht te richten. Door de modellen te leren om naar specifiek bewijs te zoeken en hun eigen aannames in twijfel te trekken, hebben de onderzoekers aangetoond dat deze systemen veel betrouwbaarder kunnen worden gemaakt bij taken die een scherp oog voor detail vereisen. Dit werk verbetert niet slechts één enkele taak; het biedt een nieuwe manier van denken over hoe we kunstmatige intelligentie kunnen helpen de wereld te zien met dezelfde precisie en aandacht voor detail die mensen gebruiken wanneer zij de subtiele taal van het lichaam observeren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.