Why Do Vision Language Models Struggle To Recognize Human Emotions?
Dit paper onderzoekt waarom Vision-Language Models moeite hebben met het herkennen van menselijke emoties door twee fundamentele beperkingen te identificeren – een langstaartverdeling in trainingsdata en het onvermogen om tijdelijke dynamiek te verwerken – en stelt een multi-stadia strategie voor die tussenliggende frames omzet in tekstuele samenvattingen om deze tekortkomingen te overbruggen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Waarom zien slimme AI's (zoals Chatbots met ogen) geen emoties?
Stel je voor dat je een zeer slimme robot hebt die alles kan zien en lezen. Hij kan een foto van een auto analyseren, een verhaal samenvatten en zelfs een recept opschrijven. Maar als je hem een filmpje laat zien van iemand die net een klein glimlachje maakt voordat hij weer serieus wordt, zegt hij: "Die persoon is verdrietig" of "Die persoon is neutraal."
Hoe kan dat? Waarom faalt deze supercomputer op iets dat voor ons mensen zo natuurlijk voelt?
Dit onderzoek van wetenschappers van de Universiteit van Edinburgh geeft het antwoord. Ze ontdekten dat deze AI-modellen (die we Vision-Language Models of VLMs noemen) twee grote struikelblokken hebben als het gaat om het lezen van menselijke emoties.
Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.
1. Het probleem van de "Populaire Emoties" (De Langstaart)
De situatie:
Stel je voor dat je een school hebt waar 90% van de leerlingen "blij" is, 9% "verdrietig", en slechts 1% "minachtend" of "teleurgesteld". Als je de leraar (de AI) alleen maar laat oefenen met deze klas, wat zal hij dan leren? Hij zal denken dat iedereen blij is. Als hij iemand ziet die teleurgesteld is, zal hij toch zeggen: "Oh, die is waarschijnlijk blij, want dat komt het vaakst voor."
Wat de paper zegt:
De AI-modellen worden getraind met enorme hoeveelheden data van het internet. Op het internet komen woorden als "blij", "verdrietig" en "boos" veel vaker voor dan zeldzame emoties zoals "minachting" of "hulpeloos".
- De metafoor: Het is alsof je een spreekbeurt moet houden over de wereld, maar je mag alleen boeken lezen die in de top-100 van de bestsellerlijst staan. Je zult denken dat de wereld alleen maar bestaat uit die populaire boeken, en dat rare, zeldzame verhalen niet bestaan.
- Het gevolg: De AI negeert zeldzame emoties en "smelt" ze samen met de populaire emoties. Als iemand een heel kort momentje van walging toont, denkt de AI: "Dat is waarschijnlijk gewoon verdriet," omdat verdriet vaker voorkomt in zijn training.
2. Het probleem van de "Te Snelle Film" (Tijdsbewustzijn)
De situatie:
Menselijke emoties spelen zich vaak af in flitsen. Een micro-expressie (een heel kort gezichtje van emotie) duurt soms maar 0,25 seconden. Dat is sneller dan een knipoog.
Wat de paper zegt:
AI-modellen kunnen niet heel veel beelden tegelijk onthouden. Ze hebben een beperkt "geheugen" (token budget). Om een filmpje te bekijken, kiezen ze daarom maar een paar beelden uit: bijvoorbeeld één beeld per seconde.
- De metafoor: Stel je voor dat je een hele spannende film moet samenvatten, maar je mag er maar 5 beelden uit kiezen. Als je die 5 beelden kiest, mis je misschien net dat ene moment waarop de held zijn zwaard trekt. De AI kijkt naar de beelden alsof het losse foto's zijn in een album, zonder te kijken naar de volgorde of de beweging ertussen.
- Het probleem: Als je te veel beelden probeert te laten zien (bijvoorbeeld 20 per seconde), raakt de AI in de war. Het is alsof je iemand een hele berg foto's tegelijk in het gezicht duwt; ze kunnen zich niets meer herinneren. Als je er te weinig laat zien, mis je de snelle flitsen. De AI zit dus vast tussen twee vuren: te weinig info of te veel ruis.
Hoe lossen ze dit op? (De "Tijdbroek" Oplossing)
De onderzoekers bedachten een slimme truc om dit op te lossen, zonder de AI helemaal opnieuw te moeten bouwen. Ze noemen het Multi-Stage Context Enrichment (Meervoudige Context Verrijking).
De oplossing in beeld:
Stel je voor dat je een filmpje bekijkt, maar je mag er maar 3 beelden van kiezen (de sleutelbeelden).
- Stap 1: De AI kijkt naar de beelden tussen die 3 beelden in. Die beelden ziet hij niet direct, maar hij beschrijft wat er gebeurt in die "gaten" in tekst.
- Voorbeeld: "Tussen beeld 1 en 2 zag ik even een snelle frons en een opgetrokken wenkbrauw."
- Stap 2: De AI krijgt nu de 3 beelden én die tekstuele beschrijvingen te zien.
- De metafoor: Het is alsof je een fotoboek bekijkt, maar tussen de foto's in staan er kleine bijschriften die vertellen wat er precies gebeurde toen de camera even weg was. Zo hoef je niet 100 foto's te bekijken om het verhaal te begrijpen; de tekst vult de gaten op.
Het resultaat:
Door deze "tussen-in" bewegingen om te zetten in tekst, kan de AI de snelle flitsen (micro-expressies) toch "zien", zonder dat zijn geheugen overbelast raakt door te veel beelden. Het werkt als een tijdbroek die de gaten opvult.
Conclusie
Deze studie laat zien dat AI's niet "dom" zijn, maar dat ze een verkeerde manier van leren hebben.
- Ze zijn te sterk beïnvloed door wat er vaak op het internet staat (populaire emoties).
- Ze kunnen niet goed omgaan met de snelheid van tijd (ze missen de snelle flitsen).
Door de training aan te passen (om ook zeldzame emoties te leren) en slimme trucjes te gebruiken om de "gaten" in de tijd te vullen met tekst, kunnen we deze robots een stuk menselijker maken. Ze kunnen dan eindelijk echt zien wat we voelen, niet alleen wat we vaak laten zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.