LG-GER: Language-Guided Group Emotion Recognition via Multimodal Evidence Distillation

Mensen zijn opmerkelijk goed in het lezen van de emotionele temperatuur van een menigte. We tellen niet simpelweg glimlachende gezichten; we wegen de spanning in een gebalde vuist, de verslapping van een schouder, de context van een viering of een protest, en de manier waarop mensen ten opzichte van elkaar staan. Een enkele visuele aanwijzing, zoals een boeket bloemen, kan vreugde bij een bruiloft of verdriet bij een begrafenis signaleren. Het bepalen van de collectieve stemming van een groep aan de hand van één enkele foto is een complexe puzzel die bekend staat als groepsemotieherkenning (group emotion recognition). Voor computers is deze taak berucht moeilijk omdat machines vaak moeite hebben met het begrijpen dat hetzelfde object of gebaar tegenovergestelde dingen kan betekenen, afhankelijk van de scène. Waar mensen intuïtief deze verspreide aanwijzingen samenvoegen tot één gevoel, heeft kunstmatige intelligentie traditioneel vertrouwd op rigide, meerstaps-processen die vaak het bos door de bomen niet meer zien.

Onderzoekers aan de University of South Carolina hebben een nieuwe aanpak ontwikkeld om dit probleem op te lossen, een aanpak die een computer leert een menigte te zien zoals een mens dat doet, zonder de zware machinerie van traditionele detectiesystemen nodig te hebben. Hun methode, genaamd LG-GER, omzeilt de noodzaak om eerst elke persoon of elk object in een afbeelding te identificeren en te isoleren. In plaats daarvan gebruikt het een krachtig, vooraf getraind taalmodel als leraar om een gedetailleerde kaart van emotioneel bewijs te genereren. Deze leraar-modellen bekijkt een afbeelding en schrijft specifieke observaties op, zoals "een persoon die een trofee vasthoudt met een vreugdevolle uitdrukking" of "een gebalde vuist in een protestsetting", samen met een betrouwbaarheidsscore voor hoe sterk die aanwijzing op een bepaalde emotie wijst. De onderzoekers gebruiken vervolgens deze geschreven beschrijvingen en hun locaties om een veel kleiner, sneller computermodel te trainen. Dit student-model leert de afbeelding te bekijken en diezelfde emotionele aanwijzingen op eigen kracht te vinden, geleid door de aantekeningen van de leraar, totdat het de stemming van de groep nauwkeurig kan voorspellen zonder ooit weer een detector te draaien of het grote taalmodel te raadplegen.

De kerninnovatie ligt in de manier waarop de onderzoekers de trainingsdata hebben behandeld. Traditionele methoden voor het aanleren van groepsemotieherkenning aan computers vertrouwen op een pijplijn waarbij het systeem eerst gezichten detecteert, dan lichamen detecteert, dan objecten detecteert, en vervolgens probeert al die informatie samen te voegen. Deze aanpak is traag, foutgevoelig als de initiële detectie faalt, en vereist aanzienlijke rekenkracht. Het nieuwe framework verwerpt deze meerstaps-pijplijn volledig. In plaats daarvan gebruikten de onderzoekers een groot taalmodel om als offline annotator te fungeren. Dit model onderzocht duizenden trainingsafbeeldingen en genereerde gestructureerd bewijs voor elke afbeelding. Voor elke afbeelding produceerde het een lijst met specifieke regio's, waarbij werd beschreven wat er op die plek gebeurde, welke emotie het signaleerde en hoe zeker het was van dat signaal. Dit creëerde een rijke, ruimtelijk gegronde dataset waar de computer niet alleen het uiteindelijke antwoord leerde, maar ook de specifieke redenen waarom een bepaald deel van de afbeelding ertoe deed.

Om het student-model te leren dit bewijs te gebruiken, ontwierpen de onderzoekers een trainingsproces dat zich richtte op vier verschillende soorten leren. Ten eerste leerde het model de algemene emotie van de afbeelding te classificeren. Ten tweede leerde het de visuele kenmerken van een specifieke regio te koppelen aan de tekstuele beschrijving van de leraar, waardoor de computer begreep dat een specifere verzameling pixels overeenkwam met een "glimlachende vrouw" in plaats van slechts een generiek gezicht. Ten derde leerde het de emotie van dat specifieke gebied te voorspellen, waarbij onderscheid werd gemaakt tussen vreugde, neutraliteit of woede. Ten slotte leerde het de sterkte van dat signaal in te schatten, waarbij het begreep dat een duidelijke, open glimlach een sterker emotioneel signaal is dan een gedeeltelijk verborgen glimlach. Door deze vier leerdoelen te combineren, ontwikkelde het model een verfijnd vermogen om zich te concentreren op de meest relevante delen van een afbeelding terwijl het de ruis negeert.

De resultaten van deze aanpak waren opvallend bij testen tegen gevestigde benchmarks. Op twee belangrijke datasets die worden gebruikt om groepsemotieherkenning te evalueren, behaalde de nieuwe methode een prestatie die de meest geavanceerde bestaande systemen evenaarde of overtrof. Op de GAF 3.0-dataset bereikte het een nauwkeurigheid van 84,08%, waarmee het de vorige beste methode passeerde. Op de grotere GroupEmoW-dataset behaalde het een nauwkeurigheid van 92,39%, waarbij het slechts op de tweede plaats kwam na de best presterende methode, maar met een cruciaal verschil: de nieuwe methode had tijdens de eigenlijke testfase geen detectie en geen complexe fusie van meerdere datastromen nodig. Terwijl de best presterende concurrent meerdere detectiealgoritmen moest draaien en hun outputs moest combineren om tot zijn resultaat te komen, keek de nieuwe methode simpelweg naar de afbeelding en gaf een antwoord. Dit maakt het systeem aanzienlijk sneller en praktischer voor real-world toepassingen waar snelheid en rekenbronnen beperkt zijn.

De onderzoekers onderzochten ook waarom hun methode zo goed werkte door te analyseren hoe de aandacht van de computer tijdens de training verschoof. Voordat de gespecialiseerde training begon, had het model de neiging om zijn aandacht breed over de hele afbeelding te verspreiden, waarbij het vaak werd afgeleid door irrelevante achtergronddetails zoals muren of meubels. Na het leren van de taalgeleide aanwijzingen leerde het model zijn focus te concentreren op de specifieke gebieden die emotionele waarde droegen, zoals een centrale interactie tussen mensen of een bijzonder expressief gezicht. In sommige gevallen stelde deze gefocuste aandacht het model in staat om correct een feestelijke stemming te identificeren in een scène die een standaardmodel als neutraal had gelabeld. Echter, de studie onthulde ook een beperking: wanneer een menigte een mix van conflicterende emoties bevatte die elkaar werkelijk neutraliseerden, kon de neiging van het model om zich op één sterk signaal te concentreren er soms toe leiden dat het een neutrale scène als negatief interpreteerde. Dit suggereert dat hoewel de methode uitblinkt in het vinden van duidelijke emotionele signalen, het nog steeds uitdagingen kent in de meest ambigue, gebalanceerde scenario's.

Uiteindelijk demonstreert dit werk dat de weg naar betere kunstmatige intelligentie niet altijd het bouwen van grotere, complexere systemen vereist. Door een groot taalmodel te gebruiken om hoogwaardige, gestructureerde trainingsdata te generen en die kennis vervolgens te distilleren in een eenvoudiger, single-stream model, hebben de onderzoekers een systeem gecreëerd dat zowel zeer nauwkeurig als efficiënt is. De aanpak bewijst dat een computer de nuance van groepsdynamiek kan begrijpen door te worden geleerd om te zoeken naar specifieke, taalkundig beschreven bewijslast in plaats van alleen naar ruwe visuele patronen. Deze methode biedt een praktisch blauwdruk voor het inzetten van emotieherkenning in real-time omgevingen, van het monitoren van de openbare veiligheid tot het begrijpen van publieksreacties, zonder de zware computationele last die deze technologieën voorheen beperkte.