MEGC2026: Micro-Expression Grand Challenge on Visual Question Answering

Het MEGC2026-challenge introduceert twee nieuwe taken, namelijk micro-expressie video-vraagbeantwoording (ME-VQA) en langdurige video-vraagbeantwoording (ME-LVQA), om de analyse van micro-expressies met behulp van multimodale grote taalmodellen te bevorderen.

De kern

Stel je voor dat je gezicht een heel gevoelige weegschaal is. Meestal zien we alleen de grote, duidelijke gewichten: een brede glimlach, een frons van verdriet, of een verbaasde mond. Maar soms, als iemand probeert zijn echte gevoelens te verbergen (bijvoorbeeld in een spannende situatie), schiet er een heel klein, onbeduidend gewichtje op de weegschaal. Dit noemen we een micro-uitdrukking.

Deze micro-uitdrukkingen zijn als een snelle flits van een bliksem: ze duren minder dan een halve seconde (minder dan 500 milliseconden) en zijn zo subtiel dat het menselijk oog ze vaak mist.

Dit artikel gaat over een grote wedstrijd, genaamd MEGC 2026, waar kunstmatige intelligentie (AI) wordt uitgedaagd om deze "flitsen" te zien en te begrijpen. Het is de 9e editie van deze wedstrijd, en dit jaar is het een stuk spannender dan ooit tevoren.

Hier is hoe het werkt, vertaald naar simpele taal:

1. De Oude Manier vs. De Nieuwe Manier

Vroeger vroegen computers aan AI: "Zie je hier een boze blik?" of "Welke spier beweegt?". De AI gaf een simpel ja/nee of een categorie.

Dit jaar is de wedstrijd veranderd. In plaats van simpele vragen, krijgen de AI-modellen nu een gesprek met een video. Het is alsof je een detective bent die een video bekijkt en een vriend vraagt: "Wat zie je hier precies gebeuren? Waarom lijkt die persoon even bang, en wat zegt zijn mondhoeken?"

De AI moet niet alleen kijken, maar ook redeneren en antwoorden in gewoon menselijk taal. Dit heet VQA (Video Question Answering).

2. De Twee Uitdagingen (De Spellen)

De wedstrijd heeft twee verschillende levels, net als in een videogame:

Level 1: De Snelle Flash (ME-VQA)

Stel je voor dat je een korte filmclip ziet van 5 seconden. Iemand probeert zijn emotie te verbergen, maar er ontsnapt een flitsje.

• De taak: De AI moet een vraag beantwoorden over die korte clip. Bijvoorbeeld: "Zie je een micro-uitdrukking van angst?" of "Beschrijf wat er met de wenkbrauwen gebeurt."
• Het probleem: De huidige AI-modellen (zoals slimme robot-hersenen) zijn goed in grote dingen, maar ze zijn nog wat slordig met deze hele kleine, snelle details. Ze zien soms wel dat iemand "niet blij" is, maar ze missen het specifieke verschil tussen "bang" en "boos".

Level 2: De Lange Reis (ME-LVQA)

Dit is de nieuwe, moeilijke uitdaging. Stel je voor dat je niet naar een korte clip kijkt, maar naar een hele lange film van een gesprek dat 10 minuten duurt.

• De taak: De AI moet in die lange film de kleine flitsen vinden. Het moet kunnen zeggen: "Op minuut 3:15 was er een micro-uitdrukking van verdriet, en op minuut 7:20 was er een grote boze uitbarsting."
• Het probleem: Dit is als het zoeken naar een naald in een hooiberg, terwijl de hooiberg ook nog eens beweegt. De AI moet zich herinneren wat er eerder gebeurde, onderscheid maken tussen normale gezichten en die ene snelle flits, en alles samenvoegen tot een goed antwoord. De huidige robots vinden dit nog erg lastig; ze raken de draad kwijt in de lange video's.

3. Wat hebben ze geprobeerd? (De Robots)

De onderzoekers hebben twee zeer slimme AI-modellen getest (noem ze Robot A en Robot B). Ze hebben deze robots eerst "in het wild" gelaten (zonder training) en ze daarna een beetje getraind met voorbeelden.

• Het resultaat: De robots waren redelijk goed in het zien van grote emoties (zoals "hij is blij"). Maar zodra het ging om de micro-dingen (die snelle flitsjes), faalden ze bijna volledig.
• De les: Het is alsof je een kind vraagt om de tekst in een boek te lezen. Het kind kan de titel zien ("HAPPY"), maar het ziet de kleine letters in de voetnoot niet. De robots moeten nog veel meer leren om die subtiele details te begrijpen.

4. Waarom is dit belangrijk?

Je vraagt je misschien af: "Waarom willen we dit weten?"

Stel je voor dat je een politieagent bent die een verdachte ondervraagt, of een psycholoog die iemand helpt met trauma's. Soms zeggen mensen "Ik ben oké", maar hun gezicht vertelt een ander verhaal. Als AI deze micro-flitsen kan zien en begrijpen, kan het ons helpen om:

• Eerlijkheid te detecteren in belangrijke situaties.
• Mensen beter te helpen bij mentale gezondheid.
• Computers te maken die echt "menselijk" kunnen voelen wat we voelen, zelfs als we het niet zeggen.

Conclusie

De MEGC 2026 is een grote oproep aan de wereld van technologie: "Kom op, we hebben jullie slimme hersenen nodig om die kleine, snelle flitsen op gezichten te zien en te begrijpen!"

Het is nog niet zover dat de robots perfect zijn (ze maken nog veel fouten), maar dit jaar is een enorme stap vooruit. Het is de eerste keer dat we AI vragen om niet alleen te kijken, maar ook te denken en te praten over die subtiele menselijke gevoelens.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "MEGC2026: Micro-Expression Grand Challenge on Visual Question Answering" in het Nederlands.

Titel: MEGC2026: Grote Uitdaging voor Micro-Expressies op het Gebied van Visuele Vraagbeantwoording (VQA)

Auteurs: Xinqi Fan, Jingting Li, John See, Moi Hoon Yap, Su-Jing Wang, Adrian K. Davison.
Context: Dit paper introduceert de 9e editie van de Micro-Expression Grand Challenge (MEGC), gehouden in samenwerking met de Face and Gesture (FG) 2026 conferentie.

---

1. Het Probleem

Micro-expressies (ME's) zijn onvrijwillige gezichtsbewegingen die optreden wanneer iemand probeert een emotie te onderdrukken, vaak in hoog-risico situaties. Ze duren zeer kort (meestal < 500 ms) en zijn moeilijk te detecteren. Hoewel er vooruitgang is geboekt in het herkennen, spotten en genereren van ME's, blijft de interpretatie en analyse van deze subtiele signalen een uitdaging.

De huidige beperkingen zijn:

• Korte duur en subtiliteit: ME's zijn moeilijk te onderscheiden van normale gezichtsbewegingen.
• Beperkte datasets: Er zijn slechts een paar spontane datasets beschikbaar.
• Interpretatie: Traditionele methoden focussen vaak op statische classificatie, terwijl er behoefte is aan meer menselijke interactie en interpretatie via natuurlijke taal.
• Lange video's: Bestaande methoden werken goed op korte clips, maar falen vaak bij het analyseren van ME's in lange, realistische video's waar temporale redenering vereist is.

2. Methodologie en Taken

Het paper introduceert twee nieuwe taken die gebruikmaken van Multimodale Groot Taalmodellen (MLLMs) en Groot Visueel-Taalmodellen (LVLMs):

Taak 1: ME-Video Vraagbeantwoording (ME-VQA)

• Doel: Het beantwoorden van vragen over korte video-sequenties met micro-expressies.
• Input: Een korte video-clip en een natuurlijke taal-vraag.
• Output: Een tekstueel antwoord dat de waargenomen ME's, hun attributen (bijv. actie-eenheden) en gerelateerde informatie beschrijft.
• Vraagtypes: Variëren van binaire classificatie ("Is er een liphoek-verdrukker zichtbaar?") tot complexe analyses ("Geef een gedetailleerde analyse van de micro-expressie").
• Dataset: Een aangepaste versie genaamd ME-VQA-v2, gebaseerd op SAMM, CASME II en SMIC, met nieuwe vraag-antwoordparen.

Taak 2: ME-Lange Video Vraagbeantwoording (ME-LVQA)

• Doel: Uitbreiding van VQA naar lange video's in realistische, natuurlijke omgevingen.
• Uitdaging: Het model moet temporale redenering toepassen over lange periodes, ME's onderscheiden van macro-expressies (MaE) en subtiele veranderingen detecteren te midden van normale gezichtsbewegingen.
• Vraagtypes:
  • Event telling: Aantal expressies, ME's of MaE's.
  • Categorisatie: Is een specifiek gebeurtenis een ME of een MaE?
  • Attribuutanalyse: Welke actie-eenheden (AU's) treden op?
• Dataset: Een nieuw getoetst set met 30 lange video's (10 van SAMM Challenge, 20 van CAS(ME)3).

3. Belangrijkste Bijdragen

1. Introductie van ME-LVQA: Dit is een volledig nieuwe taak die de complexiteit van ME-analyse in lange video's introduceert, wat een stap vooruit is ten opzichte van de traditionele korte clips.
2. Multimodale Benadering: Het paper verschuift de focus van puur visuele classificatie naar een interactieve, taalgebaseerde analyse, wat de interpretatie en flexibiliteit van ME-systemen verbetert.
3. Benchmarking van State-of-the-Art Modellen: Het biedt een uitgebreide evaluatie van moderne LVLMs (Qwen2.5VL-3B en Qwen3VL-4B) op deze specifieke taken, inclusief zero-shot en fine-tuning prestaties.
4. Datasets: Publicatie van de ME-VQA-v2 en ME-LVQA datasets met aangepaste vraag-antwoordparen voor training en evaluatie.

4. Resultaten

De basismethoden (Qwen2.5VL-3B en Qwen3VL-4B) werden getest in zowel zero-shot (ZS) als fine-tuning (FT) settings.

• ME-VQA Resultaten:

  • Prestatie: De modellen tonen matige prestaties bij grove emotie-classificatie (Positief, Negatief, Verrassing), maar falen bijna volledig bij fijne-granulariteit (bijv. angst, walging, boosheid). De UF1-scores voor fijne-granulariteit liggen vaak dicht bij nul.
  • Taal vs. Classificatie: Fine-tuning verbetert de kwaliteit van de gegenereerde tekst (BLEU en ROUGE-scores) aanzienlijk, maar leidt niet tot een evenredige verbetering in de nauwkeurigheid van de emotionele classificatie.
  • Conclusie: Grote modellen kunnen basisemoties onderscheiden, maar hebben moeite met de subtiele nuances van micro-expressies.

• ME-LVQA Resultaten:

  • Prestatie: Er is een significante daling in prestaties vergeleken met de korte clips-taak.
  • Fouten: De fouten bij het tellen van gebeurtenissen (MAE/RMSE) en het herkennen van AU's blijven hoog, zelfs na fine-tuning.
  • Beperkingen: De fine-tuning was beperkt tot slechts 10 proefpersonen (5 van SAMM, 5 van CAS(ME)3) vanwege rekenkracht. Dit leidt waarschijnlijk tot overfitting op specifieke identiteiten in plaats van het leren van robuuste temporale dynamiek.
  • Uitdaging: Temporale lokalisatie en het modelleren van subtiele gezichtsbewegingen over lange tijd blijven grote knelpunten.

5. Betekenis en Toekomstperspectief

Dit paper markeert een belangrijke verschuiving in het onderzoek naar micro-expressies:

• Van Classificatie naar Redenering: Het benadrukt dat toekomstige systemen niet alleen moeten classificeren, maar ook moeten kunnen redeneren over gebeurtenissen in tijd en taal.
• Realistische Toepassingen: De introductie van lange video's (LVQA) brengt de research dichter bij real-world scenario's, zoals beveiliging of klinische diagnostiek, waar ME's zeldzaam zijn binnen lange video's.
• Behoefte aan Data: De resultaten tonen aan dat huidige LVLMs beperkt zijn door de schaarste aan diverse, hoogwaardige trainingsdata. Er is een dringende behoefte aan grotere datasets met meer proefpersonen om identiteitsonafhankelijke patronen te leren.
• Richting voor Onderzoek: Het paper daagt de gemeenschap uit om modellen te ontwikkelen die beter kunnen omgaan met temporale afhankelijkheden en subtiele visuele details in lange sequenties.

Samenvattend biedt MEGC2026 een nieuw raamwerk om de grenzen van multimodale AI in de emotionele analyse te testen, met een duidelijke focus op de overgang van korte clips naar complexe, lange video-analyse via natuurlijke taal.