Nuanced Emotion Recognition Based on a Segment-based MLLM Framework Leveraging Qwen3-Omni for AH Detection

Titel: Nuancering in Emotieherkenning: Een Segment-gebaseerd MLLM-Framework met Qwen3-Omni voor de Detectie van Ambivalentie en Aarzeling

1. Het Probleem

Emotieherkenning in video's is een cruciale taak binnen affectief computing, met name voor toepassingen in digitale gezondheid en gedragsinterventie. Een specifiek en uitdagend probleem is het detecteren van subtiele psychologische toestanden zoals Ambivalentie en Aarzeling (A/H).

• Complexiteit: A/H wordt gekenmerkt door een conflict tussen positieve en negatieve houdingen. Dit manifesteert zich vaak niet als een duidelijke emotie (zoals blijdschap of verdriet), maar als inconsistenties tussen verschillende modaliteiten (bijvoorbeeld een positieve tekst met een aarzelende toon, of fluctuerende gezichtsuitdrukkingen).
• Uitdagingen voor bestaande systemen: Traditionele systemen hebben moeite met het vangen van deze subtiele, cross-modale conflicten.
• Technische beperkingen: Het verwerken van lange video's in Multimodale Grootte Taalmodellen (MLLM's) stuit op beperkingen qua token-limieten en rekenkracht. Bovendien zijn A/H-signalen vaak kort (gemiddeld ~4,29 seconden), waardoor het verwerken van de volledige video veel ruis introduceert.
• Dataset: De auteurs gebruiken de BAH-dataset (1.427 video's van 300 deelnemers), die expert-annotaties bevat op videoniveau en op frame-niveau voor A/H-voorvallen.

2. Methodologie

Het paper presenteert een framework dat bestaat uit drie hoofdstadia, zoals geïllustreerd in Figuur 1 van het paper:

A. A/H-bewuste Video-voorverwerking

• Het framework maakt gebruik van de tijdsannotaties in de BAH-dataset.
• Negatieve labels: Video's zonder A/H worden als geheel bewaard.
• Positieve labels: Video's met A/H worden geknipt op de specifieke tijdsintervallen waar A/H optreedt. Dit verhoogt de dichtheid van relevante signalen en reduceert irrelevante achtergrondinformatie.

B. Segmentatie op Basis van Clips (Temporal Segmentation)

• Om de token-beperkingen van MLLM's te omzeilen en de efficiëntie te verhogen, worden video's opgedeeld in korte clips met een maximale duur van 5 seconden.
• Strategie: Een uniforme schuifvenster-methode wordt toegepast. Clips langer dan 5 seconden worden opgesplitst; zeer korte reststukjes worden verworpen om extreem korte inputs te voorkomen.
• Dit zorgt ervoor dat het model gefocust werkt op lokale, betekenisvolle emotionele vensters.

C. Finetuning van het Multimodale Grootte Taalmodel (MLLM)

• Model: Er wordt gebruik gemaakt van Qwen3-Omni-30B-A3B, een krachtig multimodaal model dat visuele (video-frames) en auditieve (audio) informatie kan integreren.
• Training: Het model wordt gefinetuned op de BAH-dataset met behulp van het MS-Swift framework.
  • Strategieën: Er worden zowel LoRA (Low-Rank Adaptation, parameter-efficiënt) als Full-Parameter Finetuning toegepast.
  • Input: Elke clip wordt omgezet in een multimodale conversatie met video, audio en een specifieke prompt (bijv. "Bevat deze clip A/H?").
  • Output: Het model leert een binair antwoord te geven: <answer>Yes</answer> of <answer>No</answer>.

D. Inferentie en Aggregatie

• Clip-level: Het model voorspelt per clip of A/H aanwezig is.
• Video-level: De uiteindelijke voorspelling voor een hele video wordt bepaald door een max-aggregatieregel: als minstens één clip als positief wordt gelabeld, wordt de hele video als positief beschouwd ($y_{video} = \max(y_i)$).
• Ensemble Strategie: Om de robuustheid te vergroten, worden meerdere modellen (met verschillende finetuning-configuraties) getraind. De finale beslissing wordt genomen via meerderheidsstemming (Majority Voting) over de voorspellingen van deze ensemble-modellen.

3. Belangrijkste Bijdragen

1. Clip-gebaseerde Temporele Modellering: Een eenvoudige maar effectieve strategie om video's op te splitsen in 5-seconde clips. Dit lost het probleem van token-limieten op en focust op de korte tijdsvensters waar A/H-signalen het sterkst zijn.
2. Adaptatie van Qwen3-Omni: Het succesvol toepassen van een state-of-the-art multimodaal groot model (Qwen3-Omni-30B-A3B) voor de specifieke taak van het detecteren van subtiele cross-modale emotionele conflicten.
3. Sterke Empirische Prestaties: Het framework bereikt een aanzienlijke verbetering in prestaties ten opzichte van bestaande baselines, wat de potentie van MLLM's voor complexe emotiedetectie aantoont.

4. Resultaten

De experimenten zijn uitgevoerd op de testset van de BAH-dataset:

• Beste Prestatie: Het ensemble-model (via meerderheidsstemming van verschillende Qwen3-Omni-configuraties) bereikte een nauwkeurigheid (accuracy) van 85,1%.
• Vergelijking:
  • Qwen3-Omni-v1 (LoRA, 1 epoch): 81,9%
  • Qwen3-Omni-v2 (Full finetuning, 2 epochs): 79,8%
  • Qwen3-Omni-v3 (Full finetuning, 3 epochs): 65,3%
  • Ensemble (Majority Vote): 85,1%
• De resultaten tonen aan dat het combineren van meerdere modellen via voting de voorspellingsvariatie verlaagt en de stabiliteit voor ambiguë samples verbetert.

5. Betekenis en Conclusie

Dit onderzoek demonstreert dat Multimodale Grootte Taalmodellen, wanneer gecombineerd met een slimme tijdssegmentatiestrategie, een doorbraak kunnen betekenen in de detectie van complexe en subtiele emotionele toestanden zoals ambivalentie en aarzeling.

• Technische Impact: Het bewijst dat het oplossen van token-beperkingen via segmentatie en het benutten van cross-modale redeneervermogen van grote modellen superieure resultaten oplevert dan traditionele methoden.
• Toepassingspotentieel: De methode biedt een solide technische basis voor het integreren van geavanceerde emotieherkenning in toekomstige systemen voor digitale gezondheid, gedragsanalyse en adaptieve interventies.

De code voor dit project is openbaar gemaakt via GitHub, wat reproducibiliteit en verdere ontwikkeling in de gemeenschap faciliteert.