CREMD: Crowd-Sourced Emotional Multimodal Dogs Dataset

Dit artikel introduceert het CREMD-dataset, een crowd-sourced multimodale verzameling van hondenvideo's die analyseert hoe presentatiemodi en annotatoreigenschappen de betrouwbaarheid en het vertrouwen bij het herkennen van hondengevoelens beïnvloeden.

De kern

Stel je voor dat je een hond ziet die met zijn staart kwispelt. Is hij blij? Of is hij zenuwachtig en aan het trillen? Voor mensen is het soms lastig om de gevoelens van een hond te lezen, net zoals het lastig is om te raden wat een vreemde aan het denken is zonder dat ze iets zeggen.

Deze paper, genaamd CREMD, is als een groot experiment om te ontdekken hoe wij mensen de emoties van honden interpreteren. Het is alsof de onderzoekers een gigantische "gevoels-test" hebben opgezet met honderden filmpjes van honden.

Hier is het verhaal, verteld in simpele taal met een paar creatieve vergelijkingen:

1. Het Grote Experiment: Drie Manieren om te Kijken

De onderzoekers hebben 923 filmpjes van honden verzameld. Ze hebben deze filmpjes op drie verschillende manieren aan mensen laten zien, alsof ze drie verschillende brillen opzetten:

• Bril 1 (De Stille Film): Je ziet alleen de hond, zonder geluid en zonder de omgeving. Het is alsof je naar een foto kijkt zonder te weten wat er om je heen gebeurt.
• Bril 2 (De Stille Film met Achtergrond): Je ziet de hond én de omgeving (bijvoorbeeld een park of een woonkamer), maar het geluid is uitgeschakeld. Je ziet waar de hond is, maar hoort niet wat er gebeurt.
• Bril 3 (De Volledige Ervaring): Je ziet de hond, de omgeving én hoort het geluid (blaffen, gemurmel, gebrul). Dit is de meest complete ervaring.

2. De "Smaaktest" met Mensen

Ze vroegen 23 verschillende mensen om deze filmpjes te bekijken en te zeggen wat de hond voelt (blij, boos, bang, neutraal, etc.). Deze mensen waren een mix van:

• Hondenbezitters (mensen met een eigen hond).
• Professionals (dierenartsen, hondentrainers).
• Mensen zonder hond.
• Mannen en vrouwen.

Het doel was om te zien: Wie raadt het het beste? En helpt het om meer informatie (geluid/achtergrond) te hebben?

3. De Verassende Resultaten (De "Plot Twist")

Je zou denken dat mensen met een eigen hond of professionals de beste "hondentaal" spreken. Maar het experiment leverde een paar verrassende resultaten op:

• De "Stille" Winnaars: Mensen die geen hond hadden, en mannen, waren het vaakst met elkaar eens over wat de hond voelde.
  • De Vergelijking: Het is alsof je een schilderij bekijkt. Mensen die geen eigen hond hebben, kijken misschien meer naar de "grote lijnen" (bijv. "die staart zwaait hard, dus hij is blij"). Mensen met een eigen hond kijken misschien te diep in de details en denken: "Oh, die staart zwaait, maar zijn oren staan anders, misschien is hij toch zenuwachtig?" Die extra diepgang zorgt ervoor dat ze minder snel met elkaar overeenkomen.
• De Professionals: Dierenexperts (zoals trainers) waren het ook heel erg met elkaar eens. Zij hebben een soort "handleiding" in hun hoofd door hun werkervaring.
• Het Geluid: Geluid (blaffen, gebrul) maakte mensen zelfverzekerder. Ze durfden sneller te zeggen: "Die hond is boos!" of "Die hond is bang!". Maar of het geluid hen juister maakte, was lastig te zeggen omdat er niet genoeg schone geluiden in de filmpjes zaten.

4. Waarom is dit belangrijk?

Stel je voor dat je een robot wilt bouwen die de gevoelens van honden kan begrijpen (voor dierenartsen of om te helpen bij het opvoeden van honden).

• Als je die robot alleen traint op filmpjes zonder geluid, zal hij misschien verwarrend zijn.
• Als je die robot traint op filmpjes met geluid en context, wordt hij slimmer.
• Maar het belangrijkste lesje is: Wie kijkt er? Als je alleen kijkt naar wat hondenbezitters zeggen, krijg je misschien een heel ander beeld dan als je kijkt naar wat experts of mensen zonder hond zeggen.

Conclusie in één zin

Deze studie laat zien dat het lezen van hondenemoties net zo complex is als het lezen van een boek: je hebt de tekst (de hond), de illustraties (de omgeving) en soms de geluidseffecten (het blaffen) nodig om het verhaal goed te begrijpen, en het maakt uit wie het verhaal voorleest.

De onderzoekers hopen dat hun dataset (CREMD) als een soort "woordenboek" dient voor toekomstige wetenschappers en computers, zodat we honden beter kunnen begrijpen en voor ze kunnen zorgen.

Technische samenvatting

Probleemstelling

Het herkennen van hondenemoties is cruciaal voor het verbeteren van mens-dierinteracties, veterinaire zorg en de ontwikkeling van geautomatiseerde systemen voor het monitoren van het welzijn van honden. Echter, het nauwkeurig interpreteren en valideren van hondenemoties blijft een grote uitdaging vanwege:

1. Subjectiviteit: Emotionele beoordelingen zijn inherent subjectief.
2. Gebrek aan standaardisatie: Er ontbreken gestandaardiseerde methoden om "ground truth" (de feitelijke waarheid) vast te stellen in datasets voor emotionele herkenning.
3. Beperkt inzicht: Bestaande studies onderzoeken vaak niet systematisch hoe verschillende presentatiemodi (context, audio, video) en kenmerken van de annotator (bezit van een hond, geslacht, professionele ervaring) de perceptie en labeling beïnvloeden.

Methodologie

De auteurs introduceerden CREMD (Crowd-sourced Emotional Multimodal Dogs Dataset), een uitgebreide dataset ontworpen om deze lacunes op te vullen.

• Dataverzameling:

  • Er zijn video's geselecteerd van platforms zoals YouTube, TikTok, Instagram en Pexels.
  • Na filtering en opschoning bleven 923 unieke videoclips over van 351 unieke honden.
  • De clips zijn onderverdeeld in drie presentatiemodi om de invloed van context en audio te testen:
    1. NCNA (No Context, No Audio): Video zonder geluid en zonder context (alleen de hond, geselecteerd met YOLOv8m).
    2. YCNA (Yes Context, No Audio): Video met visuele context maar zonder geluid.
    3. YCYA (Yes Context, Yes Audio): Originele video met zowel visuele context als geluid.
  • Opmerking: Een "No Context, Yes Audio" (NCYA) conditie werd weggelaten vanwege de ontoereikende beschikbaarheid van schone, geïsoleerde hondengeluiden in publieke video's.

• Annotatieproces:

  • Deelnemers: 23 annotatoren (16 hondenbezitters, 7 niet-bezitters; 8 professionals, 15 niet-professionals; 13 vrouwen, 10 mannen).
  • Tool: Een aangepast web-based annotatietool (React.js/Firebase) werd ontwikkeld om striktere kwaliteitscontroles mogelijk te maken dan standaardplatforms zoals Amazon Mechanical Turk.
  • Taak: Annotatoren bekeken clips en selecteerden één of meer emotielabels (o.a. angst, blij, boos, neutraal) met een intensiteitsschaal van 1 tot 5.
  • Aantal annotaties: Er werden in totaal 12.794 unieke annotaties verzameld, met gemiddeld meer dan 12 annotaties per video.

Belangrijkste Bijdragen

1. Nieuwe Dataset: CREMD is de eerste dataset die systematisch de interactie tussen multimodale presentatie (context/audio) en demografische kenmerken van annotatoren onderzoekt bij hondenemoties.
2. Ground Truth Strategie: Een innovatieve aanpak voor het vaststellen van ground truth door gebruik te maken van diverse annotatiegroepen en multimodale presentaties.
3. Analyse van Factoren: Een grondige analyse van hoe context, audio en demografie (geslacht, bezit, professionaliteit) invloed hebben op zowel de overeenstemming (agreement) als het zelfvertrouwen van annotatoren.
4. Inzicht voor ML: Levering van inzichten in de uitdagingen en kansen voor het trainen van machine learning-modellen voor geautomatiseerde hondenemotieherkenning.

Resultaten en Bevindingen

1. Invloed van Modality (Context en Audio):

• Visuele Context: Het toevoegen van visuele context (YCNA en YCYA) verbeterde de overeenstemming tussen annotatoren significant in vergelijking met clips zonder context (NCNA).
• Audio: De resultaten over de invloed van audio op overeenstemming waren inconclusief vanwege de experimentele beperkingen (geen NCYA-conditie en beperkte schone audio).
• Zelfvertrouwen: De aanwezigheid van audio verhoogde wel het zelfvertrouwen van annotatoren bij het identificeren van specifieke, intense emoties, met name boosheid en angst.

2. Demografische Invloeden op Overeenstemming:
De analyse leverde enkele tegenintuïtieve resultaten op:

• Hondenbezitters vs. Niet-bezitters: Niet-bezitters toonden een hogere overeenstemming dan bezitters. Bezitters lijken meer subjectieve projecties te maken op basis van hun eigen ervaringen, wat leidt tot meer variatie in interpretatie.
• Geslacht: Mannen toonden een hogere overeenstemming dan vrouwen. Vrouwen lijken subtielere emotionele nuances waar te nemen, wat resulteert in een grotere diversiteit aan interpretaties en dus lagere statistische overeenstemming.
• Professionals: Professionele annotatoren (trainers, verzorgers) toonden de hoogste overeenstemming, wat overeenkomt met de hypothese dat ervaring leidt tot objectievere en consistentere interpretaties van hondengedrag.

3. Emotie-distributie:

• Zonder context (NCNA) werd vaak "Neutraal" gekozen.
• Met context verschuift de labeling naar specifiekere emoties (blij, boos, angst).
• Met audio (YCYA) werd "Boosheid" dominant, waarschijnlijk door duidelijke auditieve signalen zoals gebrom.

Significantie en Conclusie

Het CREMD-project benadrukt dat de achtergrond van de waarnemer en de manier waarop data wordt gepresenteerd, een grote invloed hebben op de interpretatie van hondenemoties.

• Voor de wetenschap: De dataset biedt een fundamentele bron voor toekomstig onderzoek, zowel in gedragswetenschappen als in computationele modellering.
• Voor AI-ontwikkeling: De bevindingen suggereren dat modellen voor emotionele herkenning mogelijk baat hebben bij een hybride annotatiestrategie. Het combineren van de intuïtieve, emotioneel gevoelige perspectieven (vaak van vrouwen en bezitters) met de gestructureerde, objectieve oordelen van professionals, zou kunnen leiden tot robuustere en ecologisch valide datasets.
• Ethiek: De auteurs benadrukken de noodzaak van transparantie over annotatordemografie en waarschuwen voor het risico van bias in modellen die niet zijn getraind met diverse perspectieven.

Kortom, CREMD levert een waardevol inzicht dat de complexiteit van hondenemotieherkenning vergroot en de weg effent voor nauwkeurigere, ethisch onderbouwde tools voor mens-dierinteractie.