Simple Features and Honest Calibration for Ambivalence and Hesitancy Recognition in Video
Dit artikel presenteert een systeem voor het herkennen van ambivalentie en aarzeling in video-interviews dat gebruikmaakt van ASR-geëraseerde tijdsfeatures en affect-gespecialiseerde multimodale fusie, waarmee wordt aangetoond dat eenvoudige AP-gewogen ensembling met eerlijke kalibratie complexe architecturen en overfitte validatiestrategieën overtreft op de ABAW 2026 BAH Challenge.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen: Is deze persoon verdeeld tussen twee keuzes, of is hij gewoon aan het twijfelen? De aanwijzingen zijn verborgen in een korte video van iemand die vragen beantwoordt tijdens een interview. Dit papier is het rapport van de detective over hoe hij de zaak kraakte met een nieuwe set hulpmiddelen, en belangrijker nog, wat niet werkte.
Het Grote Mysterie: Het Vinden van de "Wobble"
Het doel was om Ambivalentie en Twijfel (A/H) op te sporen—dat interne gevoel van "ik weet het niet zeker" waarbij een persoon in twee richtingen wordt getrokken. Het team testte hun detectievevaardigheden op een dataset genaamd BAH, die 1.427 video's bevat van 300 verschillende mensen. Ze moesten raden of de persoon in de video tekenen vertoonde van onzekerheid.
De "Magische" Aanwijzing: De Geest in het Transcript
De grootste verrassing? Het team vond een "geest"-signaal waar niemand anders naar keek.
Stel je een spraak-naar-tekst robot voor (een ASR) die luistert naar de video. Zijn taak is om de woorden op te schrijven. Om de tekst schoon te maken, verwijdert de robot "um", "uh" en lange pauzes. Maar hier is de truc: het kan de tijd die deze klanken innamen niet verwijderen.
Het team realiseerde zich dat zelfs al zijn de woorden "um" verdwenen, de lege ruimte waar ze vroeger zaten nog steeds aanwezig is in de tijdstempels. Ze bouwden een nieuw hulpmiddel genaamd "ASR-erased time." Het meet de gaten tussen de resterende woorden.
- Waarom het cool is: Dit gat-metende hulpmiddel bleek de sterkste non-verbale aanwijzing te zijn die ze vonden. Het scoorde een AP van 0.718 (een maatstaf voor hoe goed de aanwijzing is).
- De onafhankelijkheid: Het was zo uniek dat het nauwelijks overeenkwam met enige andere aanwijzing (slechts 0.11–0.36 correlatie). Het was alsof ze een vingerafdruk hadden gevonden die geen enkele andere detective ooit had gezien.
De "Tekst" is de Ster, het Gezicht is een Bijrol
Het team testte drie hoofdtypes aanwijzingen: Tekst (wat ze zeiden), Audio (hoe ze klonken) en Video (hoe hun gezicht eruitzag).
- Tekst is Koning: De woorden die mensen gebruikten, waren bij voorbaat de beste aanwijzing. Wanneer ze een speciaal tekstmodel gebruikten dat getraind was op emoties, scoorde dit een AP van 0.811. Zelfs een simpele lijst van "twijfelmarkers" (zoals het tellen van hoe vaak iemand "maar" of "misschien" zei) was bijna even goed (AP 0.800).
- Audio is de Runner-up: Als het audiomodel specifiek getraind was om emoties te detecteren (en niet alleen spraak), was het nuttig (AP 0.764). Maar als ze een algemeen spraakmodel gebruikten, was het bijna nutteloos.
- Video is de Strijdende Bijrol: Dit was een harde waarheid. Hoe meer ze ook probeerden—of het nu met fancy gezichtsscanmodellen, het volgen van oogbewegingen of het kijken naar wenkbrauw-wiegjes was—de video-aanwijzingen bleven zwak. Ze schommelden rond een AP van 0.63 tot 0.67. Het papier suggereert dat de computer, met slechts 778 trainingsvideo's, de subtiele gezichtssignalen van twijfel simpelweg niet kon leren. Het gezicht gaf niet genoeg informatie.
De "Conflict" Valstrik: Wat Niet Werkte
Veel vorige detectives dachten dat de sleutel tot het oplossen hiervan lag in het zoeken naar conflict tussen de kanalen. Ze dachten: "Als de tekst 'ja' zegt maar het gezicht ziet eruit als 'nee', dan is dat twijfel!"
Het team testte dit idee door een "conflictmachine" te bouwen die naar deze onenigheden zocht.
- Het resultaat: Het hielp niet. Of ze nu naar conflicten zochten, ze negeerden of de data anders verdeelden, de resultaten veranderden nauwelijks (minder dan 0.05 verandering). Het papier sluit "conflict design" expliciet uit als het geheime wapen. Het signaal zat niet in de botsing tussen de kanalen; het zat simpelweg in de tekst en de gaten.
De "Overfitting" Valstrik: Bedrijf niet op de Test
Hier is de belangrijkste les over hoe ze wonnen.
Het team had een kleine groep van 124 video's om op te oefenen (de validatieset) en een grotere groep van 525 video's voor de echte test.
- De Fout: Als je probeert je "knoppen" (gewichten en drempelwaarden) specifiek af te stemmen om de hoogste score op de oefenset te krijgen, ben je aan het valsspelen. Het team probeerde dit, en hun score op de oefenset was een glimmende 0.741, maar toen ze de echte test deden, stortte het naar 0.690 in. Dit heet overfitting—het uit het hoofd leren van de oefenvragen in plaats van de les te leren.
- De Fix: Ze stopten met het afstemmen van de knoppen. In plaats daarvan gebruikten ze een eenvoudige, vaste regel: 0.5 (een 50/50 goklijn) en wezen ze de aanwijzingen gewicht toe op basis van hoe accuraat ze historisch gezien waren (AP-weging).
- De Winst: Door vast te houden aan deze eenvoudige, eerlijke regel, sprong hun score op de echte test naar 0.731. Dit versloeg de vorige winnaar (die 0.694 scoorde).
De Eindscorekaart
Het team combineerde zes verschillende "detectives" (modellen) tot één team.
- Het resultaat: Hun definitieve systeem scoorde een 0.731 Macro-F1 op de publieke test.
- Hoe zeker zijn ze? Ze voerden een statistische controle uit (een "bootstrap") en vonden dat er een 97% kans is dat hun score daadwerkelijk beter is dan de 0.694 van de vorige winnaar. Het is een sterke voorsprong, maar geen gegarandeerde lock.
De Conclusie
Het papier concludeert dat om twijfel op te sporen, je moet luisteren naar de woorden en de stilte tussen hen in, niet naar het gezicht.
- Probeer niet de computer te dwingen om "conflict" te vinden tussen de ogen en de mond; dat werkt niet goed hier.
- Vertrouw op de tekst en de "geest"-tijd gaten die achterblijven na spraakherkenning.
- Wees eerlijk in je testen: pas je instellingen niet aan om er goed uit te zien op de oefentest, want dan faal je op de echte test.
Het systeem van het team is een eenvoudige, één-opdracht-script die bewijst dat de beste manier om een mysterie op te lossen soms niet met een supercomplexe machine is, maar met een eenvoudige, eerlijke blik op de gaten in het verhaal.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.