Technische Samenvatting: PRISM-AH

Probleemdefinitie

Het artikel behandelt de uitdaging van het herkennen van Ambivalentie en Hestitatie (A/H) in video-gebaseerde interventies voor gedragsverandering in de gezondheidszorg. A/H vertegenwoordigt een conflicterende affectieve staat tussen positieve en negatieve oriëntaties ten opzichte van een actie, wat vaak leidt tot het uitstellen of staken van gedragsverandering.

De kern van de moeilijkheid ligt in de aard van het bewijs:

• Sparsity en Localisatie: Discriminatieve aanwijzingen zijn schaars en gelokaliseerd in de tijd, in plaats van uniform verdeeld over een video.
• Cross-Channel Discrepantie: Het meest betrouwbare bewijs ontstaat vaak uit conflicten tussen modaliteiten (bijv. verbale bevestiging vergezeld door een afgewende blik) in plaats van sterke signalen binnen één enkel kanaal.
• Individuele Variabiliteit: Individuen vertonen aarzeling op verschillende manieren, en de geannoteerde corpus (de Behavioural Ambivalence/Hesitancy of BAH benchmark) is beperkt in omvang.
• Beperkingen van Standaard Fusie: De directe toepassing van standaard multimodale fusie op dichte per-frame features levert een lage nauwkeurigheid op, omdat het poolen van features de temporele localiteit verzwakt en faalt in het vastleggen van cross-channel discrepantie.

Methodologie: PRISM-AH

Het voorgestelde framework, PRISM-AH (Predictive Reasoning over Interacting Streams for Multimodal Ambivalence / Hesitancy recognition), wijkt af van standaard feature fusie. In plaats daarvan herformuleert het de taak als kennisgestuurde redenering over gestructureerd, tijdgestempeld multimodaal bewijsmateriaal. De architectuur bestaat uit twee primaire stadia:

1. Gestructureerde Bewijsextractie (Discriminatief Netwerk)

Een lichtgewicht multimodaal netwerk verwerkt video-vensters (0,5 seconden) om een compacte, interpreteerbare samenvatting te genereren in plaats van een enkele gepoolde vector.

• Encoders: Bevroren foundation encoders worden gebruikt voor elke modaliteit:
  • Visie: CLIP-familie ViT voor gezichtframes.
  • Audio: WavLM voor spraak.
  • Tekst: MPNet voor transcripten.
  • Prosodie/Disfluency: Expliciete descriptoren (pitch, energie, pauzes, hedges, etc.) worden per venster berekend.
• Interaction Hub: Kanalen worden geprojecteerd naar een gedeelde dimensie en gemoduleerd door participant metadata via Feature-wise Linear Modulation (FiLM). Een stapel interactieblokken gebruikt cross-attention en temporele zelf-attention om kanalen te koppelen.
• Signaalgeneratie: Het netwerk genereert specifieke signalen om het bewijs te verrijken:
  • Conflict Score: Meet expliciet cross-channel discrepantie via pairwise cosine dissonance ($d_{va}, d_{v\tau}, d_{a\tau}$).
  • Hesitation Surprise: Een predictief component (geïnspireerd door JEPA) anticipeert op de volgende hub-staat; voorspellingsfouten signaleren breuken in de gedragscontinuïteit.
  • Prototype Matching: Een bank van leerbare prototypes wijst interpreteerbare patroonlabels toe aan vensters.
• Output: Het netwerk produceert een video-niveau discriminatieve waarschijnlijkheid en een gestructureerde bewijssamenvatting die timestamps, dominante modaliteiten, conflict scores en transcriptsegmenten bevat.

2. Kennisgestuurde Redenering en Late Fusie

Een Large Language Model (LLM) fungeert als een redeneerder, die op een zero-shot wijze opereert op het gestructureerde bewijsmateriaal.

• Prompting: De LLM ontvangt de bewijssamenvatting onder een prompt die de expert cue taxonomie van de BAH benchmark expliciet codeert. Dit biedt de benodigde domeinkennis om subtiele aanwijzingen te interpreteren.
• Verdict: De LLM geeft een oordeel met een betrouwbaarheidsscore en een rationale die beslissende momenten aanhaalt.
• Fusie: De redeneerwaarschijnlijkheid ($q$) wordt gecombineerd met de discriminatieve waarschijnlijkheid ($p$) via convexe late fusie: $p_{final} = (1 - \omega)p + \omega q$. De gewichtsfactor $\omega$ en de drempelwaarde worden gekalibreerd op de validatie-partitie om de macro F1 te maximalen.

Belangrijkste Bijdragen

1. Herformulering van de Taak: Het werk verschuift van dichte feature fusie naar redeneren over gestructureerd, tijdgestempeld bewijsmateriaal, waarbij een macro F1 van 0,6324 wordt bereikt op de private testpartitie (een 2,24× verbetering ten opzichte van de zero-shot baseline van 0,2827).
2. Kennisgestuurde Redeneerlaag: De introductie van een LLM-redeneerder die bewijs interpreteert onder een expliciete codering van de expert cue taxonomie. Gecontroleerde studies bevestigen dat de gecodeerde taxonomie het essentiële ingrediënt is voor prestatiewinst; het verwijderen ervan elimineert de verbetering.
3. Rigoureuze Empirische Analyse: Een gecontroleerde studie over drie seeds kwantificeert de bijdragen van modaliteiten en robuustheid. Het identificeert taal als de primaire drijfveer van voorspellende prestaties en toont aan dat conditionering op participant-attributen niet overdraagbaar is naar participant-disjoint partities.

Experimentele Resultaten

• Prestaties: Op de private testpartitie bereikt PRISM-AH een macro F1 van 0,6324. Op de publieke testpartitie bereikt het discriminatieve netwerk alleen 0,5790, wat verbetert naar 0,6133 met de toevoeging van kennisgestuurde redenering.
• Noodzaak van de Redeneerlaag:
  • Modelcapaciteit: Een model met 7B parameters leverde geen verbetering op (fusiegewicht = 0), terwijl een 14B model de score verhoogde naar 0,6070, wat duidt op een behoefte aan voldoende redeneercapaciteit.
  • Prompt Ablatie: Het verwijderen van de expert cue taxonomie uit de prompt elimineerde de winst (terugkeer naar 0,5825), terwijl het verwijderen van het gestructureerde bewijs de winst behield (0,6147). Dit suggereert dat de domeinkennis kritischer is dan het specifieke bewijsformaat voor de redeneerder.
• Modale Analyse:
  • Single-modality modellen (Visie, Audio, Tekst) presteerden vergelijkbaar (macro F1 ~0,55–0,56).
  • Taaldominantie: Het verwijderen van het taal kanaal veroorzaakte de grootste prestatiedegradatie (0,5735 $\to$ 0,4982), wat bevestigt dat tekst het beslissende kanaal is.
  • Participant Conditionering: Het verwijderen van metadata-conditionering verbeterde de publieke testscore feitelijk (0,5570 $\to$ 0,6140), wat aangeeft dat participant-attributen passen bij de trainingsdistributie maar niet generaliseren naar onbekende individuen.
• Robuustheid: Het systeem vertoonde smalle prestatiekloven tussen gender- en leeftijdssubgroepen.

Betekenis en Claims

Het artikel claimt dat de primaire bron van prestatieverbetering de kennisgestuurde redeneerlaag is, specif gezien de expliciete codering van de expert cue taxonomie. De studie suggereert dat voor taken waarbij bewijs schaars, gelokaliseerd en gedefinieerd wordt door cross-modale conflict, het distilleren van video naar gestructureerd bewijs en het toepassen van domeingrondige redenering effectiever is dan het fuseren van dichte features.

De auteurs concluderen dat een compact discriminatief backbone te prefereren is, aangezien hulp-structurele signalen (conflict scores, verrassingssignalen) slechts marginaal bijdroegen in de discriminatieve setting. De meest veelbelovende richting voor toekomstige verbetering wordt geïdentificeerd als sterkere taal-grounding, consistent met de bevinding dat taal het beslissende kanaal is voor A/H herkenning. De aanpak vermijdt een overmatige afhankelijkheid van participant-specifieke conditionering en geeft de voorkeur aan een configuratie die generaliseert naar onbekende individuen.