Technische Samenvatting: Pijn in 3D

Probleemstelling

Geautomatiseerde pijnbeoordeling op basis van gezichtsuitdrukkingen is cruciaal voor het monitoren van niet-communicatieve patiënten (bijv. mensen met dementie of cognitieve beperkingen). De voortgang wordt echter ernstig belemmerd door twee primaire knelpunten:

1. Dataschaarste en onbalans: Ethische beperkingen voorkomen het opwekken van hevige pijn bij diverse deelnemers voor dataverzameling. Bijgevolg zijn bestaande benchmarks zoals de UNBC-McMaster klein, missen ze demografische diversiteit en lijden ze aan extreme klasse-onbalans waarbij frames met een hoge intensiteit van pijn zeldzame uitschieters zijn.
2. Beperkingen van generatieve modellen: Huidige generatieve benaderingen (bijv. GAN-inversie, prompt-gebaseerde diffusie) worstelen met het bieden van de precieze klinische controle die vereist is voor pijnbeoordeling. Ze slagen er vaak niet in om specifieke Facial Action Units (AUs) te targeten die gedefinieerd zijn door het Facial Action Coding System (FACS), of om overeenstemming met de Prachin en Solomon Pain Intensity (PSPI)-metriek te garanderen. Bov�keren veel standaard trainingsdatasets ook geen annotaties voor kritieke pijn-gerelateerde AUs (specifiek AU7 en AU43), en 2D-gebaseerde methoden missen de geometrische consistentie die nodig is voor multi-view robuustheid.

Methodologie

1. De 3DPain Dataset Generatiepijplijn

De auteurs introduceren 3DPain, een grootschalige synthetische dataset bestaande uit 82.500 frames over 2.500 unieke identiteiten. De generatie volgt een driefasige controleerbare pijplijn die is ontworpen om anatomische consistentie, demografische diversiteit en precieze AU-controle te waarborgen:

• Fase 1: 3D Mesh en Diepteconditiering:
  • Diverse neutrale 3D-gezichtsmeshes worden gesampled met behulp van het FLAME parametrische model, wat een breed spectrum aan leeftijden, geslachten en etniciteiten dekt.
  • Deze meshes worden gerenderd als frontale dieptekaarten.
• Fase 2: Diffusie-gebaseerde Synthese:
  • Generatie van Neutraal Gezicht: Een diepte-geconditioneerd Kandinsky 2.2 model (geaugmenteerd met ControlNet) vertaalt FLAME-dieptekaarten naar fotorealistische neutrale 2D-gezichten. Tekstprompts worden gebruikt om demografische diversiteit af te dwingen.
  • Textuursynthese: Hunyuan3D 2.1 wordt gebruikt om PBR-texturen (Physically Based Rendering) te genereren die geconditioneerd zijn op de neutrale afbeeldingen, waarbij fijne huiddetails en etnische kenmerken worden vastgelegd.
• Fase 3: Neurale Rigging en Rendering:
  • Neurale Face Rigging (NFR): Met behruikmaking van DiffusionNet en Neural Jacobian Fields past het systeem precieze deformaties toe op de 3D-mesh op basis van specifieke AU-configuraties (AU4, AU6, AU7, AU9, AU10, AU43) afgeleid van de PSPI-formule. Dit maakt de generatie van pijnuitdrukkingen met bekende, exacte PSPI-scores mogelijk.
  • Multi-View Rendering & Inpainting: De rigged meshes worden gerenderd vanuit meerdere gezichtspunten. Vervolgens wordt Kandinsky 2.2 gebruikt voor achtergrond-inpainting en haar-completie om fotorealisme te garanderen.

De resulterende dataset bevat gekoppelde neutrale/pijn-afbeeldingen, exacte AU-configuraties, PSPI-scores en pijn-regio heatmaps.

2. De ViTPain Architectuur

Om de synthetische data te benutten, stellen de auteurs ViTPain voor, een Vision Transformer-gebaseerd framework voor pijninschatting:

• Neutrale Referentie Cross-Attention: Het model verwerkt een doel-pijnafbeelding ($I_{pain}$) en een referentie-neutrale afbeelding ($I_{neutral}$) van dezelfde identiteit. Beide worden gecodeerd met Dino-V3 backbones met LoRA-adapters. Een cross-attention mechanisme zorgt ervoor dat de pijn-features de neutrale referentie-features kunnen bevragen (query). Dit is ontworpen om dynamische pijnuitdrukkingen te ontkoppelen van statische identiteitskenmerken.
• Query-Based AU Cross-Attention: Leerbare query-tokens die overeenkomen met de zes pijn-relevante AUs extraheren gelokaliseerde spierbewegingsinformatie uit de context-patches, wat zorgt voor aanvullende supervisie.
• Multi-Task Voorspelling:
  • Regressie: Een head voorspelt de continue PSPI-score vanaf de CLS-token.
  • Binaire Classificatie: Een aanvullende head onderscheidt tussen pijn- en geen-pijn-toestanden om 'mean-value collapse' in regressietaken te voorkomen.
  • AU Regressie: Onafhankelijke heads voorspellen de intensiteiten voor specifieke AUs.
• Inference Strategie: Een multi-shot inference strategie middelt voorspellingen die geconditioneerd zijn op meerdere neutrale referentiekaders om de robuustheid te verbeteren.

Belangrijkste Bijdragen

1. 3DPain Dataset: Een grootschalige, diverse synthetische dataset (82.500 frames, 2.500 identiteiten) met precieze AU-annotaties en PSPI-scores, die de schaarste en onbalans van echte pijn-data aanpakt.
2. Controleerbare Generatiepijplijn: Een nieuw driefasig framework dat FLAME-geometrie, diffusie-gebaseerde textuursynthese en neurale rigging combineert om klinisch geldige, multi-view pijnuitdrukkingen te genereren met exacte controle over action units.
3. ViTPain Framework: Een referentie-bewuste Vision Transformer architectuur die gebruikmaakt van cross-attention met neutrale gezichten om dynamische pijn-features te isoleren, wat een verbeterde generalisatie laat zien ten opzichte van standaard baselines.

Experimentele Resultaten

De modellen werden geëvalueerd op de UNBC-McMaster Shoulder Pain Expression Archive met behulp van 5-voudige kruisvalidatie met subject-onafhankelijke splitsingen.

• Impact van Pre-training: Pre-training op 3DPain verbeterde de prestaties aanzienlijk over alle architecturen. Voor het voorgestelde ViTPain model verhoogde pre-training de F1-score (bij drempelwaarde $\ge 2$) van 0,43 naar 0,50 en de AUROC van 0,79 naar 0,86.
• Ablatie Studies:
  • Het toevoegen van een binaire classificatie-head verbeterde de F1-scores voor pijn met hoge intensiteit.
  • Het opnemen van de neutrale referentie en multi-shot inference verbeterde de globale discriminatie-metrieken (AUROC en PCC), wat wijst op een betere scheiding van identiteit en expressie, hoewel dit de F1-scores voor hoge intensiteit iets verlaagde door een meer conservatieve voorspellingsbias.
• Vergelijking met State-of-the-Art: ViTPain (gebruikmakend van enkele frames) behaalde concurrerende resultaten ten opzien van video-gebaseerde state-of-the-art methoden. Bij drempelwaarde $\ge 2$ behaalde ViTPain een AUROC van 0,86 en een F1 van 0,51, waarmee het eerdere image-gebaseerde methoden zoals PwCT (AUROC 0,82, F1 0,48) overtrof en video-gebaseerde baselines benaderde.

Betekenis en Claims

Het artikel claimt dat 3DPain en ViTPain een "controleerbare, diverse en klinisch gefundeerde basis" leggen voor geautomatiseerde pijnbeoordeling. De primaire betekenis ligt in het overbruggen van de datakloof die historisch gezien de ontwikkeling van subject-onafhankelijke pijnherkenningsmodellen heeft beperkt. Door aan te tonen dat synthetische data met precieze klinische annotaties effectief kunnen dienen als pre-training voor real-world toepassingen, biedt dit werk een schaalbaar alternatief voor de dure en ethisch beperkte klinische dataverzameling.

De auteurs merken bescheiden op dat hoewel het framework de generalisatie verbetert, er nog steeds uitdagingen zijn met betrekking tot domeinverschuivingen in de realisme van huidtextuur en het modelleren van langdurige temporele dynamiek, wat zij identificeren als richtingen voor toekomstig onderzoek.