💻 computer science

TouchMap-OR: Multi-View 3D Mapping of Hand-Surface Contacts

TouchMap-OR is een multi-view RGB-D-viziesysteem dat identiteitsopgeloste 3D-contactgeschiedenissen van handoppervlakken in operatiekamers reconstrueert door gefuseerde gearticuleerde handnetten, multi-persoon skelettracking en semantische omgevingsmodellering te combineren om te bepalen wanneer en waar artsen specifieke oppervlakken aanraken.

Oorspronkelijke auteurs: Sophokles Ktistakis, Rui Wang, Bastian Grande, Hugo Sax

Gepubliceerd 2026-05-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sophokles Ktistakis, Rui Wang, Bastian Grande, Hugo Sax

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een drukke operatiezaal voor als een dansvloer met hoge inzet. Artsen, verpleegkundigen en apparatuur bewegen, raken elkaar en interageren voortdurend. Het grote probleem? We kunnen de onzichtbare "danspasjes" die kiemen verspreiden, niet zien. Meestal moeten we om uit te zoeken wie wat en wanneer heeft aangeraakt, een menselijke waarnemer inhuren om het hele gebeuren te volgen, wat vermoeiend is, foutgevoelig en veel details mist.

TouchMap-OR is een nieuw "super-visie" systeem ontworpen om dit op te lossen. Denk er als een team van zes gesynchroniseerde beveiligingscamera's die niet alleen video opnemen, maar in real-time een levendige, driedimensionale kaart van de ruimte bouwen.

Zo werkt het, opgesplitst in eenvoudige stappen:

1. De "3D-puzzel" (De ruimte bouwen)

Eerst bekijkt het systeem de ruimte via meerdere camera's. Het gebruikt een slimme AI om alles in de ruimte te identificeren – de patiënt, de monitoren, de dekens, de medische instrumenten – en bouwt een 3D-model daarvan. Het is alsof je een digitale Lego-versie van de operatiezaal maakt waarbij elk blokje een label heeft (bijvoorbeeld: "Dit is de arm van de patiënt", "Dit is de infuuspomp").

2. De "Geestdansers" (Mensen volgen)

Vervolgens volgt het systeem de artsen en verpleegkundigen. Het ziet hen niet als vage vlekken; het bouwt voor elke persoon een 3D-skelet en volgt hen terwijl ze door de ruimte bewegen. Cruciaal is dat het hun identiteit behoudt. Als twee artsen elkaar kruisen, weet het systeem: "Dat is nog steeds dr. Smith links, niet dr. Jones", waardoor de verwarring wordt voorkomen die vaak optreedt bij standaard videovolging.

3. De "Magische handen" (Handen reconstrueren)

Dit is het speciale ingrediënt. Standaard camera's verliezen handen vaak uit het oog als ze bedekt zijn door handschoenen, verscholen achter instrumenten of geblokkeerd door andere mensen. TouchMap-OR gebruikt een speciale truc: het bekijkt de handen vanuit elke camerahoek tegelijk en voegt ze samen. Het reconstrueert een gedetailleerd 3D-model van de hand (vingers, handpalm, alles), zelfs als deze deels verborgen is. Het is alsof je een 3D-printer hebt die direct een perfect model van een hand bouwt op basis van verspreide aanwijzingen uit verschillende hoeken.

4. De "Contactdetective" (Het aanraken vinden)

Tot slot vergelijkt het systeem de 3D-handmodellen met de 3D-kaart van de ruimte. Het stelt een simpele vraag: "Is de hand dicht genoeg bij het oppervlak om het aan te raken?"

Als de hand van een arts binnen enkele centimeters van de arm van de patiënt komt, registreert het systeem dit.
Het noteert wie wat heeft aangeraakt, waar precies en hoe lang.

Wat hebben ze gevonden?

De onderzoekers testten dit systeem in een echte operatiezaal tijdens drie daadwerkelijke medische ingrepen (anesthesie-inducties). Ze vergeleken hun systeem met andere bestaande volgmethode en vonden:

Betere identiteit: Het was veel beter in het bijhouden van welke arts welke persoon was, zelfs wanneer ze langs elkaar bewogen.
Betere aanraakdetectie: Het slaagde erin ongeveer 75% van de daadwerkelijke handaanrakingen die plaatsvonden, te identificeren, wat een enorme verbetering was ten opzichte van de andere methoden.
Het "rommel"-probleem: Het systeem is geweldig in het weten dat een hand iets heeft aangeraakt (zoals een deken of een machine), maar soms raakt het in de war over welk specifiek object het precies was als de objecten zeer dicht bij elkaar liggen (zoals een verband direct naast een deken).

De conclusie

TouchMap-OR is een tool die een chaotische, wazige video van een operatie omzet in een helder, 3D-verhaal van wie wat heeft aangeraakt. Het zegt niet alleen "een hand was hier"; het zegt "dr. Smith heeft de arm van de patiënt 10 seconden aangeraakt". Dit creëert een gedetailleerde kaart van interacties die wetenschappers kan helpen begrijpen hoe kiemen zich door een ziekenhuis verplaatsen, maar het artikel richt zich strikt op het bouwen van deze kaart, niet op het gebruik ervan om medische regels te veranderen.

Technische Samenvatting: TouchMap-OR

Probleemstelling

De overdracht van pathogenen tijdens medische ingrepen wordt aanzienlijk aangedreven door hand–oppervlakinteracties tussen zorgverleners, patiënten en medische apparatuur. Huidige praktijken voor infectiepreventie vertrouwen op handmatige observatie, wat arbeidsintensief is, gevoelig voor bias en ontbreekt aan de temporale resolutie om gedetailleerde contactgeschiedenissen te reconstrueren. Hoewel recente geautomatiseerde systemen handhygiëne-gebeurtenissen of het gebruik van dispensers kunnen detecteren, falen ze in het observeren van de specifieke sequenties van contact tussen handen, oppervlakken en patiënten die transmissieroutes beheersen. Bovendien gaan bestaande computerzichtbenaderingen voor hand–objectcontact vaak uit van zichtbare huid, minimale occlusie en gecontroleerde omgevingen – omstandigheden die zelden worden aangetroffen in operatiekamers waar chirurgische handschoenen huidsignalen verbergen en handen frequent worden verduisterd door instrumenten en personeel.

De kernuitdaging die wordt aangepakt is reconstructie van hand–oppervlakinteractie met opgeloste identiteit in echte operatiekamers: bepalen wie welk oppervlak waar en hoe lang heeft aangeraakt, ondanks zware occlusie, rommel en de aanwezigheid van meerdere zorgverleners.

Methodologie: TouchMap-OR

TouchMap-OR is een multi-view RGB-D-viziesysteem dat is ontworpen om metrische 3D-weergaven van operatiekamers te reconstrueren die zorgverleners, gearticuleerde handen en semantische omgevingsstructuren gezamenlijk modelleren. De pijplijn bestaat uit vier hoofdfasen:

1. Semantische 3D-kamermodellering

Om contactgebeurtenissen te lokaliseren, construeert het systeem een unificerend semantisch 3D-model van de operatiekamer.

Segmentatie: Gekalibreerde RGB-D-camera's nemen streams op die in 2D worden gesegmenteerd met SAM2, met behulp van spaarzame, handmatig geannoteerde punt-prompten voor belangrijke oppervlakken (bijv. patiënt, monitoren, dekens, buizen).
Fusie: Gesegmenteerde instanties worden teruggeprojecteerd naar 3D. Punten van alle camera's worden gefuseerd in een gemeenschappelijk wereldframe via voxel-downsampling (10 mm resolutie) en meerderheidsstemming over semantische labels om een unificerend semantisch puntwolk ( $S_t$ ) te produceren. Deze wolk wordt geïndexeerd met een KD-boom voor efficiënte zoekopdrachten naar het dichtstbijzijnde oppervlak.

2. Per-camera detectie en metrische uitlijning

Elke camera schat onafhankelijk lichaam- en handposities.

Lichaamspose: RTMO wordt gebruikt voor multi-person 2D-skeletschattting.
Handgeometrie: WiLoR, een op MANO gebaseerde schatter, voorspelt gearticuleerde handnetten uit enkele RGB-afbeeldingen.
Metrische uitlijning: Om handnetten in het metrische camera-coördinatenstelsel te plaatsen, past het systeem de reconstructie aan op de bijbehorende dieptekaart via een Sim(3)-uitlijning (schaal, rotatie, translatie) met behulp van RANSAC om occlusies te verwerpen. Dit levert metrisch uitgelijnde handnetten ( $H^{(i,t)}_{cam}$ ) op en extrahert handankers (palmcentrum, vingertoppen) met betrouwbaarheidsscores gebaseerd op uitlijningsresiduen.

3. Multi-view associatie en 3D-persoontracking

Het systeem genereert globaal consistente multi-person 3D-skelettracks met stabiele identiteiten.

Associatie: 3D-tracks worden geprojecteerd op beeldvlakken en gematcht tegen 2D-detecties met behulp van Mean Per-Joint Pixel Error (MPJPE). Het Hongaarse algoritme lost een-op-een matches op.
3D-reconstructie: Gematchde gewrichten worden gereconstrueerd via gewogen niet-lineaire kleinste-kwadraten triangulatie over views, waarbij epolaire consistentie wordt afgedwongen.
Dieptelifting: Gewrichten die niet kunnen worden getrianguleerd, worden hersteld uit RGB-D-observaties, gevalideerd door checks op anatomische plausibiliteit (botlengte-beperkingen).
ID-beheer: Een tracklevenscyclus beheert initialisatie, bevestiging en verwijdering. Een "stitching"-procedure voegt gefragmenteerde tracks die door occlusies worden veroorzaakt samen door her-associatie-stemmen in de tijd te accumuleren om een een-op-een mapping tussen tijdelijke en persistente ID's tot stand te brengen.

4. Handfusie en contactdetectie

Handfusie: Metrisch uitgelijnde handnetten uit alle views worden getransformeerd naar het wereldframe en gegroepeerd met DB-SCAN op palmcentra. Het net met de laagste uitlijningsresidu wordt geselecteerd als het representatieve gefuseerde hand.
Persoonassociatie: Gefuseerde handen worden gretig geassocieerd met getrackte personen op basis van afstand tot zij-specifieke lichaamsgewrichten (pols, elleboog, schouder), waarbij temporale persistentie wordt afgedwongen om continuïteit te behouden.
Contactinferentie: Het systeem vraagt de semantische puntwolk op naar het dichtstbijzijnde oppervlak voor handankers. Een contact wordt geregistreerd wanneer de afstand onder een drempelwaarde ( $\tau_{on}$ ) valt. Om temporale stabiliteit te waarborgen, gladstrijkt een exponentiële voortschrijdend gemiddelde (EMA) coördinaten, en voorkomt een hysteriseregel (met gebruik van $\tau_{on}$ en een hogere $\tau_{off}$ ) flitsen. Achtereenvolgende actieve frames worden samengevoegd tot contactepisoden die de zorgverlener-ID, handzijde, oppervlaklabel, start-/eindtijden en contactpunt specificeren.

Belangrijkste bijdragen

Identiteitsopgeloste 3D-contactreconstructie: De introductie van een multi-view RGB-D-pijplijn die hand–oppervlakcontactepisoden reconstrueert tussen meerdere zorgverleners en semantisch gelabelde oppervlakken in operatiekamers in real-world settings.
Multi-view 3D-handreconstructie en persoonassociatie: Een methode om op MANO gebaseerde handreconstructies over camera's te fuseren en elke hand te associëren met een persistente zorgverlener-identiteit met behulp van multi-view 3D-skelettracking, waarbij occlusies en identiteitswisselingen worden verwerkt.
Semantische 3D-contactmapping: Het mappen van gereconstrueerde handtrajecten naar semantisch gelabelde scenesoppervlakken, waardoor de reconstructie van temporaal consistente contactepisoden mogelijk wordt die specificeren welke zorgverlener welk oppervlak heeft aangeraakt en hoe lang.

Experimentele resultaten

Het systeem werd geëvalueerd op een dataset van drie echte anesthesie-inductieprocedures met 2–5 zorgverleners, vastgelegd door zes gesynchroniseerde RGB-D-camera's. De dataset bevat 1.616 handmatig geannoteerde hand–oppervlakcontactepisoden.

Trackingprestaties: TouchMap-OR behaalde een IDF1-score van 0,48, vergelijkbaar met de MVPose-baseline (0,49), maar verminderde identiteitswisselingen aanzienlijk tot 108 (tegenover 236 voor MVPose en 547 voor 4D Association), wat een superieure temporale identiteitsconsistentie aantoont.
Contactdetectie: TouchMap-OR behaalde een binair contact F1-score van 0,75 en een IoU van 0,60, en presteerde beter dan baselines (MVPose: 0,56 F1; 4D Association: 0,29 F1).
Semantische attributie: Het systeem behaalde een semantisch contact F1 van 0,37, wat wijst op een verbeterde mogelijkheid om contacten toe te schrijven aan specifieke oppervlakken in vergelijking met baselines (0,22 voor MVPose).
Identiteitsnauwkeurigheid: Het systeem behaalde 0,96 identiteitsattributienauwkeurigheid, wat een betrouwbare koppeling van contactgebeurtenissen aan specifieke zorgverleners bevestigt.

Betekenis en claims

Het artikel claimt dat TouchMap-OR een rekenkundige basis biedt voor het analyseren van transmissieroutes door gedetailleerde contactgeschiedenissen tussen zorgverleners, instrumenten en patiëntoppervlakken te reconstrueren. De auteurs benadrukken dat hoewel ruwe trackingmetrieken belangrijk zijn, nauwkeurige modellering van gearticuleerde handen gecombineerd met een semantisch gestructureerde 3D-scène kritischer is voor interactiebegrip dan het maximaliseren van trackingmetrieken alleen.

Het systeem maakt de reconstructie van contactepisoden mogelijk in rommelige, multi-person klinische omgevingen waar traditionele methoden falen door occlusie en gebrek aan semantische context. Door te identificeren "wie wat, waar en hoe lang heeft aangeraakt", biedt het systeem een schaalbare basis voor het kwantificeren van hand-gerelateerde transmissienetwerken, wat mogelijk data-gedreven strategieën voor infectiepreventie ondersteunt en nieuwe perspectieven biedt op mens–omgeving-interactiedynamiek in de gezondheidszorg.

De auteurs erkennen bescheiden beperkingen, opmerking dat semantische attributie dubbelzinnig kan zijn in rommelige scènes (bijv. onderscheid maken tussen een verband en een nabijgelegen deken) en dat dunne of transparante items (zoals infuuslijnen) mogelijk onvolledig worden gesegmenteerd. Het systeem demonstreert echter stabiele prestaties onder typische omstandigheden in operatiekamers, inclusief occlusies en nauwe nabijheid tussen zorgverleners.