Vision-Language Models for Ergonomic Assessment of Manual Lifting Tasks: Estimating Horizontal and Vertical Hand Distances from RGB Video

Dit onderzoek toont aan dat vision-language modellen, met name wanneer ze worden gecombineerd met pixel-level segmentatie en multi-view camera's, effectief kunnen worden ingezet om de horizontale en verticale handafstanden voor ergonomische risicobeoordeling van handmatige hefwerkzaamheden nauwkeurig te schatten op basis van RGB-video.

De kern

Stel je voor dat je een bouwvakker bent die een zware doos van de grond tillt. Als je dit te vaak doet, kan je rug pijn gaan doen. Om te voorkomen dat mensen gewond raken, gebruiken experts een soort "veiligheidsrekenmachine" (de RNLE). Deze rekenmachine heeft twee belangrijke cijfers nodig:

1. Hoe ver staat de doos van je voeten af? (Horizontale afstand)
2. Hoe hoog is de doos van de grond? (Verticale afstand)

Vroeger moest een mens met een meetlint komen om deze afstanden op te meten. Dat is tijdrovend, vervelend en niet altijd precies.

Deze paper beschrijft een slimme nieuwe manier om dit te doen met een camera en een kunstmatige intelligentie (AI). Het is alsof je een super-slimme robot-assistent hebt die naar een video kijkt en de afstanden direct uitrekent, zonder dat er iemand hoeft te meten.

Hier is hoe het werkt, vertaald in begrijpelijke taal:

1. De "Super-Oog" van de AI (Vision-Language Models)

De onderzoekers hebben een speciale AI gebruikt die niet alleen "kijkt" (zoals een gewone camera), maar ook "begrijpt" wat hij ziet. Dit noemen ze een Vision-Language Model.

• De analogie: Stel je voor dat je een gewone camera hebt die alleen pixels ziet. Deze AI is als een camera met een slimme vriend erbij die zegt: "Ah, dat is een mens die een doos optilt! En dat zijn zijn handen, en dat zijn zijn schoenen."
• De AI weet precies waar de mens en de doos zijn, zelfs als ze deels bedekt zijn of als de hoek raar is.

2. Twee Manieren om te Kijken: De Schets vs. De Precieze Tekening

De onderzoekers hebben twee methoden getest om te zien welke het beste werkt:

• Methode A (Alleen detectie): De AI tekent een rechthoekje (een kader) om de mens en de doos.
  • Analogie: Dit is als een schetsmaker die snel een vierkant om een persoon tekent. Het is snel, maar er zit ook veel "achtergrond" (muur, vloer) in dat kader.
• Methode B (Detectie + Segmentatie): De AI tekent eerst een kader, maar knipt daarna precies de vorm van de mens en de doos uit de achtergrond.
  • Analogie: Dit is als een meester-schilder die de persoon precies uitknipt en de rest van de foto weglaat. De AI kijkt nu alleen naar de persoon, niet naar de rommel op de achtergrond.

Het resultaat? Methode B (de precieze uitknip) was veel beter. Het gaf fouten die 20% tot 40% kleiner waren. Het is alsof je een foto bekijkt door een vergrootglas in plaats van door een wazig raam.

3. De Hoek van de Camera (Eén oog vs. Drie ogen)

De AI keek naar video's van verschillende hoeken:

• Één camera: Je kijkt naar iemand vanuit één kant.
• Drie camera's: Je hebt camera's links, rechts en vooraan.
• Analogie: Als je probeert de afstand van een object te schatten met één oog dicht, is dat lastig. Je weet niet precies hoe ver weg het is. Als je twee of drie ogen hebt (of drie camera's), krijg je een 3D-beeld en kun je de diepte veel beter inschatten.

Het resultaat: Drie camera's samen gaven de beste resultaten. Maar zelfs twee camera's (bijvoorbeeld één van voren en één van opzij) deden het verrassend goed.

4. Het Begin vs. Het Einde van de Lift

Er was een interessante ontdekking over wanneer de AI het beste werkt:

• Bij het tillen (van de grond): De AI was heel goed in het meten van de hoogte (verticaal), maar iets minder goed in de afstand (horizontaal).
  • Waarom? Als iemand bukt, verbergen hun eigen lichaam en de doos vaak hun voeten. De AI kan de voeten dan slecht zien.
• Bij het afzetten (op heuphoogte): De AI was heel goed in de afstand, maar iets minder goed in de hoogte.
  • Waarom? Als iemand rechtop staat, zijn de voeten goed zichtbaar, maar is de hoogte van de handen lastiger te schatten als de camera schuin staat.

Waarom is dit belangrijk?

Dit onderzoek toont aan dat we in de toekomst geen meetlinten of zware sensoren meer hoeven om de veiligheid op het werk te controleren.

• Vroeger: Je moest een expert sturen met meetapparatuur.
• Nu (en in de toekomst): Je kunt gewoon een camera op de muur hangen. De AI kijkt naar de video, rekent de afstanden uit en zegt: "Let op, deze tilbeweging is gevaarlijk voor de rug."

Samenvatting in één zin

De onderzoekers hebben bewezen dat slimme AI-camera's, vooral als je ze combineert met een precieze "uitknip-methode" en meerdere hoeken, de afstanden van tilbewegingen zo goed kunnen meten dat we in de toekomst veiligere werkplekken kunnen creëren zonder dat mensen last hebben van meetapparatuur.

Technische samenvatting

1. Probleemstelling

Handmatige tilltaken zijn een belangrijke oorzaak van beroepsziekten aan het bewegingsapparaat (WMSD's). Voor het beoordelen van het risico wordt vaak de Herziene NIOSH-Tillvergelijking (RNLE) gebruikt. Deze vergelijking vereist nauwkeurige meting van zes taakvariabelen, waaronder de horizontale (H) en verticale (V) afstand van de handen.

• Huidige uitdagingen: Traditionele meting is tijdrovend, onderhevig aan waarnemersbias en moeilijk toe te passen in complexe werkomgevingen.
• Beperkingen van bestaande technologie: Draagbare sensoren en marker-gebaseerde motion capture-systemen zijn duur, intrusief en logistiek complex.
• Computer Vision beperkingen: Bestaande pose-estimatietechnieken (zoals OpenPose) zijn gevoelig voor occlusie, camera-perspectief en lichtomstandigheden. Ze modelleren vaak alleen het skelet en missen expliciete ruimtelijke relaties tussen mens, object en omgeving, wat essentieel is voor de RNLE.

2. Methodologie

De auteurs ontwikkelden en evalueerden twee Vision-Language Model (VLM)-gebaseerde pipelines om H- en V-afstanden te schatten vanuit RGB-video, zonder dat fysieke sensoren nodig zijn.

Dataset:

• Data afkomstig van 32 proefpersonen die symmetrische tilltaken uitvoerden (van vloer of kniehoogte naar heuphoogte).
• Ground Truth: De referentiewaarden voor H en V werden afgeleid van IMU-sensoren (inertial measurement units) en gesynchroniseerd met RGB-video (1280x720 px, 30 Hz).
• Camera-opstelling: Zeven camera-condities werden getest: drie enkelvoudige weergaven (V1, V2, V3) en vier meervoudige weergaven (combinaties van V1, V2 en V3).

De twee VLM-pipelines:
Beide pipelines volgen een drie-staps proces:

1. Region-of-Interest (ROI) Detectie: Gebruik van Grounding DINO voor zero-shot, tekstgestuurde objectdetectie. De prompt "person lifting" identificeert de tiller, gevolgd door een ingeknipte regio waarin details ("hand", "wrist", "shoe", "box") worden gedetecteerd.
2. Feature Extractie:
   • GD–Dv2 (Detection-only): Gebruikt de bounding boxes direct.
   • GD–SAM–Dv2 (Detection + Segmentation): Gebruikt Segment Anything Model (SAM) om op pixel-niveau segmentatiemaskers te genereren binnen de bounding boxes, waardoor achtergrondruis wordt verwijderd.
   • Feature Vector: Beeldfeatures worden geëxtraheerd met DINOv2 (een self-supervised vision transformer). Deze worden aangevuld met geometrische features van het getilde object (grootte in beeld en bekende fysieke afmetingen) om schaalinformatie te verkrijgen.
3. Regressie: Een transformer-gebaseerd regressiemodel verwerkt de tijdsreeks van feature-vectoren om H en V te schatten voor elk frame. Het model is getraind met een "leave-one-subject-out" (LOSO) validatiestrategie.

3. Belangrijkste Bijdragen

• Eerste toepassing van VLM's voor RNLE: Het onderzoek toont aan dat VLM's (combinatie van taal, detectie en visuele features) geschikt zijn voor het kwantitatief schatten van ergonomische afstandsparameters.
• Vergelijking van Architecturen: Het biedt een gedetailleerde vergelijking tussen een detectie-only pipeline en een pipeline die pixel-niveau segmentatie integreert.
• Invloed van Camera-weergave: Het analyseert systematisch hoe enkelvoudige versus meervoudige camera-weergaven de nauwkeurigheid beïnvloeden voor ergonomische assessments.
• Non-invasieve aanpak: Demonstreert een haalbare methode voor ergonomisch risicomanagement zonder draagbare sensoren of handmatige metingen.

4. Resultaten

De prestaties werden gemeten aan de hand van Mean Absolute Error (MAE), Root Mean Square Error (RMSE) en Maximum Absolute Error (MaxAE).

• Effect van Segmentatie: De GD–SAM–Dv2 pipeline (met segmentatie) presteerde significant beter dan de detection-only pipeline.
  • Vermindering van de fout voor H: ~20–30%.
  • Vermindering van de fout voor V: ~35–40%.
  • Segmentatie is vooral waardevol bij enkelvoudige camera-weergaven waar occlusie en achtergrondruis groter zijn.
• Effect van Camera-weergave: Meervoudige camera-weergaven (bijv. V1+V2+V3) leverden consistent lagere fouten op dan enkelvoudige weergaven.
  • Beste prestatie (GD–SAM–Dv2 + Multi-view):
    • H-afstand: MAE ~6–8 cm.
    • V-afstand: MAE ~5–8 cm.
  • Enkelvoudige weergaven (vooral V1 en V2) resulteerden in aanzienlijk hogere fouten, met name voor de verticale afstand (V).
• Tijdsdynamiek (Start vs. Einde van til):
  • De fout voor V nam af van het begin naar het einde van de til (beter zicht op handen bij heuphoogte).
  • De fout voor H nam toe van het begin naar het einde (moeilijker om enkels/schoenen te lokaliseren door occlusie van het lichaam of de last).
• Optimale Configuratie: Een combinatie van een frontaal en een schuin perspectief (bijv. V1+V3) leverde bijna net zo goede resultaten op als drie camera's, wat een goede afweging biedt tussen complexiteit en nauwkeurigheid.

5. Betekenis en Conclusie

Dit onderzoek bevestigt de haalbaarheid van het gebruik van geavanceerde Vision-Language Models voor ambient ergonomic assessment (omgevingsgebonden risicobeoordeling).

• Praktische toepassing: Het stelt organisaties in staat om ergonomische risico's te monitoren in real-time of retrospectief via standaard RGB-camera's, zonder dat werknemers sensoren hoeven te dragen.
• Aanbevelingen: Voor betrouwbare resultaten is het aan te raden om:
  1. Meervoudige camera-weergaven te gebruiken (of een combinatie van frontaal en schuin).
  2. Pixel-niveau segmentatie (SAM) te integreren om de nauwkeurigheid aanzienlijk te verhogen.
• Toekomstperspectief: Hoewel de resultaten veelbelovend zijn in een gecontroleerde labomgeving, is verdere validatie nodig in echte, chaotische werkomgevingen met variabele verlichting en achtergronden. Ook moet het model worden uitgebreid naar andere RNLE-parameters (zoals asymmetrie en frequentie).

Kortom, deze studie markeert een belangrijke stap naar schaalbare, non-invasieve en nauwkeurige methoden voor het voorkomen van beroepsziekten door middel van computer vision.