Vision-Language Models for Ergonomic Assessment of Manual Lifting Tasks: Estimating Horizontal and Vertical Hand Distances from RGB Video

Questo studio dimostra la fattibilità dell'uso di modelli visione-linguaggio su video RGB per stimare in modo non invasivo le distanze orizzontali e verticali delle mani durante i sollevamenti manuali, ottenendo errori medi ridotti (6-8 cm) grazie a pipeline che integrano la segmentazione e la regressione temporale.

L'essenziale

🏗️ Il "Detective Digitale" che guarda come sollevi i pesi

Immagina di essere un ispettore della sicurezza in una fabbrica. Il tuo compito è controllare se i lavoratori stanno sollevando scatole pesanti in modo sicuro, per evitare mal di schiena o infortuni. Tradizionalmente, per farlo, dovresti fermarti, prendere un metro, misurare la distanza tra le mani del lavoratore e il pavimento, e fare calcoli complessi. È noioso, lento e a volte impreciso.

Questo studio si chiede: "Possiamo insegnare a un'intelligenza artificiale a fare questo lavoro guardando semplicemente un video?"

La risposta è sì, e lo hanno fatto usando una nuova tecnologia chiamata Modelli Visione-Linguaggio (VLM).

🧠 Cosa sono questi "Modelli Visione-Linguaggio"?

Pensa a questi modelli come a un detective super-intelligente che ha due superpoteri:

1. Vede (come una telecamera).
2. Capisce e parla (come un umano).

Invece di dire al computer "trova il punto A e il punto B", puoi dirgli in linguaggio naturale: "Guarda la persona che sta sollevando la scatola, trova le sue mani e i suoi piedi". Il modello capisce il contesto, non solo i pixel. È come se dessi al computer gli occhi e il cervello di un esperto di ergonomia.

🎬 La Sfida: Misurare senza toccare nulla

Lo studio si è concentrato su due misure fondamentali per la sicurezza (chiamate H e V nel gergo tecnico):

• H (Distanza Orizzontale): Quanto le mani sono lontane dal corpo (come se fossi un'impalcatura che si allontana dal muro).
• V (Distanza Verticale): Quanto le mani sono alte dal pavimento.

Per insegnare all'AI, i ricercatori hanno registrato 32 persone che sollevavano scatole in un laboratorio. Hanno usato telecamere e sensori indossabili (come quelli degli atleti) per avere la "verità assoluta" delle misure. Poi, hanno dato all'AI solo il video (senza sensori) e hanno chiesto: "Quanto distano le mani?".

🛠️ Due Metodi per lo stesso obiettivo

Hanno testato due approcci, come due modi diversi di guardare un quadro:

1. Il Metodo "Scatola" (Rilevamento): L'AI disegna un rettangolo intorno alla persona e agli oggetti. È come dire: "La mano è dentro questo rettangolo". È veloce, ma un po' grezzo.
2. Il Metodo "Ritaglio Preciso" (Segmentazione): L'AI non si limita al rettangolo. Taglia via lo sfondo e isola esattamente la forma della mano o della scarpa, pixel per pixel. È come se l'AI prendesse un coltellino chirurgico per ritagliare la persona dallo sfondo, ignorando tutto il resto.

Il risultato? Il metodo "Ritaglio Preciso" è stato molto meglio. Ha commesso meno errori, specialmente quando la vista era difficile.

📹 L'Importanza degli Angoli di Vista (La Telecamera)

Immagina di dover misurare l'altezza di una persona.

• Se la guardi solo di profilo (da un lato), potresti non vedere bene le sue mani se sono nascoste dal corpo.
• Se la guardi di fronte, vedi tutto meglio.
• Se la guardi da tre angolazioni diverse contemporaneamente (come se avessi tre telecamere che girano intorno a te), l'AI non può sbagliare: se un'angolatura nasconde qualcosa, un'altra la mostra.

Lo studio ha scoperto che usare più telecamere insieme riduce drasticamente gli errori. È come avere più testimoni oculari: se uno non vede bene, l'altro sì.

📉 I Risultati: Quanto è preciso?

Alla fine, l'AI è riuscita a stimare le distanze con un errore medio di circa 6-8 centimetri.
Per darti un'idea: è come se dovessi misurare la lunghezza di un foglio A4 e ti sbagliassi di poco più della larghezza di un dito. Per un primo approccio basato solo su video, è un risultato incredibile!

Inoltre, hanno notato che:

• All'inizio del sollevamento (quando la persona è china a terra), è più difficile vedere bene le mani.
• Alla fine (quando la persona è dritta), è più facile.
• Usare la tecnica del "ritaglio preciso" (segmentazione) ha aiutato l'AI a non confondersi quando le mani erano vicine alle gambe o alla scatola.

🚀 Perché è importante?

Fino a oggi, per fare questi controlli servivano:

• Sensori costosi da indossare (fastidiosi per i lavoratori).
• Ispettori umani che perdono tempo a misurare.

Questo studio ci dice che in futuro potremmo semplicemente puntare una telecamera (o usare quella del telefono) in un magazzino. L'AI guarderà il video, calcolerà se il sollevamento è pericoloso e ci darà un avviso immediato, senza che nessuno debba toccare nulla.

In sintesi: Hanno creato un "occhio digitale" che impara a vedere il mondo come un esperto di sicurezza, rendendo il lavoro più sicuro, veloce e accessibile a tutti. È un passo enorme verso fabbriche più intelligenti e lavoratori più protetti! 🏭✨

Sommario tecnico

Titolo: Modelli Vision-Language per la Valutazione Ergonomica di Compiti di Sollevamento Manuale: Stima delle Distanze Orizzontali e Verticali delle Mani da Video RGB

1. Il Problema

I disturbi muscolo-scheletrici legati al lavoro (WMSDs) rappresentano una delle principali cause di assenteismo e costi economici, spesso derivanti da compiti di movimentazione manuale dei materiali (MMH), in particolare il sollevamento.

• Limitazioni degli strumenti attuali: L'equazione di sollevamento RNLE (Revised NIOSH Lifting Equation) è lo standard per la valutazione del rischio, ma richiede la misurazione accurata di sei parametri, tra cui la distanza orizzontale (H) e verticale (V) delle mani. Attualmente, questi parametri vengono ottenuti tramite misurazioni manuali (lente, soggette a bias) o sistemi di motion capture con marcatori/sensori indossabili (costosi, intrusivi e difficili da scalare).
• Limiti dei metodi di visione computerizzata esistenti: I metodi basati sulla stima della posa umana (es. OpenPose, BlazePose) spesso falliscono nel fornire stime robuste delle distanze geometriche necessarie per l'RNLE a causa di problemi di occlusione, instabilità temporale delle articolazioni e mancanza di una rappresentazione esplicita delle relazioni spaziali tra oggetto, lavoratore e ambiente.

2. Metodologia

Lo studio ha valutato la fattibilità di utilizzare Modelli Vision-Language (VLM) per stimare H e V da flussi video RGB in modo non invasivo.

• Dataset: Sono stati utilizzati dati da 32 partecipanti sani che eseguivano sollevamenti simmetrici da due origini (pavimento e altezza ginocchio) fino all'altezza dell'anca, con diverse masse (6, 9, 12 kg).
  • Raccolta dati: I dati cinematici di riferimento (ground truth) sono stati ottenuti tramite un sistema IMU indossabile e tre telecamere Azure Kinect sincronizzate.
  • Condizioni di vista: Sono state testate 7 condizioni di vista: 3 singole (V1, V2, V3) e 4 multi-vista (combinazioni di telecamere).
• Pipeline VLM Proposte: Sono state sviluppate due pipeline multi-stadio:
  1. GD–Dv2 (Rilevamento solo): Utilizza Grounding DINO per il rilevamento guidato dal testo delle regioni di interesse (ROI) e DINOv2 per l'estrazione delle caratteristiche visive.
  2. GD–SAM–Dv2 (Rilevamento + Segmentazione): Utilizza Grounding DINO per il rilevamento iniziale, seguito da Segment Anything Model (SAM) per la segmentazione a livello di pixel delle ROI, e infine DINOv2 per l'estrazione delle caratteristiche.
• Processo di Stima:
  • Input: Prompt testuali (es. "person lifting", "hand", "shoe", "box") per localizzare le ROI.
  • Feature Extraction: Le ROI vengono ritagliate, ridimensionate e processate da DINOv2 (ViT-Base). Le caratteristiche visive (768 dim) sono arricchite con dati geometrici dell'oggetto (dimensioni della scatola) per fornire una scala reale.
  • Regressione: Una sequenza temporale di feature (100 frame) viene elaborata da un modello Transformer bidirezionale per stimare H e V a ogni frame.
• Validazione: È stata utilizzata una validazione incrociata "leave-one-subject-out" (LOSO) su 32 fold per garantire la generalizzazione su nuovi soggetti.

3. Contributi Chiave

• Integrazione VLM per Ergonomia: Prima applicazione di modelli VLM (Grounding DINO + SAM + DINOv2) per la stima quantitativa dei parametri di distanza dell'RNLE, superando la dipendenza esclusiva dalle rappresentazioni scheletriche.
• Approccio Zero-Shot: I modelli sono stati utilizzati senza riaddestramento specifico per il compito, sfruttando la capacità di localizzazione guidata dal testo e la segmentazione zero-shot.
• Analisi Comparativa: Valutazione sistematica dell'impatto della segmentazione a livello di pixel e delle diverse configurazioni di telecamere (singola vs multi-vista) sulla precisione della stima.
• Pipeline Ibrida: Dimostrazione che l'aggiunta della segmentazione (SAM) al rilevamento (Grounding DINO) migliora significativamente la qualità delle feature per la regressione geometrica.

4. Risultati

I risultati sono stati valutati tramite Errore Assoluto Medio (MAE), Errore Quadratico Medio (RMSE) e Errore Assoluto Massimo (MaxAE).

• Impatto della Segmentazione: La pipeline GD–SAM–Dv2 (con segmentazione) ha superato costantemente quella di sola rilevazione (GD–Dv2).
  • Riduzione dell'errore del 20–30% per la distanza orizzontale (H).
  • Riduzione dell'errore del 35–40% per la distanza verticale (V).
  • La segmentazione è risultata particolarmente cruciale per la stima di V, dove la precisione nella localizzazione dei bordi è critica a causa della prospettiva.
• Impatto della Vista Multipla: Le condizioni multi-vista (specialmente V1+V2+V3) hanno prodotto errori significativamente inferiori rispetto alle viste singole.
  • Migliori prestazioni (Pipeline GD–SAM–Dv2 + 3 viste):
    • MAE per H: ~6–8 cm.
    • MAE per V: ~5–8 cm.
  • Le viste singole hanno mostrato errori molto più elevati, specialmente per V (fino a ~27 cm di MAE in alcune condizioni).
• Dinamiche Temporali (Inizio vs Fine Sollevamento):
  • L'errore per V è diminuito dalla fase iniziale a quella finale (migliore visibilità delle mani in posizione eretta).
  • L'errore per H è aumentato dalla fase iniziale a quella finale (maggiore difficoltà nel localizzare le caviglie quando il carico è sollevato e occlude le gambe).
• Configurazioni Ottimali: La combinazione di una vista frontale e una obliqua (es. V1+V3 o V2+V3) ha offerto prestazioni comparabili alla configurazione a tre telecamere, suggerendo un compromesso efficace tra complessità e accuratezza.

5. Significato e Implicazioni

• Fattibilità per l'Ergonomia sul Campo: Lo studio dimostra che è possibile stimare i parametri critici dell'RNLE da video RGB senza sensori indossabili o misurazioni manuali, rendendo possibile valutazioni ergonomiche "ambientali" e scalabili.
• Superiorità della Segmentazione: L'uso di maschere di segmentazione a livello di pixel è essenziale per ridurre l'incertezza geometrica, specialmente in scenari con occlusioni o prospettive sfavorevoli.
• Raccomandazioni Pratiche: Per applicazioni reali che richiedono alta precisione, è preferibile l'uso di configurazioni multi-vista (almeno due telecamere con angolazioni diverse) e pipeline che integrino la segmentazione.
• Prospettive Future: Sebbene promettente, il metodo richiede ulteriori validazioni in ambienti di lavoro reali (illuminazione variabile, sfondi complessi) e l'estensione della stima ad altri parametri dell'RNLE (es. angolo di asimmetria, frequenza).

In conclusione, questo lavoro apre la strada a sistemi di valutazione del rischio ergonomico basati sull'intelligenza artificiale, non invasivi e capaci di fornire dati quantitativi affidabili direttamente dai flussi video.