Vision-Language Models for Ergonomic Assessment of Manual Lifting Tasks: Estimating Horizontal and Vertical Hand Distances from RGB Video

Este estudo demonstra a viabilidade de utilizar modelos de visão e linguagem para estimar não invasivamente as distâncias horizontal e vertical das mãos em tarefas de levantamento manual a partir de vídeos RGB, alcançando erros médios de 6 a 8 cm e confirmando que pipelines que incluem segmentação de pixels reduzem significativamente os erros de estimativa em comparação com abordagens baseadas apenas em detecção.

O essencial

🏗️ O Problema: Medir o "Risco" sem Tocar em Ninguém

Imagine que você é um inspetor de segurança em uma fábrica. Seu trabalho é verificar se os funcionários estão levantando caixas de uma maneira que pode machucar as costas (o famoso "dor nas costas" de trabalho).

Para saber se o risco é alto, você precisa medir duas coisas com muita precisão:

1. A distância horizontal: Quão longe a caixa está do corpo da pessoa (como se ela estivesse esticando o braço demais).
2. A distância vertical: Quão alto a caixa está do chão.

O problema: Medir isso na vida real é chato e difícil.

• Se você usar uma fita métrica, você tem que parar o trabalho, medir, e pode errar.
• Se você usar sensores no corpo do trabalhador (como um cinto de sensores), é desconfortável e caro.
• Se você usar câmeras de "captura de movimento" (aquelas com adesivos prateados no corpo), é muito caro e parece filme de ficção científica.

O artigo pergunta: "E se pudéssemos usar apenas um vídeo comum (como o do seu celular) e uma Inteligência Artificial superinteligente para fazer essas medições magicamente?"

---

🧠 A Solução: O "Detetive" e o "Cirurgião" de Imagens

Os pesquisadores criaram uma equipe de IA baseada em Modelos Visão-Linguagem (VLM). Pense neles como dois personagens trabalhando juntos:

1. O Detetive (Grounding DINO): Ele olha para o vídeo e diz: "Ah, ali tem uma pessoa levantando algo! E ali tem uma mão! E ali tem um sapato!". Ele usa linguagem natural para encontrar os objetos, sem precisar ter sido treinado especificamente para aquela tarefa.
2. O Cirurgião (Segment Anything Model - SAM): O Detetive é bom, mas às vezes ele desenha um quadrado em volta da pessoa que inclui um pouco de fundo (parede, chão, outra caixa). O Cirurgião entra e faz um "recorte perfeito" (pixel a pixel), separando exatamente a mão da pessoa do fundo. É como usar uma tesoura de precisão em vez de uma tesoura de papelão.

Depois que eles identificam e recortam as partes importantes, um Cérebro de IA (Transformador) analisa a sequência de vídeos. Ele não olha apenas uma foto; ele vê o movimento, como se estivesse assistindo ao filme inteiro para entender a distância exata.

---

🎥 O Experimento: Quantas Câmeras Precisamos?

Para testar isso, eles filmaram pessoas levantando caixas de diferentes ângulos:

• Câmera 1 e 2: De lado (em ângulo).
• Câmera 3: De frente (como se você estivesse de frente para a pessoa).

Eles testaram várias combinações:

• Usar apenas uma câmera (como se você estivesse assistindo TV sozinho).
• Usar duas ou três câmeras ao mesmo tempo (como se você tivesse uma equipe de filmagem).

A Analogia do Quebra-Cabeça:
Imagine que você está tentando adivinhar a altura de uma montanha olhando apenas uma foto tirada de um ângulo estranho. É difícil, você pode errar. Mas se você tiver fotos da montanha de três lados diferentes (frente, esquerda, direita), o cérebro consegue montar o "quebra-cabeça" 3D e saber a altura exata. É isso que as múltiplas câmeras fazem para a IA.

---

🏆 Os Resultados: O Que Funcionou Melhor?

Os pesquisadores compararam dois métodos:

1. Método Rápido (Só o Detetive): A IA apenas desenha quadrados em volta das pessoas.
2. Método Preciso (Detetive + Cirurgião): A IA recorta a pessoa perfeitamente do fundo.

O Veredito:

• O "Cirurgião" venceu: O método que faz o recorte perfeito (segmentação) foi muito mais preciso. Reduziu o erro em cerca de 20% a 40%. É a diferença entre tentar medir um objeto com uma régua torta versus uma régua laser.
• Mais câmeras = Menos erros: Usar três câmeras (frente e lados) foi o campeão. Quando se usa apenas uma câmera, especialmente se for de lado, a IA se confunde muito mais com a profundidade.
• O momento importa:
  • No início do levantamento (quando a caixa está no chão), é difícil ver os pés e as mãos porque o corpo da pessoa pode escondê-los.
  • No final (quando a caixa está na altura do quadril), fica mais fácil ver as mãos, mas a IA às vezes perde de vista os pés.

Os Números:
Com a melhor configuração (3 câmeras + recorte perfeito), a IA errou em média apenas 6 a 8 centímetros. Para uma medição feita por uma câmera comum sem sensores, isso é um resultado incrível!

---

💡 Por Que Isso é Importante?

Imagine que, no futuro, você possa apontar o celular para um funcionário levantando uma caixa, e a IA diga instantaneamente: "Cuidado! A distância horizontal está muito grande, o risco de lesão nas costas é alto."

• Sem contato: Não precisa colocar nada no corpo do trabalhador.
• Sem parar o trabalho: Pode ser feito em tempo real.
• Barato: Usa câmeras comuns e softwares inteligentes.

A Lição Final:
A tecnologia de IA evoluiu a ponto de conseguir "ver" e "medir" o mundo físico apenas assistindo a vídeos. Embora ainda precise de testes em ambientes reais (com muita gente, luz ruim e bagunça), este estudo mostra que o futuro da segurança no trabalho pode ser assistido por câmeras inteligentes que não apenas gravam, mas realmente entendem o que estão vendo.

Em resumo: A IA aprendeu a ser um inspetor de segurança superpreciso, usando apenas os olhos (câmeras) e um pouco de "cirurgia" digital para não errar a conta!

Resumo técnico

Título: Modelos Visão-Linguagem para Avaliação Ergonômica de Tarefas de Levantamento Manual: Estimativa de Distâncias Manuais Horizontais e Verticais a partir de Vídeo RGB

1. Problema e Contexto

As distúrbios musculoesqueléticos relacionados ao trabalho (WMSDs) são uma das principais causas de perda de dias de trabalho e custos econômicos. A Equação de Levantamento Revisada do NIOSH (RNLE) é uma ferramenta padrão para avaliar riscos ergonômicos em tarefas de levantamento manual. No entanto, a RNLE depende de seis variáveis de tarefa, incluindo as distâncias manuais horizontal (H) e vertical (V).

• Limitações Atuais: A medição desses parâmetros geralmente é feita manualmente (demorada, sujeita a viés) ou através de sensores vestíveis e sistemas de captura de movimento com marcadores (caros, intrusivos e difíceis de escalar).
• Desafio da Visão Computacional: Métodos baseados em estimativa de pose humana (squeletal) são sensíveis a oclusões, perspectiva da câmera e iluminação, e muitas vezes falham em capturar explicitamente as relações espaciais entre o trabalhador, a carga e o ambiente, essenciais para a RNLE.

2. Metodologia

O estudo avaliou a viabilidade de usar Modelos Visão-Linguagem (VLMs) para estimar não invasivamente as distâncias H e V a partir de fluxos de vídeo RGB.

• Dados: Um subconjunto de dados de um estudo anterior com 32 participantes saudáveis realizando 24 levantamentos simétricos cada (variando origem do levantamento, configuração das mãos e massa da caixa).
  • Equipamento: 3 câmeras Azure Kinect sincronizadas (V1, V2, V3) e um sistema IMU vestível (usado apenas para gerar o "ground truth" ou referência de verdade).
  • Condições de Câmera: Foram testadas 7 condições: 3 visões únicas (V1, V2, V3) e 4 combinações multiview (V1+V2, V1+V3, V2+V3, V1+V2+V3).
• Pipelines Propostas: Foram desenvolvidos dois pipelines baseados em VLMs:
  1. GD–Dv2 (Detecção Apenas): Utiliza o Grounding DINO para detecção de objetos baseada em texto (zero-shot) e extrai características visuais com o DINOv2.
  2. GD–SAM–Dv2 (Detecção + Segmentação): Utiliza Grounding DINO para detecção inicial, seguido pelo Segment Anything Model (SAM) para refinar as regiões de interesse (ROIs) com máscaras de segmentação em nível de pixel, antes da extração de características com DINOv2.
• Processo de Estimativa:
  • As ROIs (mãos, pés, caixa) são detectadas e segmentadas.
  • Características visuais (DINOv2) são combinadas com características geométricas (dimensões da caixa).
  • Um modelo de regressão baseado em Transformer processa sequências temporais de características para estimar H e V no início e no fim do levantamento.
• Validação: Validação cruzada "leave-one-subject-out" (LOSO) para garantir generalização para novos indivíduos.

3. Principais Contribuições

• Primeira Aplicação de VLMs para RNLE: Demonstra a viabilidade de usar modelos Visão-Linguagem para estimar parâmetros quantitativos de risco ergonômico (distâncias H e V) sem necessidade de re-treinamento específico da tarefa (zero-shot).
• Comparação de Arquiteturas: Estabelece que a integração de segmentação em nível de pixel (SAM) com detecção baseada em texto supera significativamente a detecção baseada apenas em caixas delimitadoras.
• Análise de Condições de Visão: Avalia sistematicamente o impacto de diferentes configurações de câmera (única vs. múltipla) na precisão da estimativa ergonômica.
• Pipeline Não Intrusivo: Oferece uma alternativa escalável e não invasiva aos métodos tradicionais de medição.

4. Resultados

Os resultados variaram significativamente entre os pipelines e as condições de visão da câmera:

• Impacto da Segmentação: O pipeline com segmentação (GD–SAM–Dv2) superou consistentemente o pipeline de detecção apenas (GD–Dv2).
  • Redução de erro de 20–30% para a distância Horizontal (H).
  • Redução de erro de 35–40% para a distância Vertical (V).
  • A segmentação é particularmente benéfica em condições de visão única, onde a precisão espacial é mais crítica.
• Impacto da Visão Múltipla: As condições multiview (especialmente V1+V2+V3) produziram os menores erros em comparação com visões únicas.
  • Melhor Desempenho (Pipeline GD-SAM-Dv2 + V1+V2+V3):
    • Erro Absoluto Médio (MAE) para H: ~6–8 cm.
    • Erro Absoluto Médio (MAE) para V: ~5–8 cm.
  • Visões únicas (especialmente V1 e V2) resultaram em erros significativamente maiores, especialmente para a estimativa de V.
• Dinâmica Temporal (Início vs. Fim do Levantamento):
  • A precisão para V foi melhor no fim do levantamento (postura mais ereta, menos oclusão).
  • A precisão para H foi melhor no início do levantamento (dificuldade em localizar os tornozelos quando a carga é levantada e pode ocluir as pernas no final).
• Combinações de Câmeras: Configurações de duas câmeras (ex: V1+V3 ou V2+V3) ofereceram desempenho comparável à configuração de três câmeras em algumas métricas, sugerindo um bom compromisso entre custo e precisão.

5. Significado e Conclusão

O estudo confirma que os Modelos Visão-Linguagem (VLMs) são ferramentas viáveis para a avaliação ergonômica baseada em vídeo.

• Avanço Tecnológico: A combinação de detecção guiada por texto, segmentação de precisão e modelagem temporal permite estimar parâmetros físicos complexos a partir de vídeo RGB comum, superando as limitações dos métodos baseados apenas em esqueleto.
• Aplicabilidade Prática: A abordagem permite avaliações de risco ergonômico em tempo real ou post-hoc sem a necessidade de sensores vestíveis ou medições manuais, facilitando a implementação em ambientes industriais reais.
• Recomendações: Para obter a máxima precisão, recomenda-se o uso de pipelines que incluam segmentação em nível de pixel e configurações de múltiplas câmeras (preferencialmente incluindo uma visão frontal).
• Limitações Futuras: Os dados foram coletados em laboratório com participantes jovens e saudáveis. Futuras pesquisas devem validar o desempenho em ambientes de trabalho reais (com iluminação variável, fundos desordenados e oclusões dinâmicas) e em populações mais diversas. Além disso, a extensão do método para outros parâmetros da RNLE (como ângulo de assimetria e frequência) é um próximo passo lógico.