OpenMarcie: Dataset for Multimodal Action Recognition in Industrial Environments

O artigo apresenta o OpenMarcie, o maior conjunto de dados multimodal conhecido para reconhecimento de ações humanas em ambientes industriais, que integra dados de wearables e câmeras de 36 participantes em tarefas de montagem para benchmarking em classificação, legendagem e alinhamento multimodal.

O essencial

Imagine que você está tentando ensinar um robô a montar uma bicicleta ou uma impressora 3D. O problema é que os robôs são como crianças que só aprendem vendo o que você faz, mas não entendem por que você faz ou o que está sentindo. Eles precisam de um "livro de receitas" muito completo, com vídeos, sons e até sensores que sentem o movimento.

É exatamente isso que o OpenMarcie faz.

Aqui está a explicação do artigo, traduzida para uma linguagem simples e cheia de analogias:

1. O Que é o OpenMarcie?

Pense no OpenMarcie como um gigantesco "pacote de aprendizado" digital criado para ensinar inteligência artificial (IA) a entender o que os humanos fazem em fábricas.

Até agora, os robôs tinham dificuldade porque:

• Só viam vídeos (e perdiam detalhes).
• Os vídeos eram de tarefas muito simples e repetitivas (como "pegar uma caixa e colocar na esteira").
• Não tinham sensores no corpo das pessoas para sentir o esforço ou o movimento fino.

O OpenMarcie resolve isso sendo o maior e mais completo conjunto de dados do mundo focado em fábricas. Ele não é apenas um vídeo; é uma experiência multimodal.

2. A "Festa de Montagem" (Os Experimentos)

Para criar esse banco de dados, os pesquisadores organizaram dois tipos de "festa de montagem" com 36 voluntários (engenheiros, estudantes, etc.):

• Cenário 1: A Bicicleta (O "Faça Você Mesmo" Livre)
  Imagine que você recebe uma caixa com peças de uma bicicleta e tem que montá-la, mas ninguém te dá um manual. Você tem que decidir sozinho como começar, qual parafuso apertar primeiro. Isso simula situações reais onde o trabalhador precisa resolver problemas criativamente.

  • O que foi gravado: Câmeras no corpo (como óculos inteligentes), câmeras na sala, sensores nos pulsos e na cabeça, e até microfones.

• Cenário 2: A Impressora 3D (O "Manual Passo a Passo")
  Aqui, os voluntários montam uma impressora 3D seguindo um manual detalhado. Mas tem um truque: eles fazem isso em equipe. Uma pessoa começa, para, e a próxima pessoa continua de onde a anterior parou.

  • Por que isso importa? Isso simula uma linha de montagem real, onde um erro de um funcionário afeta o próximo, e eles precisam se comunicar e corrigir o trabalho um do outro.

3. A "Mochila de Super-Herói" (Os Sensores)

Cada voluntário usou uma mochila cheia de tecnologia, como se fosse um super-herói do futuro:

• Câmeras no corpo (Egocêntricas): Como se fosse a visão do robô através dos olhos do humano.
• Câmeras na sala (Exocêntricas): Como se fosse um segurança observando de cima.
• Sensores de movimento (IMUs): Como se fossem "tatuagens inteligentes" nos pulsos e na cabeça que sentem cada tremor e giro.
• Sensores de som: Gravaram o barulho das ferramentas (o "clique" da chave de fenda, o "taco" do martelo).
• Sensores térmicos e de luz: Para ver o calor e a profundidade das coisas.

Isso criou mais de 200 canais de informação diferentes, tudo sincronizado perfeitamente. É como se você pudesse ouvir o som, ver o movimento, sentir o calor e ler o pensamento da pessoa, tudo ao mesmo tempo.

4. Por que isso é um "Milagre" para a IA?

Antes do OpenMarcie, era como tentar ensinar alguém a cozinhar apenas mostrando fotos de pratos prontos. Agora, com o OpenMarcie, é como se você tivesse:

1. O vídeo da pessoa cozinhando.
2. O som da panela fritando.
3. A sensação de quanto peso ela está levantando.
4. A descrição do que ela está pensando ("agora vou cortar a cebola").

Isso permite que a IA aprenda três coisas vitais:

• Reconhecer a ação: Saber que a pessoa está "apertando um parafuso" e não apenas "movendo a mão".
• Descrever com palavras: A IA pode gerar legendas automáticas como "Ele está usando uma chave de fenda para ajustar o motor".
• Conectar os pontos: Se a IA ouvir o som de um martelo, ela sabe que a imagem deve mostrar alguém batendo algo, mesmo que a imagem esteja escura.

5. O Resultado Final

O OpenMarcie é como um campo de treinamento de elite para robôs industriais.

• Ele ajuda a criar fábricas mais seguras (detectando posturas ruins).
• Permite que robôs colaborem melhor com humanos (entendendo o que o humano vai fazer antes que ele faça).
• Ajuda a treinar trabalhadores novos, mostrando onde eles erraram.

Resumo da Ópera:
Os pesquisadores criaram um "filme" super detalhado de pessoas montando coisas, mas em vez de apenas filmar, eles vestiram as pessoas com sensores que captaram cada som, movimento e pensamento. Agora, qualquer cientista de dados no mundo pode usar esse "filme" para ensinar robôs a entender o mundo real das fábricas, tornando a indústria mais inteligente, segura e eficiente.

É a diferença entre ensinar um robô a "andar" e ensinar um robô a "dançar" com os humanos.

Resumo técnico

Resumo Técnico: OpenMarcie

1. Problema e Motivação

A integração de inteligência humana em fábricas inteligentes (Indústria 4.0) depende criticamente do reconhecimento preciso de atividades humanas (HAR - Human Activity Recognition). Embora existam datasets existentes para HAR em ambientes industriais, o artigo identifica três limitações principais na literatura atual:

1. Falta de Multimodalidade Sincronizada: A maioria dos conjuntos de dados não combina sensores vestíveis (wearables), visão (câmeras) e áudio de forma sincronizada.
2. Restrição de Tarefas: Os dados existentes frequentemente focam em tarefas altamente controladas e baseadas em protocolos rígidos, não refletindo a natureza aberta, procedural e colaborativa do trabalho industrial real.
3. Diversidade e Complexidade Limitadas: Há uma escassez de diversidade demográfica e de complexidade de tarefas (ex: falta de tarefas de montagem colaborativa ou com múltiplos passos longos).

Além disso, métodos baseados apenas em visão levantam preocupações de privacidade e risco de vazamento de propriedade intelectual em ambientes industriais, tornando a multimodalidade (com sensores vestíveis) essencial.

2. Metodologia e Coleta de Dados

O OpenMarcie é apresentado como o maior dataset multimodal projetado especificamente para monitoramento de ações humanas em ambientes de manufatura. O dataset foi construído através de dois cenários experimentais distintos envolvendo 36 participantes:

• Cenário Ad-Hoc (Montagem de Bicicleta):

  • Natureza: Tarefa orientada a objetivos, mas sem um protocolo fixo. Os participantes devem montar/desmontar uma bicicleta autonomamente, permitindo caminhos divergentes e resolução de problemas.
  • Objetivo: Simular cenários de reparo não roteirizados e avaliar a aquisição de conhecimento procedural natural.
  • Configuração: 12 participantes com sensores vestíveis (IMU, barômetro, termal, espectrômetro) e câmeras egocêntricas/exocêntricas.

• Cenário Procedural (Montagem de Impressora 3D):

  • Natureza: Tarefa altamente procedural seguindo instruções detalhadas do fabricante (Kit Prusa i3 MK3S+).
  • Dinâmica Colaborativa: Os participantes montam a impressora sequencialmente. Um participante continua onde o anterior parou, exigindo avaliação do progresso alheio e correção de erros, refletindo dinâmicas reais de linha de produção.
  • Configuração: 24 participantes (dados válidos) com configuração similar de sensores, mas adaptada à ergonomia da tarefa.

Sensores e Modalidades:
O dataset possui mais de 37 horas de dados, cobrindo 8 modalidades e mais de 200 canais de informação independentes:

• Visão: Câmeras RGB-D (ZED e iPhone LiDAR) em visão egocêntrica (peito/cabeça) e exocêntrica (ambiente).
• Inercial e Posicional: IMUs (acelerômetro, giroscópio), magnetômetros e barômetros nas mãos, cabeça e peito.
• Áudio: Gravações estéreo instrumentais (voz removida para privacidade, mantendo sons de ferramentas e ambiente).
• Outros Sensores: Câmeras térmicas, espectrômetros e sensores de pressão barométrica.

Anotação e Ground Truth:

• Utilizou-se uma abordagem híbrida: anotação manual humana baseada em esquemas "verbo-objeto-ferramenta" com consciência de intenção.
• LLMs como Tradutores: Grandes Modelos de Linguagem (GPT-4o e DeepSeek-r1) foram utilizados para traduzir descrições humanas em "soft labels" (descrições naturais) e "hard labels" (classes discretas), garantindo consistência e escalabilidade, validados por verificações de consistência bidirecional.
• Privacidade: Todos os dados foram anonimizados (desfocagem de rostos, remoção de voz humana, mantendo apenas sons instrumentais).

3. Principais Contribuições

1. Dataset Unificado: O OpenMarcie é o único dataset industrial que unifica wearables, vídeo multiview (egocêntrico + exocêntrico), anotações de ações concorrentes (multi-action) e cobertura completa de cenários industriais.
2. Realismo e Diversidade: Captura tanto tarefas abertas (ad-hoc) quanto procedurais, incluindo colaboração sequencial e correção de erros, com uma demografia diversificada (36 participantes, múltiplos países, variados níveis de experiência).
3. Benchmarks Robustos: Estabelece três tarefas de validação principais para a comunidade:
   • Reconhecimento de Atividade Humana (HAR).
   • Legendagem de Vocabulário Aberto (Open Vocabulary Captioning).
   • Alinhamento Cross-Modal.

4. Resultados e Avaliação

Os autores avaliaram o dataset utilizando modelos de fusão tardia (late-fusion) e arquiteturas modernas (Perceiver IO, AnyMAL):

• Reconhecimento de Atividade (HAR):

  • A fusão multimodal superou consistentemente os modelos unimodais.
  • A combinação Inercial + Visão (IMU + Video) obteve os melhores resultados (Macro F1 ~0.88 no cenário de bicicleta e ~0.77 no de impressora 3D).
  • O áudio isolado teve desempenho baixo, mas contribuiu significativamente quando combinado com outras modalidades, especialmente para detectar eventos de contato com ferramentas (ex: marteladas, parafusos).

• Legendagem de Vocabulário Aberto:

  • A tarefa visa gerar descrições livres de ações. A combinação Inercial + Visão novamente liderou, demonstrando a importância dos sensores de movimento para entender a intenção quando a visão é ambígua.
  • Modelos baseados em LLM (AnyMAL) superaram as bases de fusão tardia.

• Alinhamento Cross-Modal:

  • Utilizando aprendizado contrastivo (inspirado no ImageBind), o dataset permitiu alinhar vídeo, IMU, áudio e texto em um espaço de embedding compartilhado.
  • A fusão de todas as modalidades (I + A + V + T) resultou no melhor desempenho de recuperação (Recall@1), validando a riqueza dos dados sincronizados.

• Limitações do Áudio:

  • Experimentos adicionais mostraram que a anonimização (remoção de voz) reduz o desempenho do áudio, mas ele permanece útil para detectar interações físicas (contato ferramenta-material).

5. Significado e Impacto

O OpenMarcie representa um avanço significativo para a pesquisa em IA Embarcada e Robótica Industrial:

• Validade Ecológica: Ao focar em fluxos de trabalho reais (com erros, correções e colaboração), o dataset permite treinar modelos mais robustos para ambientes de fábrica reais, superando a lacuna entre dados sintéticos/controlados e o mundo real.
• Privacidade e Segurança: A abordagem multimodal com wearables oferece uma alternativa viável à vigilância baseada apenas em câmeras, mitigando riscos de privacidade e vazamento de segredos industriais.
• Futuro da Pesquisa: O dataset habilita novas linhas de pesquisa em planejamento procedural, avaliação de habilidades, previsão de intenções e aprendizado por transferência entre modalidades, servindo como um testbed fundamental para sistemas de automação centrados no ser humano.

O dataset e o código-fonte estão disponíveis publicamente para a comunidade de pesquisa.