Toward Multimodal Industrial Fault Analysis: A Single-Speed Chain Conveyor Dataset with Audio and Vibration Signals

Este artigo apresenta um novo conjunto de dados multimodal para análise de falhas industriais, coletado de um transportador de corrente de velocidade única com sinais de áudio e vibração, projetado para suportar pesquisa em detecção de falhas e fusão multimodal sob diversas condições operacionais e de ruído.

O essencial

Imagine que você é um mecânico experiente tentando descobrir o que há de errado com uma esteira rolante gigante em uma fábrica. Normalmente, você usaria duas coisas principais para diagnosticar o problema: ouvidos (para ouvir barulhos estranhos) e mãos (para sentir vibrações estranhas).

Este artigo apresenta um novo "kit de treinamento" para ensinar computadores a fazerem exatamente isso, mas de forma muito mais avançada e realista.

Aqui está a explicação do projeto, usando analogias simples:

1. O Problema: Treinar em um Laboratório Limpo vs. Fábrica Real

Até agora, a maioria dos dados usados para treinar computadores a detectar falhas industriais vinha de laboratórios super limpos e silenciosos. Era como tentar ensinar alguém a dirigir em um dia de sol, em uma pista vazia, e depois esperar que essa pessoa dirigisse bem em uma tempestade de neve com trânsito caótico.

Além disso, muitos conjuntos de dados antigos focavam apenas em uma peça de máquina (como um rolamento) e usavam apenas um tipo de sensor (ou som, ou vibração). Na vida real, as fábricas são barulhentas, cheias de ruídos de outras máquinas, e as falhas afetam o sistema inteiro, não apenas uma peça isolada.

2. A Solução: O "SSCC" (A Esteira de Teste)

Os autores criaram um novo conjunto de dados chamado SSCC (Esteira de Corrente de Velocidade Única). Pense nele como um "simulador de voo" para máquinas industriais.

• O Cenário: Eles construíram uma esteira rolante real em um laboratório, mas a deixaram funcionar como se estivesse em uma fábrica de verdade.
• Os "Sentidos" da Máquina: Em vez de apenas um microfone ou um sensor, eles usaram 7 sensores ao mesmo tempo:
  • 3 "Orelhas": Um gravador profissional, um iPhone e um celular Xiaomi. Isso captura o som de diferentes ângulos e com diferentes qualidades (como ter três pessoas ouvindo a mesma coisa).
  • 4 "Mãos": Sensores de vibração presos em lugares diferentes da esteira para sentir como a máquina treme.
• O "Ruído de Fundo": Para tornar tudo realista, eles tocaram gravações de ruído de fábrica real através de caixas de som ao redor da esteira. É como treinar um detetive em um quarto silencioso e depois mandá-lo para um show de rock para encontrar uma agulha no palheiro.

3. O Que Eles Estão Procurando? (Os "Doentes")

A esteira foi submetida a quatro tipos de "doenças" comuns, além de funcionar normalmente:

1. Seca (Dry): A corrente não tem óleo suficiente (como um carro sem lubrificante).
2. Desalinhada (Lean): Os trilhos estão tortos.
3. Frouxa (Loose): A corrente está muito frouxa, batendo e rangendo.
4. Queda de Parafuso (Screwdrop): Um objeto estranho caiu na esteira, quase causando um engasgo.

Eles testaram tudo isso com diferentes velocidades (lento, médio, rápido) e diferentes pesos (carga leve, média, pesada).

4. Como Eles Testaram os Computadores?

Os pesquisadores não criaram um novo algoritmo complexo do zero. Em vez disso, eles usaram um método simples e justo, como um "teste de memória":

• Detecção de Falhas (O Detetive): O computador vê apenas exemplos de máquinas funcionando perfeitamente. Depois, ele recebe uma nova amostra. Se a nova amostra parecer muito diferente do que ele viu antes (como um som estranho ou uma vibração nova), ele grita: "Falha!".
• Classificação (O Especialista): O computador recebe exemplos de todas as doenças e precisa dizer exatamente qual é: "É a seca!" ou "É a queda de parafuso!".

Eles usaram "cérebros" de IA pré-treinados (modelos que já aprenderam a ouvir sons e sentir vibrações em outros lugares) para ver qual funcionava melhor com esses novos dados.

5. O Que Eles Descobriram?

Os resultados foram interessantes e mostram que ouvir e sentir é melhor do que apenas uma das coisas:

• Para achar que algo está errado (Detecção): O som (áudio) foi geralmente melhor. Pequenos estalos ou mudanças no tom da máquina foram mais fáceis de ouvir do que de sentir na vibração.
• Para dizer exatamente qual é o problema (Classificação): A combinação foi a vencedora.
  • Para o problema de "parafuso caído", a vibração foi melhor (porque o impacto mecânico é forte).
  • Para o problema de "corrente frouxa", o som foi melhor (porque o rangido é característico).
  • Juntando os dois, o computador acertou muito mais do que usando apenas um sentido.

Resumo Final

Este trabalho é como abrir uma nova escola de detetives industriais. Eles forneceram um "campo de treinamento" realista, com barulho, diferentes cargas e múltiplos sensores, para que pesquisadores do mundo todo possam testar suas ideias.

A grande lição é: Para diagnosticar máquinas complexas, precisamos de uma abordagem multimodal. Assim como um médico olha os exames de sangue, escuta o coração e pergunta sobre os sintomas, a inteligência artificial precisa ouvir o som, sentir a vibração e considerar o ruído do ambiente para diagnosticar falhas industriais com precisão.

O conjunto de dados e o código estão disponíveis publicamente para que qualquer pessoa possa continuar essa pesquisa e criar sistemas de manutenção mais inteligentes e seguros.

Resumo técnico

Resumo Técnico: Análise Multimodal de Falhas Industriais – Um Conjunto de Dados de Esteira Transportadora de Corrente de Velocidade Única com Sinais de Áudio e Vibração

1. Problema e Motivação

A análise precoce de falhas é crucial para a manutenção de linhas de produção automatizadas. No entanto, a pesquisa atual em monitoramento de condições industriais enfrenta três limitações principais nos conjuntos de dados públicos disponíveis:

• Condições de Laboratório: A maioria dos dados é coletada em ambientes controlados, sem a complexidade de ruídos reais de fábrica.
• Foco em Componentes Isolados: Os conjuntos de dados existentes (como CWRU) focam em componentes individuais (rolamentos, motores) em vez de sistemas completos.
• Unimodalidade: A maioria dos dados utiliza apenas um tipo de sensor (áudio ou vibração), ignorando informações complementares que poderiam ser obtidas através da fusão multimodal.
• Ruído Sintético: O ruído ambiental é frequentemente adicionado via augmentação sintética, o que não reflete fielmente a interferência acústica estruturada e forte presente em cenários industriais reais.

O objetivo deste trabalho é preencher essas lacunas introduzindo um novo conjunto de dados multimodal projetado para a detecção de falhas em nível de sistema em condições industriais realistas.

2. Metodologia e Descrição do Conjunto de Dados (SSCC)

O artigo apresenta o SSCC (Single-Speed Chain Conveyor), um conjunto de dados multimodal coletado de uma esteira transportadora de corrente de velocidade única, um sistema mecânico amplamente utilizado na indústria.

• Configuração Experimental:

  • Sistema: Uma esteira de corrente completa, operando em fluxo unidirecional (sem retorno de peças), simulando linhas de produção reais.
  • Condições Operacionais: Os dados foram coletados variando a velocidade (5 níveis: 20 a 100) e a carga (leve, média, pesada).
  • Ruído Ambiental: Diferente de outros conjuntos, o ruído de fábrica real foi gravado no local e reproduzido através de alto-falantes durante a coleta de dados, criando cenários "limpos" e "ruidosos" controlados.

• Sensores e Modalidades:

  • Áudio (3 canais): Capturado simultaneamente por três dispositivos heterogêneos: um gravador Zoom H5, um iPhone 11 e um smartphone Xiaomi Mi 9 SE. Isso introduz diversidade natural de canais devido às diferenças nos microfones e pipelines de gravação.
  • Vibração (4 canais): Um sensor uniaxial no motor (vibração localizada) e um sensor triaxial na extremidade oposta (resposta sistêmica).
  • Total: 7 canais de sinal sincronizados por amostra.

• Tipos de Falha e Anotação:
  O conjunto cobre a operação normal e quatro tipos representativos de falhas:

  1. Lean (Inclinado): Desalinhamento do trilho guia.
  2. Dry (Seco): Lubrificação insuficiente da corrente.
  3. Loose (Frouxo): Excesso de folga nas correntes laterais.
  4. Screwdrop (Queda de Parafuso): Intrusão de corpo estranho causando obstrução.
  • Total de amostras: 6.669 (segmentos de 5 segundos).

• Protocolos de Avaliação:
  Foram estabelecidos protocolos padronizados para duas tarefas:

  1. Detecção de Falhas (Não Supervisionada): Treinamento apenas com dados normais (normal-only) e teste com dados anômalos e normais em velocidades não vistas durante o treino (Zero-shot).
  2. Classificação de Falhas (Supervisionada): Classificação multiclasse com divisão de dados que exclui certas velocidades e tipos de falha do conjunto de treino para testar a generalização.
  • Baseline Unificado: Utilização de um classificador k-NN (k-Vizinhos Mais Próximos) baseado em canais, sem treinamento específico para a tarefa, para avaliar a qualidade intrínseca das representações de características (embeddings) extraídas por modelos pré-treinados.

3. Contribuições Principais

1. Novo Conjunto de Dados Multimodal: O primeiro conjunto de dados focado em um sistema de esteira transportadora completo, com 7 canais sincronizados (3 áudio, 4 vibração) e ruído industrial real reproduzido.
2. Protocolos de Avaliação Rigorosos: Definição de benchmarks padronizados para detecção (treino apenas normal) e classificação, permitindo comparações justas entre diferentes métodos de aprendizado de máquina.
3. Análise de Fusão Multimodal: Demonstração prática de como a fusão de áudio e vibração supera abordagens unimodais em cenários complexos.
4. Acesso Público: Disponibilização do código, do conjunto de dados e de uma demonstração para a comunidade de pesquisa.

4. Resultados e Análise

Os autores avaliaram o desempenho utilizando seis modelos de fundação pré-treinados (BEATs, CED, DaSheng, EAT, ECHO, FISHER) em três visões: Áudio, Vibração e Fusão.

• Detecção de Falhas (AUROC):

  • Métodos baseados em áudio geralmente superaram os baseados em vibração na detecção de anomalias (ex: BEATs alcançou 0.868 em áudio vs. 0.784 em vibração).
  • A fusão (áudio + vibração) melhorou o desempenho na maioria dos casos, atingindo o melhor resultado com o modelo BEATs (0.891).
  • Interpretação: Sinais acústicos capturam variações sutis de falhas que são mais discriminativas para detecção de anomalias, enquanto a vibração é frequentemente dominada por componentes periódicos da operação estável.

• Classificação de Falhas (Acurácia e F1):

  • Alta precisão geral foi alcançada em todos os extratores.
  • Complementaridade: A vibração foi superior para a falha "Screwdrop" (respostas mecânicas impulsivas), enquanto o áudio foi superior para a falha "Loose" (sons de atrito e rangido).
  • A fusão multimodal alcançou a melhor acurácia global (ex: 0.967 com DaSheng), superando consistentemente as modalidades individuais, exceto em casos específicos onde um modelo pré-treinado já era extremamente especializado.

5. Significância e Conclusão

Este trabalho estabelece um novo padrão para a pesquisa em monitoramento de condições industriais. Ao fornecer dados de um sistema completo sob condições de ruído realistas e com múltiplas modalidades, o conjunto de dados SSCC permite:

• A validação de algoritmos de aprendizado de representação que são robustos a ruídos e variações operacionais.
• O avanço de técnicas de fusão multimodal, mostrando que a combinação de sensores heterogêneos é essencial para capturar a natureza complexa das falhas industriais.
• A transição de benchmarks de laboratório para cenários de deploy realista, onde o ruído e a complexidade do sistema são inevitáveis.

Os resultados indicam que, embora baselines simples (como k-NN) já ofereçam desempenho razoável, existe um grande potencial para ganhos futuros através de abordagens mais avançadas de aprendizado de representação acústica e fusão multimodal. O conjunto de dados serve como uma base sólida e extensível para o desenvolvimento de sistemas de manutenção preditiva mais robustos.