Vision-Language Models for Infrared Industrial Sensing in Additive Manufacturing Scene Description

1. Problema e Motivação

O ambiente de manufatura, especialmente na manufatura aditiva (impressão 3D), frequentemente opera em condições de baixa luminosidade ou dentro de máquinas fechadas, onde sistemas de visão convencionais baseados em câmeras RGB falham. Câmeras de infravermelho (IR) térmico oferecem uma alternativa robusta, pois não dependem da luz ambiente e capturam contrastes baseados em temperatura.

No entanto, a aplicação de Inteligência Artificial (IA) nesses cenários enfrenta dois desafios principais:

1. Dependência de Dados Rotulados: Sistemas supervisionados tradicionais exigem grandes conjuntos de dados rotulados, o que é caro, demorado e difícil de adaptar a novos cenários dinâmicos.
2. Limitação dos Modelos Visão-Linguagem (VLMs): Modelos de ponta como o CLIP (Contrastive Language-Image Pre-training) são treinados quase exclusivamente em dados RGB naturais. Eles não conseguem processar diretamente dados de infravermelho térmico (mapas de intensidade de um único canal), criando uma lacuna de "domínio" (modality gap).

O objetivo deste trabalho é desenvolver um framework de aprendizado zero-shot (sem necessidade de re-treinamento) que permita a modelos VLMs interpretarem dados de infravermelho térmico para tarefas de detecção de presença de objetos em impressoras 3D.

2. Metodologia: Framework VLM-IRIS

Os autores propõem o VLM-IRIS (Vision–Language Models for InfraRed Industrial Sensing), um framework que adapta dados térmicos para serem compatíveis com encoders VLMs pré-treinados. O processo envolve três etapas principais:

A. Pré-processamento e Adaptação de Modalidade

Como os VLMs esperam imagens RGB de três canais, as imagens térmicas brutas (single-channel) são convertidas usando três estratégias de mapeamento de cor diferentes:

1. Escala de Cinza (Grayscale): Normalização e replicação do canal de intensidade em três canais. Preserva o contraste térmico real sem cores artificiais.
2. Mapa de Cores Magma: Converte a intensidade térmica em uma distribuição de cores estruturada (comumente usada em visualização científica), criando gradientes de cor que podem ressoar melhor com os filtros de cor aprendidos pelo modelo.
3. Mapa de Cores Viridis: Similar ao Magma, mas com uma paleta de cores verde-amarela.

B. Engenharia de Prompts (Prompt Engineering)

Em vez de usar um único prompt de texto para definir uma classe (ex: "objeto presente"), o framework utiliza um Banco de Prompts (Prompt Bank).

• Múltiplas descrições textuais variadas são criadas para cada classe ("presente" e "ausente").
• Os embeddings de texto de todos os prompts de uma classe são média ponderada para formar um centroide (centroid).
• Objetivo: Reduzir a sensibilidade do modelo a variações específicas de redação e criar uma representação textual mais estável e robusta no espaço de embedding compartilhado.

C. Classificação Zero-Shot

O framework utiliza o modelo CLIP (ViT-B/32) pré-treinado:

1. A imagem térmica pré-processada é codificada pelo encoder de imagem do CLIP.
2. O centroide do prompt da classe é codificado pelo encoder de texto.
3. A similaridade cosseno entre o embedding da imagem e os centroides das classes é calculada.
4. A classe com a maior similaridade é escolhida como a previsão, sem qualquer ajuste de pesos do modelo (fine-tuning).

3. Configuração Experimental

• Ambiente: Impressora 3D Prusa MK3S com um sensor térmico FLIR Boson montado acima da mesa de impressão.
• Dados: 200 imagens capturadas em duas condições térmicas:
  • Mesa aquecida (~85°C).
  • Mesa em temperatura ambiente (~34°C).
• Variedade: Peças impressas com diferentes geometrias, tamanhos e formas (PETG) para testar a generalização.
• Tarefa: Detecção binária de presença de objeto (Presente vs. Ausente).

4. Resultados Principais

Os resultados demonstraram que o VLM-IRIS é altamente eficaz, alcançando desempenho de ponta sem re-treinamento.

• Melhor Desempenho: A combinação de pré-processamento Magma com prompting baseado em centroide obteve 100% de precisão, recall e acurácia no conjunto de dados em temperatura ambiente.
• Impacto da Temperatura:
  • Temperatura Ambiente: O contraste térmico é mais estável e as bordas são mais nítidas. O pré-processamento em escala de cinza também funcionou muito bem (99% de acurácia), indicando que, quando o contraste é moderado, cores artificiais não são estritamente necessárias.
  • Mesa Quente: O gradiente térmico é suave e as bordas são menos definidas. Aqui, o pré-processamento em escala de cinza teve desempenho inferior (83% de acurácia) devido à confusão entre reflexos térmicos e objetos. Os mapas de cores (Magma e Viridis) superaram a escala de cinza, pois introduziram gradientes de cor artificiais que ajudaram o modelo a separar o objeto do fundo, mimetizando padrões visuais que o CLIP já conhece.
• Estratégia de Prompting: O uso de centroides de prompts (média de múltiplas frases) superou consistentemente o uso de um único prompt, aumentando a robustez e reduzindo a variabilidade nas previsões.

5. Contribuições e Significância

• Ponte de Modalidade: O trabalho prova que modelos VLMs pré-treinados em RGB podem ser aplicados a dados térmicos industriais através de estratégias inteligentes de pré-processamento e engenharia de prompts, eliminando a necessidade de grandes conjuntos de dados rotulados térmicos.
• Monitoramento sem Rótulos (Label-Free): Oferece uma solução viável para monitoramento de qualidade e automação em manufatura aditiva que é fácil de manter e adaptar a novos materiais ou máquinas, bastando ajustar as descrições textuais (prompts) em vez de re-treinar o modelo.
• Validação Prática: Demonstra que a detecção de presença de objetos em plataformas de impressão 3D pode ser realizada com alta confiabilidade usando apenas sensores térmicos e IA zero-shot, um passo crucial para fluxos de trabalho de manufatura autônoma (ex: robôs de pick-and-place).
• Direções Futuras: O estudo sugere que a metodologia pode ser expandida para detecção de defeitos mais complexos e que o ajuste fino (fine-tuning) em conjuntos de dados térmicos específicos poderia melhorar ainda mais a robustez em condições extremas.

Em resumo, o VLM-IRIS estabelece um novo paradigma para a visão computacional industrial em ambientes de baixa luz ou fechados, transformando dados térmicos brutos em informações semânticas acionáveis sem a sobrecarga de treinamento supervisionado tradicional.