Vision-Language Models for Infrared Industrial Sensing in Additive Manufacturing Scene Description

Título: Modelos Visión-Lenguaje para Sensado Industrial Infrarrojo en Escenas de Manufactura Aditiva

1. Problema

Los entornos de fabricación, especialmente en la manufactura aditiva (impresión 3D), a menudo operan en condiciones de baja luz o dentro de máquinas cerradas, lo que limita la eficacia de los sistemas de visión convencionales basados en cámaras RGB. Aunque las cámaras de infrarrojos (IR) térmicas ofrecen una alternativa robusta al no depender de la luz ambiental y capturar contrastes basados en temperatura, su integración con la Inteligencia Artificial presenta desafíos:

• Dependencia de datos etiquetados: Los sistemas supervisados tradicionales requieren grandes conjuntos de datos etiquetados específicos para cada tarea y entorno, lo cual es costoso y laborioso de obtener.
• Brecha de modalidad: Los Modelos Visión-Lenguaje (VLM) de vanguardia, como CLIP, han demostrado capacidades excepcionales de aprendizaje "zero-shot" (sin entrenamiento previo para la tarea específica), pero están entrenados exclusivamente con datos RGB naturales. No pueden interpretar directamente datos de infrarrojos térmicos (mapas de intensidad de un solo canal).
• Necesidad de adaptabilidad: En la industria, es crucial poder detectar la presencia de objetos o defectos en nuevas configuraciones sin reentrenar modelos cada vez que cambian las condiciones o los materiales.

2. Metodología: VLM-IRIS

El artículo presenta VLM-IRIS (Vision–Language Models for InfraRed Industrial Sensing), un marco de trabajo zero-shot diseñado para adaptar los VLMs a datos térmicos sin reentrenamiento. La metodología se compone de tres etapas principales:

• A. Preprocesamiento y Adaptación de Modalidad:
  Dado que los VLMs (como CLIP) esperan entradas RGB de tres canales, las imágenes térmicas de un solo canal se convierten en representaciones RGB compatibles mediante tres estrategias de mapeo de color:

  1. Escalas de grises: Normalización y replicación del canal térmico (preserva la señal física real).
  2. Mapa de colores Magma: Transforma la intensidad en una distribución de colores estructurada (naranjas/rojos) común en visualizaciones científicas.
  3. Mapa de colores Viridis: Transforma la intensidad en una distribución verde-amarilla.
     El objetivo es encontrar qué transformación permite que el modelo VLM interprete mejor los patrones térmicos basándose en sus filtros preentrenados en RGB.

• B. Bancos de Prompts (Prompt Engineering):
  En lugar de usar una sola frase para describir una clase (ej. "objeto presente"), se crea un banco de prompts con múltiples descripciones textuales variadas para cada categoría ("presente" y "ausente").

  • Se utiliza una estrategia de ensamble de centroides: Los embeddings (representaciones vectoriales) de todos los prompts de una clase se promedian para crear un "centroide" de clase. Esto reduce la sensibilidad a la redacción específica de una sola frase y proporciona una representación más estable en el espacio semántico compartido.

• C. Clasificación por Similitud de Coseno:
  Se utiliza el modelo preentrenado CLIP (ViT-B/32).

  1. La imagen térmica preprocesada se codifica en un vector de características visuales.
  2. Los centroides de los prompts textuales se codifican en el mismo espacio de embeddings multimodal.
  3. La predicción se realiza calculando la similitud de coseno entre el vector de la imagen y los centroides de las clases. La clase con la mayor similitud se selecciona como la predicción.

3. Contribuciones Clave

• VLM-IRIS: Introducción de un marco zero-shot que cierra la brecha entre los VLMs entrenados en RGB y los datos de sensores térmicos industriales.
• Validación de Preprocesamiento: Demostración de que la elección del mapa de colores (Magma, Viridis, Escala de grises) impacta significativamente en el rendimiento, ya que los VLMs son sensibles a las estadísticas de color aprendidas durante su preentrenamiento.
• Estrategia de Centroides: Evidencia de que promediar múltiples prompts (centroides) mejora la robustez y precisión en comparación con el uso de un único prompt, mitigando la variabilidad semántica.
• Aplicación Industrial: Validación exitosa en un entorno real de manufactura aditiva (impresora 3D Prusa MK3S) para la detección de presencia de piezas, un requisito crítico para la automatización robótica.

4. Resultados Experimentales

El marco se probó en una impresora 3D con dos condiciones térmicas: cama caliente (85°C) y temperatura ambiente (34°C). Se evaluaron 200 imágenes con diversas geometrías de piezas.

• Rendimiento General: El enfoque zero-shot funcionó efectivamente sin reentrenamiento.
• Mejor Configuración: La combinación de preprocesamiento Magma con prompts de tipo centroide logró el mejor rendimiento global.
  • En condiciones de temperatura ambiente, alcanzó 100% de precisión, recall y exactitud.
  • En condiciones de cama caliente, logró un 92% de exactitud.
• Comparación de Preprocesamiento:
  • Magma: Fue el más robusto. Los gradientes de color estructurados ayudaron al modelo a separar la pieza del fondo, imitando mejor los patrones de color que CLIP espera ver.
  • Escala de grises: Funcionó muy bien en temperatura ambiente (99% de exactitud) pero tuvo dificultades en la cama caliente (83%), perdiendo la detección de objetos cuando el contraste térmico era bajo.
  • Viridis: Mostró buen rendimiento general (95% en ambiente), pero tendió a generar falsos positivos en condiciones de alta temperatura, posiblemente interpretando gradientes de calor reflejados como bordes de objetos.
• Impacto de la Temperatura: Las condiciones de temperatura ambiente facilitaron la clasificación porque los gradientes térmicos eran más estables y se asemejaban más a las imágenes RGB naturales en las que se entrenó el modelo.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Monitorización sin Etiquetas: Permite la implementación de sistemas de control de calidad y automatización en entornos industriales sin la necesidad costosa de recopilar y etiquetar grandes conjuntos de datos térmicos.
• Adaptabilidad: El sistema no está atado a un material o máquina específica. Aunque los prompts pueden necesitar ajustes menores para diferentes materiales (por emisividad), el pipeline central permanece igual, facilitando la escalabilidad.
• Nueva Ruta para VLMs en Industria: Demuestra que los modelos fundacionales de visión-lenguaje pueden extenderse más allá de la visión RGB a dominios térmicos, abriendo la puerta a tareas más complejas como la detección de defectos en tiempo real en la manufactura aditiva.
• Eficiencia: Al evitar el reentrenamiento y utilizar inferencia rápida en CPU, ofrece una solución práctica y económica para la Industria 4.0.

En conclusión, VLM-IRIS establece un nuevo estándar para la integración de sensores térmicos en flujos de trabajo de IA industrial, demostrando que con el preprocesamiento adecuado y una ingeniería de prompts inteligente, los modelos preentrenados pueden entender y actuar sobre datos térmicos complejos de manera inmediata.