Vision-Language Models for Infrared Industrial Sensing in Additive Manufacturing Scene Description

Titel: Vision-Language Models voor Infrarood Industriële Sensing in Additieve Productie

1. Probleemstelling

In veel industriële omgevingen, zoals gesloten additieve productiemachines (3D-printers), werken conventionele visiesystemen op basis van RGB-camera's onbetrouwbaar door gebrek aan licht of reflecties. Infrarood (IR) camera's bieden een uitstekend alternatief omdat ze temperatuurverschillen detecteren zonder afhankelijk te zijn van omgevingslicht.

Echter, bestaande AI-systemen voor IR-beeldverwerking zijn doorgaans supervised learning-modellen die grote hoeveelheden gelabelde datasets vereisen. Het verzamelen en labelen van deze data is tijdrovend, arbeidsintensief en moeilijk te schalen naar nieuwe scenario's. Daarnaast zijn moderne Vision-Language Models (VLMs), zoals CLIP, getraind op natuurlijke RGB-afbeeldingen en kunnen ze IR-data (die vaak als enkelvoudige intensiteitskaarten verschijnt) niet direct interpreteren. Er is een duidelijke kloof tussen de capaciteiten van state-of-the-art VLMs en de toepassing ervan op thermische beeldvorming in de industrie.

2. Methodologie: VLM-IRIS

De auteurs introduceren VLM-IRIS (Vision–Language Models for InfraRed Industrial Sensing), een zero-shot framework dat VLMs toestaat om thermische IR-afbeeldingen te analyseren zonder het model opnieuw te trainen. Het doel is het detecteren van de aanwezigheid van een object op een printbed (twee klassen: present of absent).

Het framework bestaat uit drie kernstappen:

• A. Preprocessing en Modale Adaptatie:
  Omdat CLIP is getraind op RGB-data, moeten de enkelkanale thermische beelden worden omgezet naar een drie-kanaals RGB-formaat. Drie strategieën worden getest:

  1. Grijswaarden (Grayscale): De temperatuurintensiteit wordt gekopieerd naar drie kanalen. Dit behoudt de fysieke nauwkeurigheid maar mist kleurinformatie.
  2. Magma-kleurenschaal: Een veelgebruikte wetenschappelijke kleurenschaal die intensiteit omzet in oranje/rode tinten.
  3. Viridis-kleurenschaal: Een andere wetenschappelijke schaal die overgaat van paars naar geel/groen.
     Doel: Het testen welke methode de IR-data het beste "vertaalt" naar patronen die CLIP tijdens zijn pre-training heeft geleerd.

• B. Prompt Engineering (Centroid Prompt Ensembling):
  In plaats van één tekstuele prompt te gebruiken, wordt een prompt bank opgezet met meerdere zinnen die dezelfde scène beschrijven (bijv. "een thermische afbeelding van een oppervlak met een object" vs. "een lege hete plaat").

  • De embeddings van al deze prompts worden gemiddeld om een centroïde te vormen.
  • Dit vermindert de gevoeligheid voor de exacte woordkeuze en creëert een stabielere representatie van de klasse in de gedeelde embedding-ruimte.

• C. Classificatie:
  De voorverwerkte IR-afbeelding en de centroid-prompten worden ingevoerd in een vooraf getrainde CLIP-modellen (ViT-B/32). De classificatie gebeurt door de cosine-sondering (cosine similarity) te berekenen tussen de beeld-embedding en de tekst-centroïden. De klasse met de hoogste overeenkomst wordt als voorspelling gekozen.

3. Experimentele Opstelling

• Hardware: Een Prusa MK3S 3D-printer en een FLIR Boson thermische camera.
• Dataset: 200 afbeeldingen (100 met object, 100 zonder object) met verschillende geometrieën en maten.
• Condities: Data is verzameld onder twee thermische omstandigheden:
  1. Hete bed: ~85°C (klein temperatuurverschil tussen bed en object).
  2. Kamer temperatuur: ~34°C (object is afgekoeld, groter contrast).

4. Resultaten

De experimenten tonen aan dat VLMs thermische data succesvol kunnen interpreteren met de juiste aanpassingen.

• Invloed van Temperatuur: Alle methoden presteerden aanzienlijk beter bij kamertemperatuur dan bij een heet bed. Bij hoge temperaturen zijn de gradiënten zachter en lijken de beelden minder op de scherpe contrasten waar CLIP op is getraind, wat tot verwarring leidt.
• Invloed van Preprocessing:
  • Magma: Presteerde het beste, vooral bij kamertemperatuur waar het 100% nauwkeurigheid, precisie en recall behaalde. De kleurgradiënten van magma lijken het meest op de natuurlijke patronen die CLIP kent.
  • Grayscale: Presteerde goed bij kamertemperatuur (99% nauwkeurigheid) maar had lagere recall bij hete bedden (missende objecten).
  • Viridis: Presteerde sterk maar vertoonde meer vals-positieven (objecten detecteren waar geen zijn) bij hete bedden, waarschijnlijk door kunstmatige randen die door de kleurenschaal worden geïntroduceerd.
• Invloed van Prompt Strategie: De centroid prompting (gemiddelde van meerdere prompts) overtrof consistent de "single prompt" strategie. Dit bevestigt dat het ensemble van prompts robuuster is tegen variaties in formulering.

Beste Configuratie: Magma preprocessing + Centroid prompting + Kamertemperatuur dataset = 100% nauwkeurigheid.

5. Belangrijkste Bijdragen en Significantie

1. Zero-Shot Adaptatie: Het artikel bewijst dat vooraf getrainde VLMs (zoals CLIP), die uitsluitend op RGB-data zijn getraind, effectief kunnen worden toegepast op industriële thermische beeldvorming zonder enige hertraining of gelabelde IR-datasets.
2. Modale Overbrugging: Het introduceert een praktische methode om de "modale kloof" te overbruggen door IR-data te converteren naar RGB-achtige representaties (via kleurenschalen) die door de VLM kunnen worden begrepen.
3. Robuustheid in Industrie: Het framework biedt een schaalbare oplossing voor automatische kwaliteitscontrole en procesmonitoring in additieve productie. Het is onafhankelijk van specifieke materialen of printers, zolang er sprake is van thermisch contrast.
4. Toekomstperspectief: De methode opent de deur voor label-vrije monitoring in complexe industriële omgevingen. Toekomstig werk richt zich op het uitbreiden naar defectdetectie (niet alleen aanwezigheid) en het fine-tunen van modellen op specifieke industriële IR-datasets om de robuustheid verder te vergroten.

Conclusie: VLM-IRIS demonstreert dat vision-language modellen een krachtig, flexibel en kostenefficiënt hulpmiddel kunnen zijn voor industriële sensoren, mits de juiste preprocessing en prompt-engineering worden toegepast om de beperkingen van de oorspronkelijke training (RGB) te overwinnen.