Vision-Language Models for Infrared Industrial Sensing in Additive Manufacturing Scene Description

1. 문제 정의 (Problem Statement)

• 배경: 제조 환경, 특히 적층 제조 (3D 프린팅) 는 저조도 조건이나 밀폐된 공간에서 운영되는 경우가 많아 기존 RGB 비전 시스템의 적용에 한계가 있습니다. 적외선 (IR) 카메라는 온도 차이를 기반으로 작동하여 이러한 환경에서 유용한 대안이 됩니다.
• 현황의 한계:
  • 기존 감시 시스템은 대부분 특정 작업과 환경에 맞춰 대량의 레이블이 지정된 데이터셋으로 학습된 감독 학습 (Supervised Learning) 에 의존합니다. 이는 데이터 수집 및 레이블링 비용이 많이 들고, 동적인 제조 환경에 적응하기 어렵습니다.
  • 최신 시맨틱 - 언어 모델 (VLMs, Vision-Language Models) 은 제로샷 (Zero-shot) 학습을 통해 새로운 작업을 재학습 없이 수행할 수 있는 잠재력을 가지고 있으나, 현재 대부분의 VLM(예: CLIP) 은 자연광의 RGB 이미지로만 학습되어 적외선 (열화상) 데이터를 직접 이해하지 못합니다.
• 핵심 문제: 열화상 데이터를 VLM 에 적용하기 위해 별도의 재학습 (Retraining) 없이, 어떻게 효과적으로 적응시킬 수 있는지에 대한 방법론이 부재합니다.

2. 제안된 방법론: VLM-IRIS (Methodology)

저자들은 VLM-IRIS (Vision–Language Models for InfraRed Industrial Sensing) 라는 제로샷 프레임워크를 제안했습니다. 이 프레임워크는 VLM 을 적외선 데이터에 적응시키기 위해 전처리와 프롬프트 엔지니어링을 결합합니다.

2.1 전처리 및 모달리티 적응 (Preprocessing & Modality Adaptation)

VLM 이 RGB 이미지를 처리하도록 설계되었으므로, 단일 채널의 열화상 데이터를 3 채널 RGB 형식으로 변환하는 전처리 과정이 필수적입니다. 세 가지 변환 방식을 비교 평가했습니다.

• Grayscale (회색조): 열 강도를 회색조로 매핑하여 물리적 온도 대비를 유지합니다.
• Magma Colormap: 과학적 시각화에서 널리 쓰이는 'Magma' 색상 팔레트를 사용하여 강도를 RGB 색상 분포로 변환합니다.
• Viridis Colormap: 'Viridis' 색상 팔레트를 사용합니다.
• 목적: VLM 이 학습한 RGB 패턴과 열화상 데이터 간의 모달리티 간극 (Modality Gap) 을 줄이기 위해 인공적인 색상을 도입하는 것이 효과적인지 검증합니다.

2.2 프롬프트 뱅크 및 센트로이드 엔sembling (Prompt Banking & Centroid Ensembling)

• 프롬프트 뱅크: 단일 문장 대신 각 클래스 (물체 있음/없음) 에 대해 다양한 표현의 문장 집합 (뱅크) 을 구성합니다. 이는 모델이 특정 문장 표현에 민감하게 반응하는 것을 방지합니다.
• 센트로이드 (Centroid) 전략: 프롬프트 뱅크 내의 모든 텍스트 임베딩을 평균화하여 하나의 '센트로이드 임베딩'을 생성합니다. 이는 프롬프트의 뉘앙스 차이를 줄이고 더 안정적이고 강건한 클래스 표현을 제공합니다.

2.3 분류 프로세스

1. 입력: FLIR Boson 센서로 촬영된 열화상 데이터를 선택된 전처리 방식 (예: Magma) 으로 RGB 변환.
2. 임베딩: 변환된 이미지와 프롬프트 뱅크를 사전 학습된 CLIP(ViT-B/32) 모델의 이미지/텍스트 인코더에 입력하여 공유 임베딩 공간으로 매핑.
3. 유사도 측정: 이미지 임베딩과 각 클래스의 센트로이드 텍스트 임베딩 간의 코사인 유사도 (Cosine Similarity) 를 계산.
4. 예측: 가장 높은 유사도를 보이는 클래스를 최종 레이블로 결정 (재학습 없음).

3. 실험 설정 (Experimental Setup)

• 데이터셋: Prusa MK3S 3D 프린터와 FLIR Boson 열화상 카메라를 사용.
• 조건:
  • 물체 유무: 베드 위에 프린트된 물체가 있는 경우 (Present) 와 없는 경우 (Absent).
  • 온도 조건: 가열된 베드 (약 85°C) 와 실온 베드 (약 34°C).
  • 다양성: 다양한 크기 (50~150mm) 와 형태의 3D 프린트 부품 사용.
• 모델: 재학습 없이 사전 학습된 CLIP (ViT-B/32) 사용.

4. 주요 결과 (Key Results)

표 1 과 혼동 행렬 (Figure 7) 에 기반한 주요 결과는 다음과 같습니다.

• 전반적 성과: VLM-IRIS 는 재학습 없이 열화상 데이터에서 높은 정확도를 달성했습니다.
• 최고 성능 구성: Magma 전처리 + Centroid 프롬팅 전략이 실온 조건에서 정확도 (Accuracy), 정밀도 (Precision), 재현율 (Recall) 모두 100% 를 기록하며 가장 우수한 성능을 보였습니다.
• 온도의 영향:
  • 실온 조건: 모든 전처리 방식이 높은 성능을 보였으나, Magma 가 가장 일관된 결과를 냈습니다. Grayscale 도 99% 정확도를 기록했으나 Magma 가 미세한 온도 차이를 색상으로 더 잘 표현하여 CLIP 의 필터와 더 잘 맞았습니다.
  • 고온 (Hot-bed) 조건: 베드와 물체의 온도 차이가 작아 경계가 흐릿해지면 Grayscale 방식의 성능이 급격히 떨어졌습니다 (정확도 83%, 재현율 66%). 반면, Magma 와 Viridis 와 같은 색상 맵핑은 인공적인 색상 그라데이션을 통해 경계를 명확히 하여 성능을 크게 향상시켰습니다 (Magma 정확도 92%).
• 프롬팅 전략의 중요성: 단일 프롬프트보다 센트로이드 (여러 프롬프트의 평균) 전략이 모든 조건에서 더 높은 안정성과 정확도를 보였습니다. 이는 프롬프트의 문장 선택에 따른 편향을 줄여주었습니다.

5. 주요 기여 및 의의 (Contributions & Significance)

1. 제로샷 열화상 감지 프레임워크 제안: 레이블이 지정된 데이터나 모델 재학습 없이, 사전 학습된 VLM 을 적층 제조의 열화상 모니터링에 적용할 수 있는 첫 번째 체계적인 프레임워크 (VLM-IRIS) 를 제시했습니다.
2. 모달리티 간극 해소 전략: 열화상 데이터를 VLM 이 이해할 수 있는 RGB 형식으로 변환할 때, 단순한 회색조 변환보다는 Magma 와 같은 과학적 색상 팔레트가 사전 학습된 RGB 특징과 더 잘 매칭되어 성능을 향상시킨다는 사실을 규명했습니다.
3. 강건한 프롬프트 엔지니어링: 프롬프트 뱅크와 센트로이드 기법을 통해 VLM 의 예측을 안정화시키는 방법을 증명했습니다.
4. 산업적 적용 가능성:
   • 유지보수 용이성: 새로운 부품, 재료, 또는 환경 변화가 발생하더라도 모델 재학습 없이 프롬프트만 수정하면 적응 가능합니다.
   • 확장성: 단순한 물체 유무 감지를 넘어, 결함 탐지 (Defect Detection) 나 공정 모니터링과 같은 복잡한 작업으로 확장할 수 있는 기반을 마련했습니다.
5. 미래 지향성: 이 연구는 제조업에서 열화상 센싱과 AI 의 결합을 가속화하며, 데이터 부족 문제를 해결하고 자동화 워크플로우의 신뢰성을 높이는 데 기여할 것으로 기대됩니다.

결론적으로, 이 논문은 VLM 이 자연광 RGB 이미지를 넘어 열화상 데이터에서도 효과적으로 작동할 수 있음을 입증하고, 이를 위해 전처리 (Magma) 와 프롬프트 전략 (Centroid) 이 어떻게 결합되어야 하는지에 대한 실증적인 가이드를 제공합니다.