Phase-Interface Instance Segmentation as a Visual Sensor for Laboratory Process Monitoring

이 논문은 투명한 유리 실험기구 내의 약한 경계와 광학적 왜곡을 극복하기 위해 국소 - 전역 어텐션과 직사각형 자기 보정 모듈을 결합한 LGA-RCM-YOLO 모델을 제안하고, 이를 통해 화학 실험의 상 인터페이스를 실시간으로 정밀하게 분할하여 실험실 자동화를 위한 시각 센서로 활용 가능함을 입증합니다.

핵심

이 논문은 **"화학 실험실의 투명한 유리병 속에서 일어나는 일을, AI 카메라가 어떻게 똑똑하게 지켜보고 기록할 수 있을까?"**에 대한 해답을 제시합니다.

기존의 방법들은 투명한 유리병 안의 액체 경계나 기포를 구별하는 데 어려움을 겪었습니다. 마치 안개 낀 유리창을 통해 밖을 보는 것처럼, 빛의 반사와 굴절 때문에 AI 가 무엇을 보고 있는지 헷갈려 했기 때문입니다.

이 연구는 이를 해결하기 위해 세 가지 핵심 아이디어를 제안합니다.

---

1. 문제: 투명한 유리병은 AI 에게 '악몽'입니다

화학 실험실에서는 액체와 기체, 고체가 섞이거나 분리되는 과정을 지켜봐야 합니다. 하지만 실험용기는 대부분 투명한 유리로 만들어져 있습니다.

• 비유: 안개 낀 유리창에 물방울이 맺혔을 때, 그 물방울이 어디까지인지 선명하게 구분하기 어렵죠? 실험실에서도 빛이 유리를 통과하면서 반사되고 굴절되어, AI 가 "액체와 공기의 경계"나 "두 가지 액체의 경계"를 제대로 보지 못합니다.

2. 해결책 1: 새로운 '교과서' 만들기 (CTG 2.0 데이터셋)

AI 를 가르치기 위해 연구팀은 CTG 2.0이라는 새로운 데이터셋을 만들었습니다.

• 비유: 기존에는 투명한 유리병 사진이 부족하거나 단순했습니다. 하지만 연구팀은 실험실에서 실제로 찍은 3,600 장 이상의 사진을 모았습니다. 다양한 모양의 유리병 (비커, 플라스크 등) 과 그 안에서 일어나는 다양한 현상 (액체 분리, 결정화 등) 을 포함시켜, AI 가 "실제 실험실 상황"을 제대로 학습할 수 있도록 훈련시켰습니다.

3. 해결책 2: AI 의 '눈'을 업그레이드하다 (LGA-RCM-YOLO)

연구팀은 기존 AI 모델 (YOLO11) 을 개조하여 LGA-RCM-YOLO라는 새로운 모델을 만들었습니다. 두 가지 핵심 기술이 들어갔습니다.

• LGA (국소 - 글로벌 주의):
  • 비유: 마치 현미경과 망원경을 동시에 쓰는 것과 같습니다.
  • AI 는 유리병의 작은 경계선 (현미경) 을 자세히 보면서도, 전체적인 유리병의 모양과 액체의 흐름 (망원경) 을 동시에 파악합니다. 이렇게 하면 빛이 반사되어 흐릿해져도 경계선을 놓치지 않습니다.
• RCM (직사각형 자기 보정):
  • 비유: 자 (규칙) 를 이용해 선을 그리는 것과 같습니다.
  • 액체와 액체의 경계는 보통 길고 가늘게 늘어져 있습니다. 이 모듈은 AI 가 그 가느다란 선을 끊어지지 않고, 곧게 그리고 정확하게 따라가도록 도와줍니다.

4. 해결책 3: 액체의 '색깔'까지 알려주는 부가 기능

단순히 경계만 그리는 게 아니라, 액체가 **색이 있는지 (유색) 없는지 (무색)**도 자동으로 판별합니다.

• 비유: 실험실 보조원이 "이건 투명한 물이고, 저건 붉은색 약품이야"라고 알려주는 것과 같습니다. 이는 실험 상태를 더 정확하게 이해하는 데 도움을 줍니다.

5. 실제 효과: 실험실의 '실시간 감시 카메라'

이 기술을 실험실에 적용한 결과, 놀라운 성과가 나왔습니다.

• 정확도: 기존 모델보다 경계선을 훨씬 정확하게 그렸습니다. (정확도 84.4% 달성)
• 속도: 실시간으로 영상을 처리할 수 있을 정도로 빠릅니다. (초당 13.67 프레임)
• 실제 사례:
  1. 액체 분리: 두 가지 액체가 섞였다가 분리되는 과정을 지켜보며, "언제 완전히 분리되었는지"를 자동으로 알려줍니다. 마치 커피와 우유가 섞였다가 다시 분리될 때, "이제 완전히 나뉜 상태야!"라고 알려주는 것 같습니다.
  2. 결정화: 액체에서 고체 결정이 자라나는 과정을 지켜보며, "결정이 언제부터 자라기 시작했는지"와 "얼마나 많이 자랐는지"를 숫자로 기록합니다.

요약

이 논문은 **"투명한 유리병 안의 복잡한 화학 반응을, AI 가 마치 숙련된 실험실 연구원처럼 똑똑하게 지켜보고, 경계선을 정확히 그리고, 중요한 순간을 기록하게 만드는 방법"**을 소개합니다.

이 기술이 발전하면, 앞으로는 사람이 실험을 계속 지켜보지 않아도 AI 가 24 시간 내내 실험을 감시하고, "이제 반응이 끝났어요", "결정이 너무 많이 자랐어요"라고 자동으로 알려주어 스마트 실험실의 시대가 열릴 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자동화 및 반자동화 화학 실험실에서는 실험 과정의 신뢰성 있는 모니터링과 의사결정을 위해 온라인 센싱이 필수적입니다. 특히 기체 - 액체 (G/L), 액체 - 액체 (L/L), 액체 - 고체 (L/S) 등 다양한 상 (phase) 이 공존하는 시스템에서 상의 생성/소멸, 계면 이동, 안정성, 유화/침전 등은 공정 성공 여부를 결정하는 핵심 요소입니다.
• 문제점: 기존 컴퓨터 비전 기반 모니터링은 투명한 유리 용기 (Transparent Glassware) 에서의 적용에 한계가 있습니다.
  • 광학적 간섭: 유리 용기의 굴절 (refraction), 반사 (specular reflections), 약한 경계선 (weak boundaries) 으로 인해 기존 분할 알고리즘의 성능이 저하됩니다.
  • 데이터 부족: 기존 데이터셋은 용기 인식에 초점을 맞추거나 단순한 액체 높이 측정에 그쳤으며, 다양한 유리 용기 환경에서의 미세하고 변형 가능한 '상 - 계면 (Phase Interface)'을 인스턴스 단위로 정밀하게 분할하고 평가할 수 있는 벤치마크가 부족했습니다.
• 목표: 투명한 유리 실험실 환경에서 약하고 길쭉한 상 - 계면을 정확하게 식별하고 분할하여, 이를 실시간 공정 모니터링을 위한 시각 센서로 활용하는 것입니다.

2. 제안된 방법론 (Methodology)

2.1 데이터셋: CTG 2.0 (Chemical Transparent Glasses 2.0)

• 구성: 투명한 유리 용기 인식 및 상 - 계면 인스턴스 분할을 위한 전용 벤치마크입니다.
  • 규모: 3,668 개의 이미지, 23 가지 유리 용기 카테고리, 5 가지 상 - 계면 유형 (G/L, L/L, L/S, G/S, S/S), 총 18,458 개의 주석 (annotation) 인스턴스.
  • 특징: 실제 실험실 환경의 조명 변화, 배경, 유리 두께에 의한 굴절 및 반사 등을 포함한 현실적인 시나리오를 반영합니다.
  • 구조: 투명한 용기를 구조적 컨테이너 (ROI 정의) 로 인식한 후, 그 내부의 상 - 계면을 1 차적 객체 (First-class object) 로 분할하는 계층적 접근 방식을 지원합니다.

2.2 모델 아키텍처: LGA-RCM-YOLO

기존 YOLO11m-seg 를 기반으로 화학 실험실 이미지의 특수성 (투명성, 반사, 약한 질감) 에 맞춰 두 가지 핵심 모듈을 도입했습니다.

1. Local-Global Attention (LGA) 모듈:

   • 위치: 백본 (Backbone) 의 SPPF 층 직후에 배치.
   • 기능: 다중 스케일 컨텍스트가 집계된 후, 국부적 단서 (유리 가장자리, 메니스커스 전이) 와 전역적 의존성 (용기 전체를 가로지르는 긴 계면의 연속성) 을 동시에 강화합니다.
   • 효과: 광학적 간섭 (굴절, 반사) 하에서도 높은 수준의 의미론적 표현 (Semantic representation) 을 유지하여 계면 영역의 모호성을 줄입니다.

2. Rectangular Self-Calibration Module (RCM):

   • 위치: Neck 부분의 C3k2 블록 이후에 부착.
   • 기능: 방향 민감도 (Direction-sensitive) 를 가진 자기 보정 (Self-calibration) 을 수행합니다. 수평/수직 스트립 컨볼루션을 통해 길쭉하고 변형 가능한 계면 구조를 증폭하고, 반사나 유리 질감으로 인한 배경 노이즈를 억제합니다.
   • 효과: 얇고 변형 가능한 계면의 경계 정밀도 (Boundary fidelity) 를 크게 향상시킵니다.

3. 부수적 기능 (Auxiliary Color-Attribute Head):

   • 액체 인스턴스에 대해 '유색 (Colored)' 또는 '무색 (Colorless)' 속성을 이진 분류하여 분할 결과에 추가합니다. (정확도 98.71%, 재현율 98.32%)

3. 주요 기여 (Key Contributions)

1. CTG 2.0 데이터셋 공개: 화학 실험실의 투명한 유리 용기와 다양한 상 - 계면 분할을 위한 최초의 포괄적인 벤치마크를 구축했습니다.
2. LGA-RCM-YOLO 프레임워크 개발: 약하고 길쭉한 계면 구조를 효과적으로 분할하기 위한 실시간 세그멘테이션 모델을 제안했습니다.
3. 실시간 모니터링 시스템 구현: 산업용 비디오 스트림에서 실시간 추론 및 이벤트 로깅이 가능한 시스템을 구축하여, 분리기 (Separatory funnel) 의 상 분리 및 결정화 (Crystallization) 공정 모니터링을 성공적으로 시연했습니다.

4. 실험 결과 (Results)

4.1 성능 평가 (CTG 2.0 기준)

• 정확도: 제안된 모델은 YOLO11m 베이스라인 대비 AP@0.5 에서 84.4% (6.42%p 향상), AP@0.5-0.95 에서 58.43% (8.75%p 향상) 를 기록했습니다. 특히 엄격한 IoU 기준 (AP@0.5-0.95) 에서의 향상은 경계 정밀도가 크게 개선되었음을 의미합니다.
• 비교: Mask R-CNN 및 ASPP-SOLOv2 등 다른 인스턴스 분할 모델보다 우수한 성능을 보였으며, 특히 투명하고 반사가 많은 환경에서 강건했습니다.
• 효율성: RTX 3060 환경에서 13.67 FPS의 처리 속도를 유지하여 실시간 모니터링에 적합합니다. (FLOPs 는 약 9.3% 증가)

4.2 구성 요소 분석 (Ablation Study)

• LGA 모듈 도입만으로도 AP@0.5-0.95 가 14.33% 향상되었고, RCM 모듈은 경계 정밀도 개선에 기여했습니다. 두 모듈을 결합했을 때 최적의 성능을 달성했습니다.

4.3 적용 사례 (Case Studies)

• 상 분리 (Liquid-Liquid Separation): 분리기 내 G/L 및 L/L 계면의 수직 거리를 실시간으로 추적하여 유화 (Emulsion) 의 붕괴 시점과 분리 완료 시점을 자동으로 감지했습니다.
• 결정화 모니터링 (Crystallization): 과포화 용액의 고체 면적 변화를 추적하여 핵생성 (Nucleation) 시점과 결정 성장 속도를 정량화했습니다.

5. 의의 및 결론 (Significance)

• 시각 센서로서의 가능성: 본 연구는 컴퓨터 비전을 단순한 이미지 분석을 넘어, 화학 공정의 물리적 상태 (상 - 계면 진화) 를 직접 측정하는 '시각 센서 (Visual Sensor)'로 활용하는 새로운 패러다임을 제시했습니다.
• 실용성: 투명한 유리 용기라는 어려운 환경에서도 실시간으로 공정 파라미터 (계면 높이, 면적, 안정성 등) 를 추출할 수 있어, 실험실 자동화 및 폐쇄 루프 (Closed-loop) 제어 시스템 구축에 필수적인 기술적 토대를 마련했습니다.
• 향후 과제: 낮은 대비 (Low-contrast) 를 가진 상 - 계면 (예: 완전히 투명한 액체 - 액체 계면) 에 대한 강건성을 높이기 위해 조명 제어, 다중 뷰 기하학, 또는 시간적 일관성 추론 등의 추가 연구가 필요하다고 결론지었습니다.

이 논문은 화학 실험실의 자동화와 지능화를 위한 컴퓨터 비전 기술의 중요한 발전 단계를 보여주며, 특히 투명 물체와 미세한 계면 인식에 대한 기술적 한계를 극복하는 데 기여했습니다.