Deep Learning-Based Tracking and Lineage Reconstruction of Ligament Breakup

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 액체 시트가 리지먼트 (ligament) 와 액적 (droplet) 으로 분해되는 과정은 매우 복잡하고 다중 스케일 (multi-scale) 의 과도 현상 (transient dynamics) 을 포함합니다. 이러한 현상을 고속 섀도그래피 (high-speed shadowgraphy) 영상을 통해 정량화하는 것은 연소 엔진의 연료 분무, 제약, 농업 살포 등 다양한 공학적 응용 분야에서 필수적입니다.
• 핵심 문제:
  • 기존 컴퓨터 비전 기법 (강도 임계값, 에지 검출 등) 은 밀집되고 겹치며 빠르게 변형되는 물체를 식별하는 데 한계가 있습니다.
  • 기존 다중 객체 추적 (Multi-Object Tracking, MOT) 알고리즘 (SORT, DeepSORT 등) 은 1 대 1 (one-to-one) 시간적 연관성을 강제합니다.
  • 그러나 액체 시트의 분해 과정에서는 하나의 부모 리지먼트가 여러 개의 자식 액적으로 분열되는 1 대 다 (one-to-many) 분열 (fragmentation) 이벤트가 빈번하게 발생합니다. 기존 방법론은 이러한 분열 사건을 명시적으로 모델링하거나 부모 - 자식 계보 (lineage) 를 재구성하는 데 실패합니다.

2. 제안된 방법론 (Methodology)

이 논문은 액체 시트 분해의 자동화된 분석을 위해 2 단계 딥러닝 프레임워크를 제안합니다.

1 단계: 공간 분석 (Study I) - 객체 탐지 및 분류

• 목표: 고속 영상 프레임 내에서 리지먼트와 액적을 정확하게 탐지하고 분류합니다.
• 아키텍처: Faster R-CNN (ResNet-50 백본 + Feature Pyramid Network) 을 사용합니다.
• 데이터 증강 전략 (핵심):
  • 라벨링된 데이터 부족 문제를 해결하기 위해 형태 보존 (morphology-preserving) 합성 데이터 생성 전략을 도입했습니다.
  • 기존 회전/반전 증강과 달리, 실제 분해 과정에서 관찰된 물체의 형태와 상대적 공간 배치를 유지하면서 합성 이미지를 생성합니다.
  • 원본 데이터와 합성 데이터를 혼합하여 훈련함으로써 물리적으로 불가능한 구성을 방지하면서도 데이터 다양성을 확보합니다.

2 단계: 시간적 추론 (Study II) - 시간적 관계 분류

• 목표: 연속된 프레임 간 탐지된 객체 쌍 (object pairs) 사이의 물리적으로 의미 있는 시간적 관계를 분류합니다.
• 문제 정의: 기존 1 대 1 매칭이 아닌, 쌍별 분류 (pairwise classification) 문제로 정의합니다.
  • MOVE (0): 동일한 물체의 이동 (연속성).
  • BREAKUP (1): 부모 객체가 분열하여 자식 객체가 됨 (1 대 다 분열).
  • NONE (-1): 물리적으로 무관한 객체.
• 특징 공학 (Feature Engineering): 이미지 픽셀 대신 물리 기반의 기하학적 특징 5 가지를 사용합니다.
  1. 중심점 거리 (Centroid distance)
  2. 정규화된 중심점 거리 (Normalized centroid distance)
  3. 바운딩 박스 IoU (Intersection-over-Union)
  4. 면적 비율 (Area ratio)
  5. 클래스 일관성 (Type consistency: 리지먼트 vs 액적)
• 모델 아키텍처: 5 차원 특징 벡터를 입력받아 3 클래스를 예측하는 **Transformer 증강 MLP (Transformer-augmented MLP)**를 사용합니다. 이는 복잡한 비선형 상호작용을 학습하는 데 기존 MLP 보다 우수합니다.
• 계보 재구성 (Lineage Reconstruction): 예측된 관계를 기반으로 방향성 비순환 그래프 (DAG) 를 구성하여 분열 트리 (fragmentation tree) 를 자동 재구성하고, 부모 - 자식 관계를 추적합니다.

3. 주요 기여 (Key Contributions)

1. 분열 인식형 2 단계 프레임워크: Faster R-CNN 기반의 객체 탐지와 Transformer 기반의 시간적 관계 추론을 통합하여, 1 대 다 분열 사건을 명시적으로 모델링하고 계보를 재구성하는 최초의 체계적인 접근법 중 하나입니다.
2. 형태 보존 합성 데이터 생성: 최소한의 실제 라벨링 데이터로도 모델의 일반화 성능을 극대화하는 합성 데이터 생성 전략을 제안했습니다. 이는 고비용의 수동 라벨링을 대체할 수 있는 효율적인 방법입니다.
3. 데이터 구성 최적화: 원본 데이터와 합성 데이터의 비율을 체계적으로 비교 분석하여, 최적의 성능을 내는 데이터 구성 (원본 데이터가 충분할 때 합성 데이터가 보충 역할을 할 때 가장 효과적) 을 규명했습니다.
4. 완벽한 분열 회수율 (Perfect Recall): 드물게 발생하는 분열 (Breakup) 이벤트에 대해 1.00 의 완벽한 회수율을 달성하여, 분열 트리 재구성의 무결성을 보장합니다.

4. 실험 결과 (Results)

• Study I (객체 탐지):

  • 성능: 유지된 테스트 세트에서 F1 점수 0.872를 달성했습니다.
  • 데이터 영향: 원본 데이터 250 장 + 합성 데이터 250 장 (Nog_250_Nsyn_00250) 구성이 가장 높은 성능을 보였습니다. 합성 데이터만으로는 성능이 저하되거나 편향이 발생할 수 있으나, 원본 데이터를 보충할 때 성능이 크게 향상됨을 확인했습니다.
  • 정량적 분석: 액적 크기 분포 (Sauter Mean Diameter) 와 기하학적 특성이 실제 라벨링 데이터와 높은 일치도를 보였습니다.

• Study II (시간적 관계 분류):

  • 성능: TransformerMLP 모델이 다른 아키텍처 (BasicMLP, ResidualMLP 등) 보다 우월한 성능을 보였습니다.
  • 메트릭: 전체 정확도 86.1%, 정밀도 93.2%, F1 점수 0.887.
  • 분열 이벤트: Breakup 클래스에 대한 회수율 (Recall) 이 1.00으로, 모든 분열 사건을 성공적으로 포착했습니다. 이는 분열 트리 재구성에 있어 가장 중요한 지표입니다.
  • 특징 분석: 중심점 거리, 면적 비율 등 특징들 간의 상관관계가 낮아 서로 보완적인 정보를 제공하며, Transformer 모델이 이러한 특징 간 상호작용을 효과적으로 학습함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 의의: 이 연구는 기존의 1 대 1 추적 한계를 극복하고, 액체 분무의 복잡한 분열 역학을 1 대 다 (one-to-many) 관계로 모델링할 수 있는 새로운 패러다임을 제시했습니다.
• 실용적 가치:
  • 수동 라벨링에 의존하는 시간적 관계 추적을 자동화하여 연구 효율성을 극대화했습니다.
  • 분열 트리, 분열 다중성 (fragment multiplicity), 부모 - 자식 면적 비율 등 물리적으로 의미 있는 통계를 자동으로 추출할 수 있게 되었습니다.
  • 이는 연료 분무 최적화, 분무 특성 분석 등 다양한 공학 분야에서 정량적 데이터 기반의 의사결정을 지원합니다.
• 향후 전망: 더 긴 시간적 맥락, 그래프 기반 추론, 다양한 유체 시스템 및 촬영 조건으로의 확장 가능성이 제시되었습니다.

요약하자면, 이 논문은 딥러닝과 물리 기반 특징을 결합하여 액체 시트의 분해 과정을 프레임 단위 탐지를 넘어 계보 (lineage) 단위로 정밀하게 추적하고 분석할 수 있는 강력한 프레임워크를 성공적으로 구현했습니다.