Field imaging framework for morphological characterization of aggregates with computer vision: Algorithms and applications

이 논문은 현장 조건에서 다양한 시나리오에 적용 가능한 컴퓨터 비전 기반 프레임워크를 개발하여 모래와 자갈 등 건설 골재의 형태적 특성을 자동화되고 정밀하게 분석하는 알고리즘과 그 적용 사례를 제시합니다.

핵심

이 논문은 **"거대한 돌멩이들의 얼굴을 AI 가 어떻게 알아보고, 숨겨진 부분까지 상상해 내는가?"**에 대한 이야기입니다.

건설 현장에서 모래나 자갈, 그리고 거대한 '리프랩 (방파제용 큰 돌)'은 건물의 뼈대처럼 중요합니다. 하지만 이 돌들의 크기와 모양을 정확히 재는 것은 매우 어렵고 귀찮은 일입니다. 보통은 사람이 눈으로 대충 보거나, 손으로 직접 자를 대고 재는데, 이는 시간이 많이 들고 사람마다 결과가 다릅니다.

이 논문은 황호항 (Haohang Huang) 박사가 이 문제를 해결하기 위해 개발한 '컴퓨터 비전 (컴퓨터가 눈을 가진 기술)' 기반의 스마트 시스템을 소개합니다. 이 시스템은 크게 세 단계로 나뉩니다.

---

1. 단계: 혼자 있는 돌 하나를 정밀하게 재기 (단일 돌 분석)

비유: "돌을 3D 스캐너로 돌려가며 찍는 사진관"

• 문제: 큰 돌 하나를 재려면 무거운 기계를 써야 하고, 사람이 직접 재면 오차가 큽니다.
• 해결책: 연구팀은 스마트폰 3 대와 간단한 금속 프레임으로 만든 **'이동식 촬영 세트'**를 만들었습니다.
• 작동 원리:
  • 돌을 중앙에 놓고, 위, 앞, 옆에서 스마트폰으로 사진을 찍습니다. (마치 돌을 360 도 돌려가며 찍는 것 같습니다.)
  • 컴퓨터는 이 세 장의 사진을 합쳐서 가상의 3D 입체 모델을 만듭니다.
  • 결과: 사람이 직접 재는 것보다 훨씬 정확하고 빠르며, 돌의 부피와 무게를 거의 오차 없이 계산해냅니다.

2. 단계: 돌 더미 속의 개별 돌 찾기 (2D 이미지 분석)

비유: "수천 개의 돌이 뒤섞인 더미에서 AI 가 각각의 돌을 식별하는 마법"

• 문제: 채석장에는 수만 개의 돌이 무질서하게 쌓여 있습니다. 컴퓨터가 이 더미를 보고 "저기 있는 돌은 A 씨, 저건 B 씨"라고 구분하는 것은 매우 어렵습니다. (마치 한 그릇에 섞인 콩알을 하나하나 구분하는 것과 비슷합니다.)
• 해결책: **딥러닝 (Deep Learning, AI 의 한 종류)**을 활용했습니다.
• 작동 원리:
  • 연구팀은 수천 장의 돌 더미 사진을 찍고, 사람이 일일이 돌 하나하나를 표시해 주는 **'정답지 (레이블링)'**를 만들었습니다.
  • AI 에게 이 정답지를 보여주고 학습시켰습니다. 마치 아이에게 "이건 돌, 저건 돌"을 가르쳐 주는 것과 같습니다.
  • 결과: 이제 AI 는 돌 더미 사진만 봐도 각 돌의 경계를 정확히 그어내고, 크기나 모양을 자동으로 분석합니다. 사람이 직접 하나하나 재는 수고를 덜어줍니다.

3. 단계: 보이지 않는 부분까지 상상해 내기 (3D 점구름 및 형태 완성)

비유: "반쪽짜리 퍼즐 조각을 보고 나머지 절반을 완벽하게 맞추는 천재"

• 문제: 돌 더미에서 돌을 찍으면, 돌의 앞면은 보이지만 뒷면이나 아래쪽은 가려져서 보이지 않습니다. 2D 사진만으로는 돌의 진짜 모양을 알 수 없습니다.
• 해결책: **가상 현실 (Synthetic Data)**과 AI 추론을 결합했습니다.
• 작동 원리:
  1. 가상 돌 만들기: 먼저 실제 돌들을 정밀하게 스캔해서 컴퓨터 안에 완벽한 3D 돌 도서관을 만들었습니다.
  2. 가상 더미 만들기: 컴퓨터 안에서 이 돌들을 떨어뜨려 실제와 똑같은 돌 더미를 만들어냈습니다. 이때 AI 가 학습할 수 있도록 '정답 (어떤 돌이 어디에 있는지)'을 미리 알고 있는 데이터를 만들었습니다.
  3. 숨은 부분 채우기: AI 는 가려진 부분 (보이지 않는 뒷면) 을 보고, 학습한 패턴을 바탕으로 **"아마도 이 돌은 이런 모양일 거야"**라고 추측하여 3D 모양을 완성합니다.
  • 마치 반쪽짜리 퍼즐 조각을 보고, 나머지 조각이 어떻게 생겼을지 완벽하게 상상해 내는 것과 같습니다.

---

이 기술이 왜 중요한가요?

1. 안전과 경제: 방파제나 다리에 쓰이는 거대한 돌들의 크기가 맞지 않으면 붕괴 위험이 있습니다. 이 기술은 이를 정확히 검사하여 사고를 막고, 불필요한 자재 낭비를 줄여줍니다.
2. 노동 강도 감소: 무거운 돌을 직접 들어 무게를 재거나, 눈으로 일일이 확인하던 고된 노동을 컴퓨터가 대신합니다.
3. 데이터의 힘: 단순히 "크다/작다"가 아니라, 돌의 정확한 3D 모양 데이터를 축적하여 더 나은 건설 공법을 개발하는 데 기여합니다.

요약하자면

이 논문은 **"컴퓨터가 돌을 보는 눈을 갖게 하고, AI 가 돌의 숨겨진 부분까지 상상해 내게 함으로써, 건설 현장의 품질 관리를 혁신적으로 바꿨다"**는 내용입니다. 마치 돌들에게 각각의 신분증 (정확한 3D 데이터) 을 발급해 주고, AI 가 그 신분증을 바탕으로 돌 더미 전체를 관리하는 시스템을 만든 셈입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem Statement)

• 배경: 건설 골재 (모래, 자갈, 다진 돌, 리프랩 등) 는 건설 산업의 핵심 자재입니다. 2020 년 기준 미국에서만 24 억 톤 이상의 골재가 생산되었으며, 이는 국가 경제와 사회 기반 시설의 핵심입니다.
• 문제점:
  • 현행 방법의 한계: 현재 현장에서의 품질 관리 (QA/QC) 는 주로 체질 (Sieving) 과 캘리퍼 (Caliper) 를 이용한 수동 측정, 또는 경험에 의존하는 육안 검사에 의존하고 있습니다. 대형 골재 (리프랩) 의 경우 무게와 크기가 커서 이동 및 측정이 어렵고, 수동 측정은 시간과 노력이 많이 소요되며 주관적입니다.
  • 기존 이미지 분석의 제약: 기존 컴퓨터 비전 기반 골재 분석 시스템은 대부분 실험실 환경에서 분리된 중소형 골재를 대상으로 개발되었습니다. 현장의 복잡한 조명 조건, 중첩 (Overlap), 밀집된 적재 상태 (Stockpile) 에서의 대형 골재 분석에는 적용하기 어렵습니다.
  • 2D 의 한계: 2D 이미지 분석은 입자의 깊이 (Depth) 정보를 잃어 부피나 실제 3D 형태를 정확히 추정하는 데 한계가 있습니다.
• 목표: 다양한 현장 조건 (개별 골재, 적재된 더미) 에서 대형 골재의 크기, 모양, 부피/무게, 입도 분포를 정량적으로 분석할 수 있는 강건하고 자동화된 현장 이미지 프레임워크를 개발하는 것입니다.

2. 연구 방법론 (Methodology)

연구는 분석의 복잡도가 증가하는 세 가지 주요 접근법으로 구성됩니다.

1 단계: 개별 비중첩 골재의 부피 재구성 (Volumetric Reconstruction)

• 시스템: 휴대용 현장 이미지 촬영 시스템 (스마트폰 3 대, 삼각대, 파란색 배경 등) 을 구축하여 개별 골재의 정면, 측면, 상단 3 방향 이미지를 촬영합니다.
• 알고리즘:
  • 색상 기반 이미지 분할: CIE Lab* 색상 공간을 사용하여 강한 햇빛과 그림자 조건에서도 강건하게 골재 영역을 추출합니다.
  • 직교 교차 부피 추정: 3 방향 실루엣 (Silhouette) 을 교차시켜 3D 부피를 추정하고, 보정 계수 (시스템적 오차 및 해상도 보정) 를 적용하여 정확도를 높입니다.

2 단계: 적재된 골재 더미의 2D 인스턴스 분할 (2D Instance Segmentation)

• 데이터셋: 퀘이지 (Quarry) 현장에서 수집한 164 장의 적재 골재 이미지와 11,795 개의 수동 라벨링된 입자를 기반으로 데이터셋을 구축했습니다.
• 모델: Mask R-CNN 기반의 딥러닝 모델을 사용하여 밀집되고 중첩된 골재 더미에서 개별 입자를 자동으로 분할 (Segmentation) 합니다.
• 분석: 분할된 입자의 2D 형태 (평평함/긴 비율, FER 등) 를 분석하고, 이를 3D 부피/무게 추정 모델 (타원체 가정 등) 로 변환합니다.

3 단계: 적재된 골재 더미의 3D 통합 분석 (3D Reconstruction-Segmentation-Completion, RSC-3D)

가장 혁신적인 부분으로, 3D 포인트 클라우드를 기반으로 한 종합적인 분석 프레임워크입니다.

• 3D 입자 라이브러리 구축: 마커 기반의 Photogrammetry (Structure-from-Motion, SfM) 기술을 사용하여 개별 대형 골재의 고품질 3D 메쉬 모델을 재구성하고 라이브러리를 구축했습니다.
• 합성 데이터 생성 (Synthetic Data Generation):
  • 3D 라이브러리를 기반으로 물리 엔진 (Unity) 을 사용하여 가상 골재 더미를 생성했습니다.
  • 레이캐스팅 (Raycasting) 기술을 통해 LiDAR 센서 데이터를 시뮬레이션하고, Ground Truth(정답) 라벨이 포함된 3D 포인트 클라우드 데이터셋을 자동 생성했습니다. (수동 라벨링의 비효율성 해결)
• 3D 인스턴스 분할 (Segmentation): PointGroup 네트워크를 사용하여 3D 포인트 클라우드에서 개별 골재 인스턴스를 분할합니다.
• 3D 형태 완성 (Shape Completion): SnowflakeNet 네트워크를 사용하여 가시되지 않는 부분 (Occluded parts) 을 예측하여 골재의 완전한 3D 형태를 복원합니다.
• 현장 적용 및 검증: 재구성된 적재 더미와 실제 현장 더미에 프레임워크를 적용하고, 지상 기준 측정치 (Ground Truth) 와 비교하여 검증했습니다.

3. 주요 기여 및 성과 (Key Contributions & Results)

1. 개별 골재 부피 추정 정확도 향상

• 개발된 이미지 기반 부피 추정 알고리즘은 현장 조건 (그림자, 조명 변화) 에서 **평균 절대 백분율 오차 (MAPE) 3.6% ~ 7.9%**의 정확도를 보였습니다.
• 기존 수동 측정 방법 (MAPE 68.3%) 에 비해 정확도가 획기적으로 개선되었습니다.

2. 2D 적재 더미 분석의 자동화

• Mask R-CNN 기반 분할 모델은 밀집된 적재 더미 이미지에서 완전성 (Completeness) 88% 및 **IoU 정밀도 86.7%**의 성능을 달성했습니다.
• 기존 수동 분할이나 전통적인 워터셰드 (Watershed) 알고리즘보다 중첩된 입자 분할 성능이 우수했습니다.

3. 3D 통합 프레임워크 (RSC-3D) 의 성공적 개발

• 합성 데이터의 효과: 실제 3D 라벨링이 불가능한 밀집된 적재 더미에 대해, 합성 데이터 학습을 통해 3D 분할 및 형태 완성 네트워크를 성공적으로 훈련시켰습니다.
• 성능: 3D 분할 네트워크는 테스트 세트에서 완전성 78.4%, **IoU 정밀도 82.2%**를 기록했습니다. 형태 완성 네트워크는 검증 세트에서 Chamfer Distance 0.00483 mm의 오차를 보였습니다.
• 현장 검증: 재구성된 적재 더미와 실제 현장 더미 (RR3~RR5 등급) 에서 프레임워크를 검증했습니다.
  • 치수 (Size) 측정: MAPE 8~18% 수준의 정확도.
  • 부피/무게 측정: 초기에는 체계적인 과소평가 (Systematic Underestimation, 약 3035%) 가 관찰되었으나, Shape Percentage (SP) Thresholding 기법을 도입하여 신뢰할 수 있는 데이터 (가시성이 높은 입자) 만 선별함으로써 오차를 **1520% 수준으로 개선**했습니다.

4. 연구의 의의 및 중요성 (Significance)

• 현장 적용 가능성: 실험실 중심이었던 기존 골재 이미지 분석 기술을 대형 골재 및 현장 조건 (Stockpile) 으로 확장하여, 실제 건설 현장의 QA/QC 프로세스에 직접 적용 가능한 솔루션을 제시했습니다.
• 비효율성 해소: 시간과 노동력이 많이 드는 수동 측정 및 육안 검사를 대체하여, 비용 절감, 작업 시간 단축, 그리고 객관적인 데이터 기반 의사결정을 가능하게 합니다.
• 3D 정보의 가치: 2D 분석의 한계를 극복하고 3D 포인트 클라우드를 통해 입자의 실제 부피, 모양, 입도 분포를 더 정확하게 파악할 수 있음을 입증했습니다.
• 표준 개선 가능성: 현재 대형 골재의 규격이 주로 '무게'에 의존하고 있는데, 본 연구를 통해 '치수' 기반의 정량적 규격 설정을 가능하게 하여 공학적 설계 및 품질 관리 기준을 정교화할 수 있는 기반을 마련했습니다.
• 미래 지향성: 드론 (UAV) 촬영, LiDAR, SLAM 등 최신 센서 기술과의 융합을 통해 확장 가능하며, 철도 자갈 (Ballast) 등 다른 규모의 골재 분석에도 적용 가능한 범용성을 가집니다.

결론

이 논문은 컴퓨터 비전, 딥러닝, 3D 재구성 기술을 융합하여 대형 골재의 형태학적 특성을 현장에서 정량적으로 분석할 수 있는 포괄적인 프레임워크를 최초로 제시했습니다. 특히 합성 데이터 생성을 통한 3D 학습과 형태 완성 (Shape Completion) 기법의 도입은 밀집된 골재 더미 분석이라는 난제를 해결한 획기적인 성과로 평가됩니다.