Applications of Artificial Intelligence in Civil Engineering: Multimodal Data Fusion and Uncertainty Quantification

기술 요약: 토목 공학 분야의 인공지능 적용: 멀티모달 데이터 융합 및 불확실성 정량화

문제 정의
교량 및 터널과 같은 현대의 토목 구조물은 점점 더 복잡한 환경적, 운영적 조건 하에서 작동하고 있다. 가속도계나 변형률 게이지와 같은 단일 센서 데이터에 의존하는 전통적인 모니터링 방식은 대규모 시스템의 다차원적 거동을 포착하기에는 종종 불충분하다. UAV 영상, LiDAR, 지표 투과 레이더(GPR)와 같은 센싱 기술의 발전은 다양하고 고차원적인 멀티모달 데이터를 수집할 수 있게 해주었으나, 이러한 이질적인 소스들을 통합하는 것은 시간적, 공간적, 의미론적 특성의 차이로 인해 상당한 과제를 안겨준다. 또한, 데이터 융합을 위한 인공지능(AI)의 통합은 센서 노이즈, 불완전한 데이터, 모델 편향, 환경적 섭동으로부터 발생하는 불확실성을 도입한다. 이러한 불확실성을 정량화하지 않으면, AI 기반 예측은 중요한 공학적 의사결정 과정에서 과도하게 확신에 차 있거나 신뢰할 수 없는 위험을 초래할 수 있다.

방법론
본 논문은 불확실성을 명시적으로 정량화하면서 이질적인 데이터 소스를 통합하도록 설계된 딥러닝-물리 결합 멀티모달 융합 프레임워크를 제안한다. 이 방법론은 세 가지 주요 모듈로 구성된다:

1. 전처리 및 정렬: 멀티모달 데이터(가속도계 신호, 경사계 측정값, UAV 영상)는 시간적 재샘플링과 좌표 등록을 통해 동기화 및 정규화된다.
2. 특징 추출 및 융합: 프레임워크는 시각적 데이터를 위한 ResNet과 센서 데이터를 위한 LSTM과 같은 딥 뉴럴 인코더를 사용하여 모달리티별 특징을 생성한다. 이러한 특징들은 어텐션 기반 트랜스포머 레이어를 통해 융합된다.
3. 불확실성 정량화(UQ) 및 물리 결합:
   • 베이지안 근사: 추론 과정 중 몬테카를로(MC) 드롭아웃을 적용하여 에피스테믹(모델) 불확실성과 알레아토릭(데이터) 불확실성을 모두 추정한다. 예측 평균과 분산은 확률적 순방향 패스를 통해 계산된다.
   • 물리 가이드 제약: 제약 레이어는 손실 함수 내의 정규화 항으로서 구조 역학 원리(평형 및 적합 조건)를 강제한다. 이는 비물리적인 예측을 방지하고 미지의 하중 조건에 대한 일반화 능력을 향으로 한다.

이 프레임워크는 1년 동안 24개의 가속도계, 10개의 경사계, UAV 기반 균열 지도를 갖춘 장경간 콘크리트 교량의 실제 사례 연구를 통해 검증되었다.

주요 기여
저자들은 네 가지 주요 기여를 식별하였다:

1. 물리 가이드 융합 파이프라인: 순수 데이터 기반 접근 방식을 넘어 모델 학습을 유도하기 위해 물리적 제약을 정규화로 포함하는 파이프라인을 개발하였다.
2. 통합 불확실성 모듈: MC 샘플링을 사용하는 베이지안 기반 UQ 모듈을 도입하여 불확실성을 공동으로 추정함으로써, 융합 출력에 대한 신뢰 기반 해석을 가능하게 하였다.
3. 실증적 검증: 단일 모달리티 및 순수 데이터 기반 방식에 비해 우수한 예측 정확도, 신뢰성 및 해석 가능성을 입증하는 교량 모니터링 사례 연구를 통한 종합적인 검증을 수행하였다.
4. 실무적 시사점: 건설 품질 평가, 터널 재난 예측, 디지털 트윈 시스템에 대한 프레임워크의 적용 가능성과 함께 확장성 및 실시간 배포 과제에 대한 분석을 제시하였다.

실험 결과
제안된 프레임워크는 네 가지 베이스라인과 비교되었다: 단일 모달리티 CNN(UAV 전용), 단일 모달리티 LSTM(센서 전용), 불확실성 정량화가 없는 멀티모달 융합, 그리고 제안된 UQ 및 물리 결합이 포함된 융합 모델이다.

• 성능 지표: 제안된 방법은 F1 스코어 0.891, 재현율(Recall) 0.872, PR-AUC 0.914를 달성하였으며, 미검출률(False Negative Rate)은 0.128로 감소하였다. 이는 최상의 단일 모달리티 접근 방식보다 탐지 정확도가 12.7% 향상되었고, UQ가 없는 융합 모델보다 4.7% 향상된 결과이다.
• 강건성: 모델은 모달리티 누락 시나리오에서 점진적 성능 저하(graceful degradation)를 보여주었다. UAV 영상이 누락되었을 때 F1 스코어는 0.823으로 떨어졌고, 센서 채널의 40%가 제거되었을 때도 0.864의 F1 스코어를 유지하였다. 결정적으로, 데이터가 불완전해짐에 따라 예측 불확실성이 일관되게 증가하여, 시스템이 신뢰도 저하를 인식할 수 있게 하였다.
• 보정(Calibration): 불확실성 추정치는 실제 예측 오차와 강한 상관관계(r = 0.81)를 보였다. 기대 보정 오차(ECE)는 0.0784로, 예측 확률이 경험적 정확도와 밀접하게 일치함을 나타냈다.
• 효율성: 베이지안 샘플링의 계산 오버헤드에도 불구하고, 최적화된 프레임워크는 프레임당 0.8초의 준실시간 성능을 유지하였다.

의의 및 주장
본 논문은 물리 정보 학습과 베이지안 불확실성 모델링의 통합이 토목 인프라 모니터링을 위한 신뢰할 수 있는 AI 시스템을 개발하는 새로운 패러다임을 제시한다고 주장한다. 본 연구의 의의는 다음과 같다:

• 의사결정 강화: 정량화된 신뢰 구간을 제공함으로써, 본 프레임워크는 손상 심각도와 예측 신뢰도를 모두 기반으로 유지보수 결정을 우선순위화할 수 있는 리스크 인식 검사 전략을 지원한다.
• 안전성 향상: 미검출(False Negatives)의 상당한 감소는 교량 점검에서 매우 중요한데, 이는 손상 탐지를 놓치는 것이 오경보보다 더 높은 위험을 초소하기 때문이다.
• 물리적 일관성 보장: 물리 가이드 레이어는 AI 예측이 근본적인 역학 원리를 준수하도록 보장하여, 순수 데이터 기반 모델의 "블랙박스" 특성을 해결하고 데이터 아티팩트에 대한 과적합을 방지한다.

저자들은 확장성, 모달리티 누락 처리 및 실시간 최적화에 관한 과제가 남아있지만, 제안된 프레임워크가 인프라 관리에 있어 신뢰성을 높이고 비용 효율성을 개선하는 실용적이고 불확실성을 고려한 도구임을 결론지었다.