Image-Based Structural Analysis Using Computer Vision and LLMs: PhotoBeamSolver

논문 요약: PhotoBeamSolver (이미지 기반 구조 해석을 위한 컴퓨터 비전 및 LLM 활용)

1. 문제 정의 (Problem Statement)

• 배경: 토목 공학 분야에서 컴퓨터 비전과 인공지능 (AI) 은 구조 안전 모니터링, 결함 탐지, 시공 관리 등에 광범위하게 적용되고 있으나, 구조 해석 (Structural Analysis) 자체를 손으로 그린 도면이나 사진으로부터 자동화하는 도구는 여전히 부족합니다.
• 현황: 기존의 구조 해석 소프트웨어 (SAP2000, ETABS 등) 는 강력하지만 고가이며, 무료 도구 (SkyCiv, MechaniCalc 등) 는 사용이 어렵거나 제한적입니다. 또한, 이러한 도구들은 대부분 사용자가 수동으로 입력값을 정의해야 합니다.
• 핵심 문제: "단순한 사진이나 손으로 그린 도면만으로 구조 해석을 수행할 수 있는가?"라는 질문에 답하기 위해, 컴퓨터 비전과 AI 를 결합하여 이상화된 보 (Beam) 모델의 도면을 입력받아 자동으로 해석하는 시스템의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

PhotoBeamSolver 는 이미지 입력을 구조 해석 결과로 변환하는 하이브리드 파이프라인으로, 크게 두 가지 단계로 구성됩니다.

가. 지각 단계 (Perception): 컴퓨터 비전 (Computer Vision)

• 모델 아키텍처: YOLO(You Only Look Once) 기반의 커스텀 훈련된 객체 탐지 (Object Detection) 모델을 사용합니다.
• 학습 데이터: 지지대 (핀, 롤러, 고정), 집중하중, 분포하중, 기하학적 기준선 등이 주석 처리된 532 개의 보 도면 데이터셋을 사용하여 지도 학습 (Supervised Learning) 을 수행했습니다.
• 기능:
  • 이미지 내 구조 요소의 위치 (Bounding Box) 와 클래스를 동시에 탐지합니다.
  • 비최대 억제 (Non-Maximum Suppression) 를 통해 중복 탐지를 제거합니다.
  • 탐지된 객체의 상대적 위치를 기반으로 보의 길이, 하중 위치, 지지 조건 등을 기하학적으로 추론하여 구조적 표현 (Symbolic Representation) 으로 변환합니다.
  • 주의: CNN 은 공간적 위치 정보를 보존하기 위해 사용되며, 순수 분류 모델이 아닌 객체 탐지 모델이 선택된 이유는 하중과 지지대의 상대적 위치가 구조 해석의 핵심이기 때문입니다.

나. 추론 단계 (Reasoning): 대규모 언어 모델 (LLM) 및 해석 솔버

• 구조: 탐지 단계에서 생성된 구조화된 텍스트 데이터 (하중 값, 위치, 지지 조건 등) 를 LLM 또는 커스텀 솔버에 전달합니다.
• LLM 의 역할: LLM 은 수치 회귀 모델이 아니라 기호적 추론 (Symbolic Reasoning) 도구로 활용됩니다.
  • 입력된 구조적 매개변수를 기반으로 평형 방정식을 수립합니다.
  • 반력 (Reaction Forces), 전단력 (Shear Force), 휨 모멘트 (Bending Moment), 처짐 (Deflection) 에 대한 해석적 해 (Closed-form solutions) 를 도출합니다.
  • 장점: LLM 을 사용하면 해석적 유도 과정을 동적으로 생성할 수 있으며, 시각적 모호성이 해석 단계로 전파되는 것을 방지하기 위해 입력을 엄격하게 구조화합니다.

다. 전체 워크플로우
원시 이미지 $\rightarrow$ YOLO 기반 객체 탐지 $\rightarrow$ 기하학적 후처리 (구조적 표현 생성) $\rightarrow$ LLM/솔버 (해석적 유도) $\rightarrow$ 전단력/휨모멘트/처짐 도면 출력

3. 주요 기여 (Key Contributions)

1. 이미지 기반 구조 해석 파이프라인의 구현: 손으로 그린 이상화된 보 도면 (Idealized Beam Diagrams) 을 입력받아 자동으로 구조 해석을 수행하는 최초의 통합 시스템 중 하나를 제시했습니다.
2. 하이브리드 아키텍처 (CV + LLM): 컴퓨터 비전 (객체 탐지) 과 LLM(기호적 추론) 을 결합하여, 시각적 인식과 공학적 계산의 단계를 명확히 분리하면서도 유기적으로 연결했습니다. 이는 LLM 의 환각 (Hallucination) 위험을 줄이고 공학적 정확성을 확보하는 데 기여합니다.
3. 접근성 향상: 복잡한 프로그래밍 지식이나 고가의 소프트웨어 없이도, 사진이나 스케치만으로 구조 해석을 가능하게 하여 학생 및 전문가의 빠른 검증 (Verification) 을 지원합니다.
4. 불확실성 분석: 딥러닝 모델의 예측 불확실성 (Epistemic Uncertainty) 과 LLM 의 신뢰성 문제를 논의하며, 공학적 응용에서의 한계와 해결 방향을 제시했습니다.

4. 결과 (Results)

• 학습 성능: 532 개의 데이터셋으로 훈련된 YOLO 모델은 평균 정밀도 (mAP) 가 0.93 이상으로 매우 높은 정확도를 보였습니다. 지지대, 하중, 모멘트 등 모든 클래스에서 일관된 높은 정밀도를 달성했습니다.
• 해석 정확도: 생성된 전단력, 휨 모멘트, 처짐 도면은 Python 패키지인 IndeterminateBeam 을 사용한 기준 해 (Reference Solution) 와 비교했을 때, 정적 결정 구조 (Statically Determinate) 의 경우 기계 정밀도 (Machine Precision) 수준으로 일치했습니다.
• 한계점:
  • 흐릿한 필기체, 겹치는 주석, 불완전한 기하학적 참조가 있는 경우 탐지 신뢰도가 떨어집니다.
  • 현재는 수평 보, 정적 결정 구조에 국한되어 있으며, 경사진 하중, 트러스, 경사진 보 등은 직접 처리하지 못합니다 (수평 등가 변환 필요).
  • 단일 이미지로부터 재료 특성 (영률, 단면 2 차 모멘트) 을 추론하는 것은 불가능하여, 이러한 파라미터는 외부에서 입력받거나 가정해야 합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 학문적/실무적 의의: 이 연구는 컴퓨터 비전이 단순한 결함 탐지를 넘어, 구조 해석의 핵심 단계 (해석적 유도) 까지 확장될 수 있음을 입증했습니다. 특히 LLM 을 공학적 추론 엔진으로 활용하는 새로운 패러다임을 제시했습니다.
• 미래 전망: 현재는 데스크톱 애플리케이션으로 구현되었으나, 웹 기반 계산기나 모바일 앱에 통합되어 접근성을 높일 수 있습니다.
• 제약 사항: 실제 구조물의 복잡한 설계 하중이나 재료 특성을 이미지만으로 추론하는 것은 데이터 부족과 불확실성 문제로 인해 현재 기술로는 한계가 있으며, 향후 연구에서 확률적 불확실성 처리 (Probabilistic Treatment) 가 필요하다고 강조합니다.

결론적으로, PhotoBeamSolver 는 컴퓨터 비전과 LLM 을 결합하여 공학 도면에서 구조 해석까지 자동화하는 실현 가능한 프레임워크를 제시하며, 토목 공학 교육 및 초기 설계 검증 단계에서 혁신적인 도구가 될 잠재력을 가지고 있습니다.