Context-Aware Mapping of 2D Drawing Annotations to 3D CAD Features Using LLM-Assisted Reasoning for Manufacturing Automation

1. 연구 배경 및 문제 정의 (Problem Definition)

• 배경: 제조 자동화 (공정 계획, 검사 계획, 디지털 스레드 통합) 는 3D CAD 모델의 기하학적 특징과 2D 공학 도면의 기하학적 치수 및 공차 (GD&T), 기준면 정의 등을 통합된 명세로 연결하는 것이 필수적입니다. 모델 기반 정의 (MBD) 가 발전했음에도 불구하고, 자동차, 항공우주, 조선 등 주요 산업에서는 여전히 2D 도면이 제조 의도 (Manufacturing Intent) 의 주된 전달 매체로 사용됩니다.
• 핵심 문제: 2D 도면의 주석 (Annotation) 을 3D CAD 특징 (Feature) 에 정확하게 매핑하는 것은 매우 어렵습니다.
  • 문맥적 모호성: 동일한 수치 (예: "10") 가 구멍 지름, 슬롯 너비, 필렛 반지름 등 도면 규약과 배치 위치에 따라 다르게 해석될 수 있습니다.
  • 반복 패턴: 유사한 특징이 반복될 경우 어떤 도면 주석이 어느 3D 특징을 가리키는지 구별하기 어렵습니다.
  • 검증 가능성 부족: 기존 데이터 기반 접근법은 불투명하여 제조 환경에서 신뢰할 수 있는 의사결정 추적이 어렵습니다.
• 목표: 불투명한 AI 결정 대신, 결정론적 (Deterministic) 규칙을 우선시하되 모호한 경우 LLM(대형 언어 모델) 을 보조적으로 활용하여 투명하고 감사 가능한 (Auditable) 매핑을 수행하는 프레임워크를 제안합니다.

2. 제안된 방법론 (Methodology)

제안된 프레임워크는 결정론적 우선 (Deterministic-first) 및 문맥 인식 (Context-Aware) 접근법을 따르며, 다음과 같은 4 단계 파이프라인으로 구성됩니다.

A. 시맨틱 풍부화 (Semantic Enrichment via VLM)

• 도면의 원시 텍스트 (OCR) 와 이미지 영역을 멀티모달 VLM(Vision-Language Model) 에 입력합니다.
• VLM 은 주석을 정규화된 시맨틱 기술자 (예: "지름", "나사", "필렛") 로 변환하고, 수치 값, 단위, 추론된 타겟 특징 카테고리 및 신뢰도 점수를 생성합니다. 이는 모호한 OCR 토큰을 구조화된 데이터로 변환합니다.

B. 결정론적 대응 점수화 (Deterministic Correspondence Scoring)

• 3D 특징 ($F_{3D}$) 과 2D 도면 엔티티 ($E_{2D}$) 의 쌍에 대해 복합 점수 ($S_{ij}$) 를 계산합니다.
• 점수 구성 요소:
  1. 유형 호환성 (Type Compatibility): 특징 유형 (예: 구멍 vs 슬롯) 이 일치하는지 확인 (필수 게이트).
  2. 치수 일치 (Dimensional Agreement): 도면 수치와 3D 기하학적 파라미터의 차이 ($\epsilon$) 를 기반으로 점수 부여.
  3. 문맥 일관성 (Context Consistency): 도면의 공간적 단서 및 VLM 신뢰도를 반영.
• 엔지니어링 휴리스틱: 지름 기호 ($\emptyset$) 우선순위, 나사 호출 (Thread callouts) 처리, 패턴 반복 (nX) 매핑 등 도메인 지식을 반영하여 점수를 보정합니다.

C. 할당 및 근접 동점 필터링 (Assignment & Near-Tie Filtering)

• 임계값 이상의 후보를 선별한 후, 가장 높은 점수를 가진 후보와 그 점수의 90% ($\rho=0.9$) 이내인 모든 후보를 유지합니다. 이는 하나의 특징이 여러 뷰에서 치수화되거나 하나의 치수가 여러 특징을 제약하는 경우 (1 대 다 매핑) 를 처리하기 위함입니다.

D. 에스컬레이션 및 인간 - 루프 (HITL) 검증

• 제어된 에스컬레이션: 결정론적 점수만으로 모호성이 해결되지 않을 경우, 해당 영역의 도면 이미지와 후보 목록을 VLM 에게 제공하여 다중 모달 추론을 수행하거나, 제약된 LLM 을 통해 선택을 요청합니다.
• 인간 검증: LLM 이도 해결하지 못하거나 신뢰도가 낮은 경우, 최종 통합 명세 생성 전 단 한 번의 인간 검증 (HITL) 단계를 거칩니다. 이는 오작동을 방지하고 제조-grade 정확성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 공식적 문제 정의: 2D-3D 제조 의도 매핑 문제를 명확한 입력/출력 형식으로 정의하고, 교차 모달 대응을 위한 정밀한 수식을 제시했습니다.
2. 결정론적 우선 에스컬레이션 프레임워크: 해석 가능한 대응 점수화, 엔지니어링 휴리스틱, 제어된 LLM 보조 추론을 결합하여 투명하고 감사 가능한 매핑 결정을 가능하게 했습니다.
3. 실제 산업 데이터 평가: 20 개의 실제 CAD-도면 쌍에 대한 벤치마크와 각 파이프라인 구성 요소의 기여도를 정량화한 제거 실험 (Ablation Study) 을 수행했습니다.

4. 실험 결과 (Results)

• 데이터셋: 20 개의 기계 부품 (CAD 모델 및 2D 도면 쌍). 총 101 개의 매핑 관계.
• 성능 지표:
  • 정밀도 (Precision): 83.67%
  • 재현율 (Recall): 90.46%
  • F1 점수: 86.29%
• 해결 경로 분석:
  • 결정론적 점수만으로 해결된 경우: 4.0%
  • 결정론적 + VLM 선택으로 해결된 경우: 84.1% (대부분의 모호성 해결)
  • LLM 에스컬레이션이 필요한 경우: 11.9%
  • 불충분한 증거로 거절된 경우: 1.0%
• Ablation Study (구성 요소 제거 실험):
  • 전체 파이프라인: F1 0.8629 (최고 성능)
  • 엔지니어링 휴리스틱 제거: 정밀도가 0.4423 으로 급락 (치수 유형과 특징 유형의 매핑 실패).
  • LLM 에스컬레이션 제거: 재현율이 0.5417 로 급락 (모호한 경우 해결 불가).
  • 결론: 도메인 지식 (휴리스틱) 과 AI 보조 (LLM/VLM) 가 모두 필수적임이 입증되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: 이 연구는 AI 를 제조 자동화에 적용할 때 필수적인 투명성 (Transparency) 과 추적 가능성 (Traceability) 을 보장합니다. 모든 결정은 규칙 기반이거나 LLM 의 근거와 함께 기록되며, 불확실한 경우 인간이 최종 검토합니다.
• 산업적 가치: 레거시 시스템이 여전히 2D 도면에 의존하는 산업 환경에서, 디지털 스레드 통합 및 자동화된 검사/공정 계획을 위한 실용적인 기반을 제공합니다.
• 한계 및 향후 과제: 현재 평가 데이터셋이 GD&T(기하학적 공차) 가 풍부한 경우는 적었으며, 추론 속도와 대규모 어셈블리 확장성이 향후 과제로 남아있습니다.

요약하자면, 이 논문은 결정론적 규칙을 기본으로 하되, AI(MLLM/LLM) 를 전략적으로 활용하여 인간의 검증을 거치는 하이브리드 접근법을 통해 2D 도면과 3D CAD 간의 매핑 정확도와 신뢰성을 획기적으로 개선한 획기적인 연구입니다.