RobustDefect-LLM: Explainable and Robustness-Aware Industrial Surface Defect Classification with Decision Support and AI-Assisted Reporting

RobustDefect-LLM 기술 요약

문제 정의
산업용 표면 검사는 제조 신뢰성에 매우 중요하지만, 인간의 피로도, 주관성 및 환경적 변동에 취ยัง될 수 있다는 취약점이 있습니다. 딥러닝은 결함 분류 정확도를 향상시켰으나, 많은 고성능 합성곱 신경망(CNN)은 설명 가능성, 불확ness 인지, 추적성을 결여한 채 "블랙박스" 형태로 작동하여 실제 현장 배포에 어려움이 있습니다. 또한, 기존 솔루션들은 예측, 시각적 설명, 신뢰도 기반 의사결정 지원 및 구조화된 보고를 통합된 배포 워크플로우로 구성하기보다는 벤치마크 정확도에만 집중하는 경향이 있습니다. 본 논문은 높은 예측 성능과 운영자 대상의 투명성 및 제어된 AI 보조 의사결정 사이의 균형을 맞춘, 신뢰할 수 있는 엔드투엔드(end-to-end) 산업 검사 시스템 구축의 간극을 다룹니다.

방법론
제안된 프레임워크인 RobustDefect-LLM은 인지, 설명 가능성, 의사결정 지원, 보고라는 네 가지 핵심 기능을 통합합니다.

1. 인지 및 모델 평가: 시스템은 NEU-DET 데이터셋(6가지 강철 결함 클래스인 크레이징, 인클루전, 패치, 피티드 서피스, 롤드인 스케일, 스크래치를 포함하는 1,799장의 그레이스케일 이미지)을 대상으로 네 가지 전이 학습 기반 CNN 아키텍처(ResNet50, EfficientNet-B0, DenseNet121, MobileNetV3-Large)를 평가합니다. 모든 모델은 동일한 학습/검증/테스트 분할(70%/15%/15%)과 ImageNet 정규화를 사용하여 미세 조정되었습니다.
2. 설명 가능성: Grad-CAM을 사용하여 예측에 영향을 미치는 이미지 영역을 강조하는 히트맵을 생성함으로써, 인과적 증명을 주장하지 않으면서도 운영자에게 시각적 근거를 제공합니다.
3. 신뢰도 기반 의사결정 지원: 규칙 기반 엔진은 예측 클래스, 최대 신뢰도 점수($c$), 그리고 상위 2개 신뢰도 차이($\Delta$)를 처리합니다. 보수적인 정책에 따라 $c < 0.90$ 이거나 $\Delta < 0.10$ 인 경우 예측을 인간 검토(HUMAN REVIEW) 단계로 라우팅합니다. 두 임계값을 모두 충족하는 예측만이 결함 클래스에 기반한 구성 가능한 매핑을 통해 할당된 결함 심각도에 따른 자동 조치(ACCEPT, REWORK, 또는 REJECT) 단계로 진행됩니다. 결함 심각도는 모델에 의해 예측되는 것이 아니라 설정된 매핑을 통해 할당됩니다.
4. 제어된 AI 보사 보고: 대규모 언어 모델(Groq API를 통한 Llama-3.1-8B-Instant)이 구조화된 검사 데이터로부터 자연어 보고서를 생성합니다. 감사 가능성을 보장하기 위해 시스템은 생성된 보고서를 구조화된 입력값과 대조하여 검증하며, 불일치가 감지될 경우 결정론적인 규칙 기반 폴백(fallback) 보고서를 사용합니다.
5. 시스템 아키텍처: 본 프레임워크는 FastAPI 백엔드, 지속적 저장을 위한 MongoDB, 운영자 상호작용을 위한 React Native 모바일 애플리케이션을 갖춘 풀스택 프로토타입으로 구현되었습니다.

주요 결과

• 분류 성능: MobileNetV3-Large가 홀드아웃 테스트 세트에서 가장 높은 테스트 정확도(99.26%)와 매크로 F1-점수(0.9926)를 달성하였으며, 95% 부트스트랩 신뢰 구간은 [0.9815, 1.0000]이었습니다. 정확한 McNemar 검사 결과, MobileNetV3-Large와 DenseNet121 사이에 통계적으로 유의미한 차이는 발견되지 않았습니다(p = 1.000).
• 효율성: MobileNetV3-Large는 0.467 GFLOPs의 연산량만을 필요로 하며, CPU 추론 처리량 16.66 FPS(이미지당 0.060초)를 달성하여 우수한 계산 효율성을 입증했습니다.
• 강건성: 합성 이미지 열화(가우시안 블러, 밝기 변화, 노이즈) 조건 하에서, 정확도는 완만한 강도에서 87.78%로 떨어졌고 심한 강도에서는 40% 미만으로 급감하여, 상당한 이미지 품질 저하에 민감함을 나타냈습니다.
• 의사결정 지원: 보수적인 신뢰도 임계값 적용 결과, **자동 커버리지는 12.22%**였으며 **인간 검토율은 87.78%**였습니다. 33개의 자동 적격 사례 중, 시스템은 100%의 관찰된 선택적 정확도(95% CI: 89.43%–100.00%)를 달성하였으며, 관찰된 분류 오류를 성공적으로 인간 검토 단계로 라우팅했습니다.
• 보고: 정상 조건 하에서, LLM 생성 보고서의 100%가 결정론적 일관성 검사를 통과하였으며 평균 지연 시간은 1.66초였습니다.

의의 및 주장
본 논문은 주요 기여가 새로운 분류기를 제안하는 것이 아니라, 여러 상호 보완적인 구성 요소들을 하나의 통합되고 설명 가능하며 배포 가능한 산업용 워크플로우로 통합하는 데 있다고 주장합니다. 그 의의는 다음과 같습니다:

• 시스템 수준의 통합: 효율적인 전이 학습, Grad-CAM 시각화, 신뢰도 기반 라우팅, 결정론적 의사결정 로직, 제어된 LLM 보고를 단일 모바일 지원 시스템으로 결합하였습니다.
• 순수 정확도보다 신뢰성 우선: 불확실한 예측을 명시적으로 인간 운영자에게 전달함으로써, 높은 벤치마크 정확도가 운영 안전성이나 감사 가능성을 해치지 않도록 하는 워크플로우를 우선시했습니다.
• 실질적 실현 가능성: 이러한 프레임워크가 표준 오픈 소스 도구(FastAPI, React Native, PyTorch)와 공개 데이터셋을 사용하여 구축될 수 있음을 입증함으로써, 품질 관리를 위한 추적 가능하고 설명 가능한 AI의 청사진을 제공합니다.

한계점 및 향 향후 과제
저자들은 현재 결과에 대해 다음과 같은 겸허한 입장을 유지하며 한계점을 명시했습니다:

• 데이터셋(NEU-DET)이 상대적으로 작고 "결함 없음(no-defect)" 클래스가 없어, 결함이 없는 생산 상태에 대한 일반화에 한계가 있습니다.
• 강건성은 현재 통제된 합성 열화 하에서만 평가되었으며, 실제 공장 환경에서의 검증은 이루어지지 않았습니다.
• 현재의 프로토타입은 대규모 동시 배포나 엣지(edge) 통합을 위해 최적화되지 않은 로컬 데모 단계입니다.
• 향후 연구는 데이터셋 확장, 결함 없는 클래스 추가, 특정 산업 위험 프로필에 따른 신뢰도 임계값 캘리브레이션, 그리고 실제 생산 환경에서의 시스템 검증에 집중해야 합니다.