InsightX Agent: An LMM-based Agentic Framework with Integrated Tools for Reliable X-ray NDT Analysis

이 논문은 X-ray 비파괴 검사에서 기존 딥러닝 방식의 한계를 극복하고, SDMSD 탐지기와 증거 기반 반성 (EGR) 도구를 LMM 에이전트가 조율하여 높은 정확도와 해석 가능성을 갖춘 신뢰할 수 있는 분석을 제공하는 'InsightX Agent' 프레임워크를 제안합니다.

핵심

INSIGHTX 에이전트: X-ray 검사용 '똑똑한 검사관' 이야기

이 논문은 산업 현장에서 쓰이는 X-ray 비파괴 검사(NDT)의 문제를 해결하기 위해 개발된 새로운 인공지능 시스템, **'INSIGHTX 에이전트'**에 대해 설명합니다.

기존의 AI 는 단순히 "여기에 구멍이 있어요"라고만 말했지만, 이 새로운 시스템은 **왜 그걸 구멍이라고 생각했는지 설명하고, 스스로 의심하며, 인간과 대화할 수 있는 '생각하는 검사관'**이 되었습니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 세 가지 핵심 역할로 나누어 설명해 드리겠습니다.

---

1. 문제점: 기존 AI 는 '무뚝뚝한 자동판매기' 같았습니다

기존의 X-ray 검사 AI 는 마치 자동판매기와 같았습니다.

• 입력: X-ray 사진을 넣으면
• 출력: "여기에 결함이 있습니다 (좌표: 123, 456)"라고 딱딱한 숫자만 내뱉습니다.
• 단점:
  • 이유를 모름: 왜 그걸 결함이라고 했는지 설명하지 못합니다. (검사가 "아, 저건 그림자일 수도 있는데?"라고 물으면 답을 못 합니다.)
  • 실수: 그림자나 노이즈를 진짜 결함으로 착각하는 '환각 (Hallucination)' 현상이 자주 일어납니다.
  • 대화 불가: "이게 얼마나 심각한 거야?"라고 물어보면 대답을 못 합니다.

2. 해결책: INSIGHTX 에이전트의 '3 인조 팀'

이 시스템은 혼자 모든 일을 하는 게 아니라, 세 명의 전문가가 팀을 이루어 일하는 방식입니다.

🕵️‍♂️ 역할 1: '스카우터' (SDMSD - 탐지기)

• 역할: X-ray 사진 전체를 빠르게 훑어보며 "여기 뭔가 이상해!"라고 후보군을 찾아냅니다.
• 특징: 아주 작은 구멍이나 빽빽하게 모여 있는 결함도 놓치지 않도록 설계되었습니다. 하지만 이 스카우터는 너무 많은 후보를 잡아서, 가끔은 '아니, 그건 그냥 그림자야'라고 생각할 수도 있는 초보 탐정입니다.

🧠 역할 2: '수석 검사관' (LMM - 대형 멀티모달 모델)

• 역할: 이 시스템의 두뇌입니다. 스카우터가 찾아온 후보들을 받아서 진짜 결함인지, 가짜인지 심사합니다.
• 특징: 인간의 언어를 이해하고, 산업 지식 (예: "알루미늄 주조물에서 이런 모양은 기공 결함이다") 을 가지고 있습니다.

🔍 역할 3: '검증 프로세스' (EGR - 증거 기반 반성)

• 역할: 수석 검사관이 결함이라고 판단하기 전에, 스스로에게 질문을 던지는 과정입니다. 마치 법정에서 변호사가 증거를 재검토하는 것과 같습니다.
  1. 상황 파악: "이 사진이 흐릿하지는 않나?"
  2. 개별 분석: "이 구멍 모양이 진짜 결함 모양과 비슷해?"
  3. 거짓 제거: "아, 이건 금속이 겹쳐서 생긴 그림자구나. (거짓 양성 제거)"
  4. 신뢰도 재조정: "확실하진 않지만, 전문가가 한 번 더 봐야겠어. (불확실함 표시)"
  5. 최종 확인: "이제 결론 내릴게."

3. 결과: 왜 이 시스템이 특별한가?

이 시스템은 스카우터가 찾아낸 것을 검증 프로세스를 통해 수석 검사관이 최종적으로 확정합니다.

• 정확도 향상: 기존 AI 들보다 **96.54%**라는 매우 높은 정확도를 보여줍니다. (거짓 경보를 줄이고 진짜 결함을 잘 찾아냅니다.)
• 설명 가능 (Interpretability): 단순히 "결함 있음"이 아니라, **"이곳에 원형의 어두운 부분이 있어서 기공 결함으로 판단했습니다. 하지만 주변 구조와 겹쳐서 확신은 80% 입니다"**라고 이유와 근거를 설명해 줍니다.
• 대화 가능: 작업자가 "이게 얼마나 위험한 거야?"라고 물어보면, "이 정도 크기와 위치면 주의를 기울여야 하지만, 즉시 폐기할 수준은 아닙니다"라고 자연스럽게 대화할 수 있습니다.

💡 한 줄 요약

INSIGHTX 에이전트는 단순히 X-ray 사진을 보고 "결함 있음"이라고 외치는 기계가 아니라, **스스로 의심하고, 증거를 검토하며, 인간과 대화할 수 있는 '똑똑한 검사관'**입니다.

이 기술은 항공기나 자동차 부품처럼 안전이 생명인 산업 분야에서, AI 가 인간을 대체하는 것이 아니라 인간 검사관의 능력을 극대화하여 더 안전하고 신뢰할 수 있는 결정을 내리게 도와줍니다.

기술 요약

제시된 논문 "INSIGHTX AGENT: An LMM-based Agentic Framework with Integrated Tools for Reliable X-ray NDT Analysis"의 기술적 요약은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

비파괴 검사 (NDT), 특히 X-ray 검사는 항공우주, 제조, 건설 등 산업 전반의 품질 보증에 필수적입니다. 그러나 기존 X-ray 결함 탐지 시스템은 다음과 같은 한계를 가지고 있어 신뢰성과 운영자 신뢰를 저해합니다.

• 블랙박스성 (Black-box Nature): 기존 딥러닝 기반 모델은 결함의 좌표와 신뢰도 점수만 출력할 뿐, '왜' 그 부분이 결함으로 판단되었는지에 대한 해석 가능한 설명을 제공하지 못합니다.
• 상호작용 부재: 운영자가 모호한 탐지 결과에 대해 추가 질문을 하거나, 시스템과 대화하며 결함의 맥락을 이해할 수 있는 기능이 없습니다.
• 직접적 LMM 적용의 한계: 대규모 멀티모달 모델 (LMM) 을 단독으로 사용하여 결함 좌표를 직접 예측하는 방식은 산업 수준의 정밀도를 달성하기 위해 방대한 픽셀 단위 주석 데이터가 필요하며, '환각 (Hallucination)' 현상으로 인해 사실과 다른 결함 위치를 생성할 위험이 있습니다.

2. 제안 방법론 (Methodology)

이 논문은 이러한 한계를 극복하기 위해 INSIGHTX AGENT라는 새로운 LMM 기반 에이전트 프레임워크를 제안합니다. 이 프레임워크는 LMM 을 단순한 분석가가 아닌, 전문 도구를 조율하는 '중앙 오케스트레이터 (Central Orchestrator)'로 활용합니다.

핵심 구성 요소

1. 희소 변형 다중 스케일 탐지기 (SDMSD, Sparse Deformable Multi-Scale Detector):

   • X-ray 이미지의 작은 밀집 결함을 효율적으로 탐지하기 위해 설계된 전용 탐지 도구입니다.
   • 다중 스케일 특징 맵에서 밀집된 (Dense) 제안 영역을 생성한 후, 비최대 억제 (NMS) 를 통해 희소화 (Sparsification) 하여 계산 효율성을 높입니다.
   • 변형 어텐션 (Deformable Attention) 메커니즘을 사용하여 다양한 크기와 형태의 결함을 정밀하게 포착합니다.
   • SDMSD 는 최종 진단이 아닌 '검증 필요 가설 (Hypothesis)'을 생성하는 단계로 작동합니다.

2. 증거 기반 반성 메커니즘 (EGR, Evidence-Grounded Reflection):

   • LMM 에이전트가 SDMSD 의 초기 제안들을 비판적으로 검증하고 정제하는 구조화된 프로토콜입니다.
   • 6 단계 검증 과정:
     1. 맥락 평가 (Context Assessment): 이미지 품질 및 구조적 패턴 분석.
     2. 개별 결함 분석 (Individual Defect Analysis): 시각적 검증, 바운딩 박스 적합성 평가, 신뢰도 평가.
     3. 거짓 양성 제거 (False Positive Elimination): 노이즈, 아티팩트, 구조적 특징을 결함과 구별하여 불필요한 탐지를 제거.
     4. 신뢰도 재조정 (Confidence Recalibration): 시각적 증거의 강도에 따라 탐지 신뢰도를 동적으로 조정.
     5. 품질 보증 (Quality Assurance): 일관성, 완전성, 전체적 타당성 검증.
     6. 출력 생성: 검증된 결함 목록과 상세한 추론 로그 생성.
   • 이 과정을 통해 LMM 은 픽셀 단위 주석 없이도 도메인 지식과 시각적 증거를 결합하여 신뢰할 수 있는 진단을 내립니다.

3. 도메인 적응 (Domain Adaptation):

   • LMM (Qwen2.5-VL 기반) 에 NDT 전문 지식을 주입하기 위해 LoRA (Low-Rank Adaptation) 기법을 사용합니다.
   • 1 단계: NDT 용어, 원리, 진단 원칙을 포함한 지식 코퍼스 학습.
   • 2 단계: 산업 표준에 부합하는 구조화된 분석 리포트 형식 (Template-driven alignment) 을 모방 학습하여 일관된 출력 패턴을 확립합니다.

3. 주요 기여 (Key Contributions)

1. 능동적 추론 패러다임 도입: 수동적인 데이터 처리를 넘어, LMM 에이전트가 전문 도구 (SDMSD, EGR) 를 능동적으로 조율하여 진단하는 새로운 NDT 분석 패러다임을 제시했습니다.
2. SDMSD 및 EGR 메커니즘 설계: X-ray 이미지의 작은 밀집 결함을 정밀하게 탐지하는 SDMSD 와, 탐지 결과를 시각적 증거와 도메인 지식으로 검증하는 EGR 프로토콜을 구현했습니다.
3. 해석 가능성과 신뢰성 동시 달성: 기존 '블랙박스' 모델의 한계를 극복하고, 높은 탐지 정확도와 함께 인간 운영자가 이해할 수 있는 상세한 진단 근거 (Reflection Log) 를 제공합니다.

4. 실험 결과 (Results)

GDXray+ 데이터셋 (주조 부품 결함 탐지) 을 대상으로 한 실험 결과는 다음과 같습니다.

• 성능 지표: INSIGHTX AGENT 는 **F1-score 96.54%**를 기록하여 기존 최첨단 방법론 (Faster R-CNN, YOLOX-s, DINO 등) 을 능가했습니다.
  • 정밀도 (Precision): 94.77% (거짓 양성 감소 효과 입증)
  • 재현율 (Recall): 98.38%
• 성분 분석 (Ablation Study):
  • LMM 만 단독 사용 시 정밀도와 재현율이 매우 낮아 (약 2% 미만) 산업 적용이 불가능함을 확인했습니다.
  • SDMSD 만 사용 시 높은 성능을 보였으나, EGR 을 추가함으로써 정밀도가 2.09% 향상되고 결과의 안정성 (표준 편차 감소) 이 크게 개선되었습니다.
• 정성적 분석:
  • 기존 모델이 좌표만 제공하는 반면, INSIGHTX AGENT 는 각 결함에 대한 시각적 근거, 신뢰도 평가, 그리고 불확실성 (Uncertain) 이 있는 경우 전문가 검토를 권고하는 등 해석 가능한 진단 리포트를 생성합니다.
  • 중복 탐지 (Redundant detection) 나 아티팩트를 논리적으로 식별하여 제거하는 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

• 산업 NDT 의 패러다임 전환: 단순한 결함 탐지기를 넘어, 운영자와 상호작용하며 신뢰할 수 있는 진단 근거를 제공하는 '지능형 에이전트' 시스템을 구축했습니다.
• 신뢰성 확보: LMM 의 환각 현상을 방지하고, 도메인 지식을 통합하여 산업 현장의 안전 및 규제 준수 요구사항을 충족시킵니다.
• 실용성: 현재 추론 속도는 실시간 고처리량 검사보다는 배치 기반 품질 관리나 고가 부품의 심층 분석에 적합하며, 추후 모델 경량화 (Knowledge Distillation 등) 를 통해 성능을 최적화할 수 있음을 제시했습니다.

이 연구는 대규모 멀티모달 모델과 전문 도구를 결합한 에이전트 프레임워크가 산업용 비파괴 검사 분야에서 높은 정확도와 해석 가능성을 동시에 달성할 수 있음을 입증한 획기적인 사례입니다.