기술 요약: ManuRAG

문제 정의

인더스트리 5.0으로의 전환에는 제조 분야 고유의 복잡한 멀티모달 데이터를 처리할 수 있는 지능형 질의응답(QA) 시스템이 필요합니다. 제조 문서는 텍스트, 이미지, 공식, 표, CAD 모델, 센서 데이터 등 서로 연관된 다양한 유형의 데이터를 포함하고 있습니다. 기존의 검색 증강 생성(RAG) 시스템은 일반적으로 텍스트에만 의존하거나 멀티모달 정보의 전체 맥락을 포착하는 데 실패하여 이러한 복잡성을 처리하는 데 어려움을 겪습니다. 이러한 한계는 생산 워크플로우의 비효율성을 초래하고 효과적인 의사결정을 저해합니다. 예를 엔지니어는 기술적 도표와 그에 대응하는 텍스트 사양을 모두 요구하는 쿼리를 수행할 때, 혼합 형식의 문서로부터 통합된 통찰력을 원활하게 추출할 수 없습니다. 또한, 기존의 대규모 언어 모델(LLM)은 환각 현상(hallucination)이 발생하기 쉽고, 매우 기술적이고 도메인 특화된 제조 데이터에 필요한 전문적인 근거(grounding)가 부족합니다.

방법론

이러한 과제를 해결하기 위해 저자들은 제조 질의응답(MQA)을 위해 특별히 설계된 멀티모달 검색 증강 생성(MMRAG) 프레임워크인 ManuRAG를 제안합니다. 이 프레임워크는 네 가지 주요 단계로 작동합니다:

1. 멀티모달 데이터 추출:

   • pdf-extract-kit 프레임워크를 활용하여 제조 PDF를 처리하고 콘텐츠를 텍스트, 이미지, 표, 공식의 별도 구성 요소로 분리합니다.
   • 레이아웃 탐지: LayoutLMv3를 사용하여 문서 구조(예: 제목, 페이지 번호)를 식별 및 필터링하고 콘텐츠 영역을 위치시킵니다.
   • 공식 추출: YOLOv8을 사용하여 인라인 및 블록 공식(예: 영률, 피크의 법칙)을 탐지하고 격리하여 수학적 무결성을 보존합니다.
   • 표 및 이미지 추출: PubTabNet으로 학습된 모델을 사용하여 표를 구조화된 LaTeX 형식으로 변환하고 도형을 추출합니다.
   • OCR: 선택 불가능한 영역에서 텍text를 디지털화하기 위해 Paddle-OCR을 적용합니다.
   • 추출된 모든 요소에는 텍스트 내에서 일관된 참조를 유지하기 위해 고유 식별자(UUID)가 할당됩니다.

2. 인덱싱:

   • 시스템은 텍스트와 시각적 데이터 모두를 위한 벡터 데이터베이스를 생성합니다.
   • 텍스트 벡터 데이터베이스: 텍스트 청크(공식 및 이미지 참조 포함)는 LLM 기반 텍스트 임베딩 모델(EmbedText)을 사용하여 임베딩됩니다.
   • 이미지 벡터 데이터베이스: 시각적 데이터(도형, 표)는 교차 모달 검색(텍스트-이미지 및 이미지-텍스트)을 가능하게 하기 위해 멀티모달 임베딩 모델(EmbedMM, 예: CLIP)을 사용하여 인코딩됩니다.
   • 프레임워크는 시각적 데이터를 임베딩하기 전에 기술적 텍스트로 변환하는 방식과 텍스트 및 이미지를 위한 별도의 데이터베이스를 유지하는 방식 등 다양한 인덱싱 전략을 탐색합니다.

3. 검색:

   • 시스템은 쿼리 임베딩과 저장된 데이터 임베딩 사이의 코사인 유사도를 계산합니다.
   • 상위 k개의 관련 텍스트 청크를 검색하며, 변형 모델에 따라 직접적인 이미지 임베딩 유사도를 통해 또는 검색된 텍스트에 임베드된 참조를 따라 관련 이미지를 검색합니다.

4. 답변 생성:

   • 검색된 컨텍스트(텍스트, 이미지 및 참조)는 도메인 특화 프롬프트 및 사용자 쿼리와 결합됩니다.
   • 시스템은 최종 답변을 생성하기 위해 표준 LLM(텍스트 전용 또는 텍스트로 변환된 컨텍스트용) 또는 멀티모달 LLM(MLLM)을 사용합니다.

ManuRAG 변형 모델

본 논문은 최적의 정렬 전략을 결정하기 위해 네 가지 특정 변형 모델을 평가합니다:

• ManuRAG1: 텍스트와 이미지를 별도의 벡터 데이터베이스에 임베딩하며, 생성에는 MLLM을 사용합니다.
• ManuRAG2: 이미지 벡터 데이터베이스를 제거하고, 오직 텍스트 임베딩과 LLM에만 의존합니다.
• ManuRAG3: ManuRAG1과 유사하지만, 검색된 텍스트 청크 내에서 명시적으로 참조된 이미지를 우선적으로 검색합니다.
• ManuRAG4: 시각적 데이터를 임베딩하기 전, MLLM을 사용하여 기술적 텍스트로 변환하는 새로운 접근 방식입니다. 이렇게 정렬된 텍est는 텍스트 벡터 데이터베이스에 인덱싱되며, 답변은 LLM을 사용하여 생성됩니다.

주요 기여

1. 도메인 특화 프레임워크: 운영 병목 현상을 식별하고 데이터 기반 의사결정을 지원하도록 설계된, 제조 도메인에 맞춤화된 종합 멀티모달 QA 시스템을 도입했습니다.
2. 벤치마크 데이터셋: Fundamentals of Modern Manufacturing에서 추출한 수학 문제(MathQ), 객관식 문제(MCQ), 검토 문제(RQ)를 포함하는 1,515개의 QA 쌍으로 구성된 데이터셋을 구축하고 공개했습니다.
3. 혁신적인 인덱싱 전략: 임베딩 전 시각적 데이터를 기술적 텍스트로 변환하여 텍스트와 이미지를 정렬하는 방법(ManuRAG4)을 제안함으로써, 텍스트 중심의 검색 파이프라인 내에서 시각적 정보의 해석 능력을 향상시켰습니다.
4. 비교 평가: 전통적인 RAG, 고품질 텍스트 RAG, 그리고 다양한 MMRAG 구성을 체계적으로 평가하여 서로 다른 멀티모달 통합 전략의 효용성에 대한 통찰을 제공했습니다.

실험 결과

저자들은 MathQ, MCQ, RQ 세 가지 데이터셋 카테고리에 대해 GPT-4O(표준 및 Chain-of-Thought), 표준 RAG, 고품질 텍스트 RAG(RAGhq)를 포함한 베이스라인과 ManuRAG를 비교 평가했습니다.

• 전반적인 성능: ManuRAG4가 모든 데이터셋에서 다른 모든 방법을 일관되게 능가했습니다.
  • MathQ: 가장 높은 사실적 정확도(62.03%)를 달성하여 GPT-4O(49.91%)와 표준 RAG(59.51%)를 크게 앞질렀습니다.
  • MCQ: 사실적 정확도(87.61%), 의미적 유사도(96.82%), ROUGE(86.77%)에서 가장 높은 점수를 기록했습니다.
  • RQ: 텍스트 비중이 높은 질문임에도 불구하고 가장 높은 사실적 정확도(45.75%)를 유지했습니다.
• 컨텍스트 검색: ManuRAG4는 MathQ(93.53%)와 MCQ(86.84%)에서 우수한 컨텍스트 정밀도를 보여주었으며, 이는 임베딩 전 시각적 데이터를 텍스트로 변환하는 것이 복잡한 쿼리에 대한 검색된 컨텍스트의 관련성을 개선했음을 나타냅니다.
• 변형 분석:
  • ManuRAG1과 ManuRAG3는 수학적 추론을 처리하는 데 한계를 보였으며, 이는 텍스트 변환 없는 직접적인 이미지 검색이 복잡한 공식 쿼리에 충분하지 않을 수 있음을 시사합니다.
  • ManuRAG2(텍스트 전용)는 양호한 성능을 보였으나 일반적으로 ManuRAG4보다 뒤처졌으며, 이는 시각적 정보를 통합하는 것의 가치를 강조합니다.

의의 및 주장

본 논문은 ManuRAG가 도메인 특화 QA를 위한 다재다능한 도구를 확립하며, 특화된 추출 및 정렬 전략을 통해 멀티모달 데이터를 통합하는 것이 제조 분야에서 답변의 정확성, 신뢰성 및 해석 가능성을 크게 향상시킨다는 것을 입증한다고 주장합니다. 저자들은 시각적 데이터를 임베딩 전에 텍스트로 정렬하는 ManuRAG4의 설계가 다양한 데이터 형식과 복잡한 제조 쿼리 사이의 간극을 효과적으로 메운다고 단언합니다.

주요 초점은 제조에 맞춰져 있지만, 저자들은 이 프레임워크의 적응형 설계가 법률, 의료, 금융과 같은 다른 데이터 집약적 도메인을 위한 잠재적 솔루션이 될 수 있다고 언급했습니다. 본 연구는 멀티모달 RAG가 의료 분야에서 적용된 사례가 있음에도 불구하고, 복잡한 도면 및 기술적 다이어그램을 다루는 제조 분야에서의 잠재력은 여전히 미개척 상태이며, 본 연구가 이를 효과적으로 해결하고 있음을 강조합니다.

저자들은 한계점을 인정하며, 향후 연구에는 더 강력한 멀티모달 임베딩 모델(예: Jina-CLIP), 고급 검색 설계, 그리고 CAD 모델, 비디오, 시계열 센서 데이터와 같은 추가적인 데이터 유형의 포함이 포함될 수 있다고 밝혔습니다.